EP 109
现在是推理的时代: Sionic Token 工厂与模型推理的故事
Sionic AI Token 工厂数据中心参观 0:03
朴钟贤 今天录制节目时是8月10日，星期一。本周的节目请到了石贤代表，聊了聊推理服务器。我们来到了Sionic AI的——用最近流行的话来说，就是token工厂，参观这个使用NVIDIA GPU生成token的设施。请为我们介绍一下吧。
高石贤 这里的整体规模约为5140万元人民币。这里包含实际面向特定行业模型的token，以及能够极其快速地提供token服务的专用模型和系统，都配置在这里。
朴钟贤 那我们马上去看看吧。
B300 数据中心与风冷散热结构 0:33
高石贤 这里是 GPU 中心内高温空气汇聚的 hot aisle 区域。因此，超过50度、60度的空气都会汇集到这里。这些空气都会被输送到最顶层的冷却塔。可以看到，GPU 所在的区域非常热。主力 GPU 采用的是 NVIDIA 最新的 B300 设备。这类设备的规模约为100张，而如何解决这些设备的散热问题非常重要，根据这栋建筑的结构，只将热空气汇聚起来，采用进行冷却的 hot aisle containment 方式，即便空间和设备相对较小，也能稳定地运行 GPU。
朴钟贤 可能因为这是风冷，现在真的非常吵。
高石贤 没错。
朴钟贤 一眼看去，感觉像是制冷剂在往上流，这就是冷却器吧？
高石贤 这是冷却器，它与屋顶上的冷却塔相连。其结构会尽可能只抽走高温热空气……
朴钟贤 装有 B300 的节点
高石贤 据说价值约514万元人民币。
朴钟贤 约514万元人民币。这样整齐排开，搭建一套……现在推理服务就是在这里实际运行的吧。我们已经来到冷却塔了。请为我们介绍一下吧。
高石贤 首先，这四台就是实际为 GPU 散热的冷却塔室外机。规模约为200kW，同时采用风冷方式和水冷喷雾。因为我们的数据中心和冷却塔距离很近，所以采用完全直接的制冷剂冷却，最近很多地方都采用这种形式。
朴钟贤 因为它就在大楼正下方。
高石贤 没错。
朴钟贤 这方面确实应该会有优势。
高石贤 通常这种制冷剂的输送距离超过15m，效果就会不太好。所以冷却设施与 GPU 的距离越近，整体效率也会越高。
本地部署推理时代的开启与高石贤代表介绍 2:08
卢正石 今天录制节目时是2026年8月8日，星期六早晨。模型的发布周期似乎比我们预想的真的快得多。就在今天早上，还有消息称下一代GPT将是Mythos级别的模型。此外还有Google的消息、中国方面的消息，消息非常多，而与模型发布有关的新闻是一个非常大的话题，所以在今天节目后半段我们会切换到闲聊模式，为大家详细聊聊，希望大家看到最后。在模型发布速度持续如此加快的当下，模型能力也在提升，而且开源、开放权重模型的性能已经达到甚至超过几个月前的frontier model级别。而且正如我们最近反复提到的，美国政府正在对这类frontier model实施出口管制，因此，无论企业还是个人，都产生了把自己的数据、自己的某种workflow妥善限制在公司内部的需求，这也使大家对本地部署推理的关注持续升温。所以今天我们邀请到了Sionic的石贤代表。最近石贤经常展示如何将Kimi或GLM部署在自有数据中心运行，以及诸如此类的内容，今天我们会听听相关介绍，一起学习一下。石贤代表，欢迎您。
高石贤 大家好。感谢邀请我参加这么棒的节目。首先，我给大家看一段视频。这是我们拍摄的视频，这里使用的是DeepSeek V4 Flash模型。规模约为280B，按过去的标准来看，是非常大的模型。但如果通过providerserving这种模型，我们通常会预估速度大约是每秒50 TPS。不过，如果配合较新的硬件，以及
DeepSeek V4 Flash 1,000 TPS 演示 3:37
卢正石 左边现在显示的是正在进行推理，对吧？
高石贤 是的，这是推理速度。人类能够阅读的速度达不到每秒100到200个token。所以使用200 TPS以上的模型时，会产生一种奇怪的感觉。通常人们都以对话形式使用AI，但这时感觉不像在对话，而更像是在与某种并非人类的存在交谈，就会有这种感受。不过，AI并不只是用来聊天，还可以制作文档、自动化公司内部业务，应用场景还有很多，不是吗？在这些情况下，十倍的速度会带来极其明显的体感差异。在我们看来，真正实现了只要一按就立刻出结果，这种变化会体现在整个工作流程中。这会形成相当大的差异。不过，这实际上使用的是DeepSeek发布的名为DSpark的推测解码方法。使用的就是这种方法。至于它为什么到了现在变得重要，我认为是因为出现了多种技术层面的变化。
崔胜准 如果能把前面那段视频中出现的术语分别简单讲解一下，应该能激起大家的好奇心，我觉得这样会很好。
卢正石 能为我们介绍一下前面那段视频具体展示了什么吗？
崔胜准 里面有TPS，也有step。
TPS 的定义与 HBM 内存瓶颈 5:17
高石贤 我来介绍一下。首先，TPS是每秒生成的token数量。但无论这个token数量是多少，目前的LLM从原理上来说，都必须读取模型所拥有的所有 weight 都必须读取一遍。而要读取这些 weight，其速度受制于我们熟知的 GPU 内存，也就是 HBM 的速度。所以在目前的 HBM 技术下，即使采用最新技术，要全部读取完，再快也需要大约 100ms。但就像刚才所说的，无论 GPU 的速度有多快，读取一次内存所需的时间已经达到了大约 100ms，所以单个 token 的生成速度就受制于此。比如说，假设一个优化得极其出色的模型能够在大约 10ms 内读取所有 parameter，1 秒不是等于 1,000ms 吗？所以最多只能生成 100 个。
朴钟贤 那么这里，您刚才提到的人类通常的阅读速度。因为那个 token即使像那样用数字表示，也很难直观地感受到究竟有多快。您刚才说人类通常阅读书籍的速度是每秒 200 token左右，对吧？
高石贤 不是。人类能够阅读的速度大约是每秒 20 到 30 token，可以这么理解。而且这还是快速阅读时的速度，慢慢读时会慢得多。
卢正石 也就是说，1,000 TPS 的速度大概就是这种程度。
高石贤 如果达到 1,000 TPS，创建一个新的 DB只需大约 10 到 15 分钟，也就是说，如果这里的 DB 是指MySQL 或 Postgres 之类的东西，只需要这么久，而写一本小说大约只需 1 分钟。
崔胜准 不过这个数值会波动啊。最高是 1,480，会在 500 上下浮动。
投机解码的原理与 accept rate 7:07
高石贤 这是一个非常有趣的点。这里有 accept 和 step。看右边的话，这么快的 decode就像刚才所说的，由于内存的限制，其实是不可能实现的。除非 HBM4 问世，或者出现下一代内存，否则 GPU 再好也不可能实现。但投机解码，也就是说，在计算机中能够提升速度的也无非是分支预测或缓存之类的技术，模型做的也是同样的事情。它会事先猜测并生成多个 token，因为 GPU 还有剩余算力，所以先进行并行处理，然后检查预测是否正确。因此，通过检查预先生成的 token，接受预测的概率越高，速度就会提升得越多。
朴钟贤 那么那个投机解码，也就是 speculative decoding，我好像经常听到这个说法，简单概括这种技术的话，就是使用一个更快但更笨的模型，让它先把 token 全部跑一遍，比如说，在聪明的模型出结果之前，提前一路全部跑完，如果正确就直接采用，否则再用更大、更聪明的模型重新跑一遍，我理解的是这种技术。那么那里的 accept，是指那个更快、更笨的模型噼里啪啦生成的 token 有多少被 accept 了，也就是预测得有多准，可以这样理解吗？
量化与投机解码的取舍关系 8:30
高石贤 是的，没错。而这里又出现了一个有趣之处。通常被称为量化的技术，既可以提升速度，也可以减少内存使用量，但从我们最近看到的研究以及实际使用情况来看，进行量化后，这个聪明的模型与稍微笨一点的模型之间的差距会进一步扩大。因此，量化程度越高，speculative decoding 的接受率就越低。所以如果量化做得不够好，速度反而会变慢。这是一个非常有趣的点，而从某种角度来说，这个模型属于接受率较高的模型。对于接受率较低的模型，所谓接受率，也就是平均 accept，大约是 2 到 3，如果高的话，可以达到 7 到 10，而这个接受率最终会直接转化为相应的倍数增长。另外，这件事带来的启示是，不同的生成内容，接受率也不同。例如，代码的接受率高，英文也高，甚至韩文的接受率较低，小说之类具有复杂逻辑结构的内容也更难，因此接受率较低，随着这些现象的出现，以前曾经有过这样一种说法。现在几乎不再需要 fine-tuning 了。但由于 token 的生成速度和成本会受到 DSpark或 MTP 等投机解码技术的影响，于是出现了一种有趣的思路：进行 fine-tuning 也能降低成本。这就形成了一种很有趣的方式。
崔胜准 我有个问题，如果 MTP 中当前 token 是 t，就会以 t+1, t+2 的方式提前预测后续内容，对吧？但投机解码不是稍微有些不同吗？还是说它们是一样的？
高石贤 是一样的。不过可以理解为，区别在于只预测 +1，还是以块为单位预先生成更多内容，再对候选结果进行检查。
崔胜准 不过在一个阶段内，并不是对这个 token、那个 token 做出多种预测，而是提前预测后续内容，是这种含义吧？
高石贤 可以这么理解。
prefill 与 decode 分离的必要性 10:21
卢正石 这和我们接下来马上要讨论的 prefill 与 decode 的区别有着密切关联。因为通过投机解码生成多个内容后，如果后面的块变长，它就不是逐个查看 token，直接把多个 token 放入 prefill 模式，就能一次性完成预测，可以理解为这与此有关吗？
高石贤 完全正确。所以，现代的智能体 AI 之所以表现出色，固然也有缓存命中率高的原因，但更重要的是 prefill 真的非常快。因为就像刚才所说的，即使是最新的模型，也会因为内存限制，很难达到每秒输出超过50个、30个 token，这确实没错，但 prefill 一次可以处理数万个 token。所以，举个例子，在我们读取文本的过程中，对 Transformer 来说，顺序并不重要。因此可以并行输入并读取所有 token，而最擅长做这件事的就是 GPU。所以最近 NVIDIA 在介绍 Vera Rubin 和Groq 时，其架构也是这样的：被称为 prefill 的部分，全部交给下一代 Vera Rubin 处理。它会以惊人的速度读取吧，可能每秒读取20万个 token，而到了 decode 时，就把它交给 Groq。但 decode 时交给 Groq，就意味着要把处理得到的 hidden state和 KV 缓存传过去。所以 NVIDIA 其实早在差不多一年前，就等于公开宣布了这种架构是最快的，而这也成为了一个极其热门的话题。
从训练转向推理的重心变化 11:47
卢正石 就在大约一年前，我们还一直在大量讨论与 training 相关的话题，但最近模型的整体水平迅速趋于一致，模型也从研究阶段彻底进入了产业阶段。需求也在持续爆发。因此，相比 training，人们对推理领域的关注确实大得多了。在拥有相同 GPU和相同电力资源的情况下，如何更快地把它提供给更多人，这方面的问题已经成为非常重要的工程课题，因为这直接关系到钱，并且日益凸显，而与此相关的内容正是今天石贤要讲的内容中最核心的部分，所以今后如果想理解数据中心、模型，以及哪些公司能够赚钱、哪些公司无法赚钱这些事情背后的动态，那么事先理解这些要素大致会以何种方式应用在哪些环节，就会容易听懂得多。
朴钟贤 我也想特别说明一下，今天的核心话题就是关于推理的讨论。所以推理非常重要。我觉得这终究是最大的主旨，而从刚才所讲的内容中，也可以从两个角度看出这一点。第一，芯片本身也是，以前我们会讨论 training 用芯片、推理用芯片，诸如此类的话题，但现在即使在推理内部，也有 prefill 用芯片、decode 用芯片，也就是说，即便是在推理内部，芯片也出现了更多专门化的架构。而且刚才提到的 fine-tuning，以前做 fine-tuning是为了让模型变得更聪明，但现在却是为了打造一个更擅长 speculative decoding 的好助手，而使用 fine-tuning 这件事本身，就意味着是在为推理进行 tuning，所以现在一切的焦点都在于如何更高效地进行推理，各个方面似乎都围绕着这一目标展开。
高石贤 可能已经超过了，相比用于训练的 GPU，用于 token 推理的 GPU应该会需要多得多。我觉得这将成为一个非常显而易见的事实，而追求更快速度这件事，从某种角度来说，“token 工厂”这个词似乎也恰好象征了这一点。
卢正石 看着这些东西，真的是 engineering beauty。所有能想到的取巧方法全都被用上了。
崔胜准 即使抛开技术不谈，如果能达到那种每秒1,000 TPS的水平，工作模式会变成什么样？
用 1,000 TPS 完整模拟一家公司的演示 14:17
高石贤 在达到1,000 TPS之后，我们尝试过这样一件事，这就是人们常说的 AI slop。大家不用听得太认真。怎么说呢，它很粗糙。这是我们内部制作的类似 Second Brain 的东西。把公司里的所有数据都放进去，然后又创建了一家公司。所以这里面也有工作的人，也可以开展工作，甚至，虽然听起来可能有点奇怪，还可以让已经离职的人工作。因为里面有那个人的 context。但这用100个、200个 token 是做不到的，如果能使用数千个 token，再并行启动10个、20个会话，就可以实时复制并运营一家公司。听起来有点不可思议吧？
崔胜准 就像直播流一样的感觉吧。
高石贤 就是那种感觉。可以同时模拟一家公司。而且尤其是编程之类的工作，或营销之类的工作，都可以在这里完成。
崔胜准 所以并不是快速生成代码，而是能够实时模拟工作本身的 trajectory，是这个意思吧。
高石贤 这里的人全都是虚拟的，但就是可以实时模拟一家公司。这是一件真正能够运行的、非常了不起的事情。
卢正石 公司的 Gmail、电子邮件和 Slack，就这样把这一切都读给模型之后再全部复现出来。
崔胜准 所以这是 24/7 运转的。是每周7天、每天24小时持续运行的直播。
高石贤 与其说是24小时，不如说是1,000小时吧？因为已经在以人类能力的几十倍速度运行了。
朴钟贤 但这样运行的话，output 会怎么样？
高石贤 实际上可以下达工作指令。有时会形成一个项目，有时会成为营销方案的初稿，有时也会实际产出功能。感觉和单纯的智能体有些不同。
崔胜准 所以不只是现在所说的公司，如果把公司设为A，那么B、C、D也全都可以，对吧。
高石贤 不过其实这完全只是一个概念性的概念，也就是我所说的 AI slop 中的 slop。但如果真的认真推进这件事，它的 impact 会有多大，也就是说，会有多可怕。
卢正石 我们现在使用编程智能体或ChatGPT 时，latency 这个概念正好是按照人与人对话的速度设定的，所以对刚才看到的推理速度还有点不适应，如果智能的质量有多高是某个函数的y轴，那么x轴上似乎就会是 latency。归根结底，x乘以y就是产出的智能总量，所以即使智能相同，一个每秒输出1,000个单词，另一个输出30个单词，生产力就会相差30倍。
崔胜准 所以需要 unlearning 的是，现在看完那个演示后，我想到的是以往必须 async 地工作，对吧。把想到的事情交给它运行，在等待生成结果的同时用其他事情来 amortize 这段时间，但如果像这样实时生成，工作方式就必须改变了。
高石贤 所以感觉非常别扭。就像您所说的，以前还有思考的时间，现在一按下去，结果马上就出来了。所以人反而累得多，感觉不像是在和 AI 一起工作。我们把计算交给计算器后，不会等着它算完，对吧。就像那样，一按结果就立刻出来，您也提到了工作方式和 unlearning，我确实非常强烈地感受到了这一点。
卢正石 简单地总结一下，很多人会问，对 AI 的投资是否几乎已经结束，这是不是一个不再增长的市场，对此，许多智者都回答说这是愚蠢的问题。现在才刚刚开始，而且对这种智能的需求没有上限。因为多了一个更聪明的人，工作做到了这种程度。那么人们会就此满足吗？不会，因为人们的欲望是尽可能雇用更多聪明的人，所以认为这个市场会持续增长的观点似乎占据了压倒性的主流。
速度与智能的平衡以及任务完成标准的变化 18:21
崔胜准 我觉得应该会有不同层次。因为您刚才展示的是 Flash 模型，所以才能达到那种速度，今后其他模型的速度也会不断提升，但某些顶级模型还是必须 async 地处理。因为推理需要相当长的时间。所以根据 任务 不同，应该会形成多层结构吧？至少眼下如此。
卢正石 确实如此，但整体曲线会不断朝这种体验下降吧。
朴钟贤 我也有这种感觉，最近使用昂贵的模型，尤其是 Fable 或 GPT Sol，把 reasoning effort 调得很长，让它们工作时，不是要等很久嘛。在此期间，往往会做其他工作，或者新建另一个会话再去处理别的事情，这样一来，这种 context switching就必须在人脑中进行，很容易遗漏，也很累，确实存在这些问题。但如果能使用这种 TPS 极高的模型，即使智能稍微差一些，我也可以在它面前集中注意力，只延续当前的 context 一直对话，反而可以更强地加入 human in the loop，而且即使 AI 的智能稍差，也已经足够了，所以也许反而能把工作做得更好。我突然产生了这样的想法。
崔胜准 不过那样感觉也会很累。集中式的疲惫和并行分散式的疲惫……
卢正石 不过我们现在所设想的这些情景真正成为现实还需要一些时间。
高石贤 那这个怎么样？刚才那个模型是280B的，我其实也没什么概念，但它算是比较小的模型。
卢正石 您刚刚把280B形容成了比较小的模型。
高石贤 我们就生活在这样一个荒谬的世界里。以前超过1B就算大模型了。当时甚至有人说 Google 无法提供8B以上模型的服务，那么现在这个模型也就小小的2.8T而已。这个模型也能达到 peak 300 token。不过现在这种 token 生成虽然也应用了我们的技术，但全部受限于内存。因此，当内存再提升一些时，也就是说，现在的2T、3T、5T、10T模型会不会以更快、更强大的形态出现，我有这样的想法，而且刚才用 Flash 做出的结果和用 Kimi 做出的结果，在角色的角度和细节上差异太大了。而且您知道更有意思的是什么吗？Flash 的速度不是更快吗？但总生成时间反而是 Kimi 更短。
崔胜准 明白了。我知道您是什么意思了。
高石贤 也就是说，因为实现得更高效，目前 Kimi 的 token 速度大约慢3倍。因为是每秒300个token。但生成得更快，虽然模型规模相差10倍，速度却只慢了3倍。
卢正石 也就是说，每个token的智能质量要高得多。
高石贤 没错。所以也出现了这种逆转现象。倒不如使用更聪明的模型，虽然只生成少量token，但效率更高。
朴钟贤 上次我们讨论价格时，也是按每个token的价格来谈的，但使用昂贵的模型完成某项任务时，可以更高效地使用token，因此用更少的token也能完成，所以现在应该看每个任务的价格，我们之前说过这些，这与之类似，现在衡量执行速度时，也不应该看TPS，而应该看任务完成需要多久，也就是多快完成，应该关注这一点，这种说法让我很有共鸣。
卢正石 Pareto efficient curve是由多个变量共同形成的，所以不能只看模型规模或GPU规模就作出判断。应该认为是各种变量综合在一起才形成了它。
崔胜准 但Pareto frontier形成的那条线整体都在向前推进。
卢正石 那个正在疯狂地向前推进。Kimi达到每秒300个token，感觉也真的很棒。
崔胜准 这些都是因为MTP和speculative decoding，对吧？基本上来说。
SOLAR MTP 后加装与 Physical AI 的可能性 22:04
高石贤 没错。最近的模型从一开始就支持这些，最近我也在和另一家公司的代表聊这件事时，我们不是有自主研发的foundation model——SOLAR吗？SOLAR里没有这个MTP。它并不是从一开始就内置的，我们把它adaptation到模型中，再通过post-training把它加上去之后，也能达到每秒500～600个token。因为它的规模可能和DeepSeek V4 Flash差不多。大约在250～280B左右，所以几乎所有模型可能都会走向这种方式。
卢正石 也就是说，MTP的逻辑已经公开了，只要直接在模型后面再加上MTP头，按照过去的概念，以稍微进行fine-tuning的感觉直接装上去就可以了。
高石贤 没错。已经可以这样做了。甚至用不了一周。这非常惊人。我想到的一种讨论是，如果速度超过大约500～600个token，是不是也足以在Physical AI中运行？因为据了解，Tesla的自动驾驶也像某种VLA一样运行，如果跟不上每秒帧数，就无法实现。但如果能达到每秒两千个token、一千个token，而且现实中的世界相较于文本或代码，具有更强的物理动量，不是吗？也就是说，MTP 或 DSpark 能够进一步推理，或者正确预测的余量会更大，这样的话，所有机器人会不会真的都由 LLM 驱动？当然，目前芯片性能可能还需要留出一些余量，但我觉得这完全有可能。所以不是通过fine-tuning提升性能，而是让速度变快，也可以有这样的讨论。
朴钟贤 我觉得这完全有可能。以Google的Gemini Robotics为例，它把模型分成两个，在云端运行VLM，也就是LLM一边运行，一边进行embodied reasoning，它会看着画面不断输出reasoning。先理解，然后把理解后的latent vector，或者也可能是某种language状态的output，把这些传递给embedded device上用来生成action的模型，让它只在设备端快速生成action。以这种方式用小模型拆分模型，而聪明的智能则放在某个token per second极快的地方，那里可以是云端，或者因为车辆的空间相对宽裕，也可以在车内某处装入一块大型芯片，像这样拆分，在理解情境的同时进行运作，我觉得也完全可行。
用挖掘机和勺子理解 prefill 与 decode 24:26
卢正石 好，那么我们来进入原本准备好的正题，之前我们录制 Dwarkesh 那一期时，曾讨论过prefill和decode，接着还长时间讨论过所谓的roofline analysis之类的内容，那么就围绕prefill和decode，这些今天也会频繁遇到的术语，开始进入主体内容吧？
高石贤 我做了一个可视化，这也是用AI制作的，我一边展示，一边讲解吧。首先大概有四项内容位于时间线上，我制作了这个，给大家看一下。那么看这个时，会有什么感觉呢？如果按时间把它画出来，可以把它理解为8名用户正在生成token。大家看这里，蓝色是decode的部分，然后这个橙色，是肤色吗？这样的部分就是所谓的prefill，可以把它理解为读取的部分。但在我们使用的LLM结构中，读取可以实现完全的并行化。而这正是GPU最擅长的工作。这样看起来可能差不多，但实际上，这段prefill区间使用GPU的量占压倒性多数，而decode区间几乎可以说不怎么使用GPU。要形容这种差异的话，prefill就像用挖掘机铲起这样一座沙山。而decode稍微夸张一点说，就像用勺子舀。而且根据勺子的移动速度，token per second也会有所不同。所以目前GPU的计算性能不是每秒几千、几百。本应能达到几万，甚至几十万，但由于刚才提到的勺子移动速度，每秒只能处理几十、几百个。不过应该也有擅长处理这类任务的半导体，但GPU在这方面的差距非常大。所以，维持现代agent AI运行的基础，一方面也是GPU极其擅长处理这种prefill的性能，但二者之间的差距相当大。所以按理说，每块GPU原本应该能够服务100名、200名用户，但由于prefill和decode之间的差异，少则只能服务一两名，最多甚至连10名用户都服务不了。
卢正石 好，说到这里，关于什么是prefill和decode，谁能用最简单的方式解释一下？
高石贤 首先，prefill是读取token的过程。比如说，如果我们要运行智能体，我手头的代码项目、已知的system prompt，以及各种skill的相关内容，这些肯定全都会有吧。少则几千，多则通常会达到几万、几十万。但如果以decode的速度读取这些内容，光读取不就得花大约30分钟吗？在哪里能看到这种情况呢？最近大家经常看到一些文章，说用MacBook也能很好地运行这类模型吧。Mac采用unified memory，也就是说，GPU、CPU和NPU使用统一内存，而且容量也很大。所以生成token的速度并没有那么慢。比想象中快得多。但是prefill非常慢。而且要真正用好它，比如用GPU读取token，读取token之后会产生什么呢？会产生hidden state，还会产生读取过程中生成的KV缓存。如果把它传给Mac，就会得到这样一种既读取快、写入成本也相对较低的设备。所以，单纯读取token的过程，就像刚才所说的，其实就是生成KV缓存的过程。而在生成这个KV缓存的过程中，可以极其充分地利用GPU，但如何将其交给memory-bound的payload，也就是完全不同的payload——decode，以及如何做好orchestration和运营，决定了token的生成量、时间和速度，甚至还决定了系统会不会停顿。
卢正石 那么为了让我们的观众容易理解，可以这样解释：我们使用ChatGPT时，会一次性cut and paste一大堆内容，然后对ChatGPT说：“读一下这个，帮我总结。”一次性塞进去的那一大堆内容，就可以理解为prefill；而我们按下回车键之后，后面会接连不断地蹦出token，对吧。那就可以理解为decode过程。
高石贤 没错。刚才视频里的TTFT指的就是这段时间。也就是第一个token出现所需的时间。
卢正石 token per second，嗯。那么，我们要先把prefill和decode的概念记在脑子里，再打起十二分精神来看这个，对吧。
崔胜准 有一点容易让人困惑，prefill的量和decode的量，每个用户流都不一样吧？
高石贤 应该是这样。这里现在把它们表示成相同的量，但因为prefill实在太大，从资源角度来看，这个decode小到几乎看不见。不过在这个decode，也就是prefill过程中，可以充分动用数量庞大的GPU，同时还会大量生成KV缓存，所以比如这里的8号、7号和6号用户，在1号流读取时都会停下来。从某种意义上说，这个比喻也说明了这种情况对用户体验非常不好，对吧。
朴钟贤 这里所说的资源，可以理解为需要compute的计算总量吗？
高石贤 没错。或许可以说是CUDA core的活跃程度？这样解释可能更好。
崔胜准 点击分离按钮后会发生什么？
高石贤 分离之后，它就会变成这样。
卢正石 现在全都只在做decode了。
高石贤 这样一来，同一块GPU能够处理的量少则提升3～4倍，多则甚至可以提升100倍。
Kimi 式 prefill·decode 分离与 KV 缓存迁移 30:11
卢正石 我们今天要讨论的核心主题是，如果在同一台推理机器上优化prefill和decode，无论怎么优化，性能都会碰到某个上限，而且没有办法避免这种低效，这是一个已知事实。而Kimi最早提出的方法，是把prefill和decode放在物理上完全分离的计算集群中处理，对吧。这样效率就会大幅提升。这些就是我们今天讨论的核心内容。
高石贤 而且只有具备这一点，刚才展示的Kimi 2.8T才能达到每秒处理300～400个token，大家可以这样理解。如果没有完成这种分离，基本上每当某个用户进行prefill时，所有 decode 都会并行停下来。因此，这个问题非常难以处理，完成 prefill 后，并不需要把它的所有 hidden state和所有内容都转移过去。而且 KV 缓存也因模型而异，Kimi 这种规模大约会达到 10GB、20GB。要把它瞬间转移到 decode 机器，在确保良好 hit 的同时 smooth 地进行处理，而底层的某个 router还要转移用户的会话，这其实是比想象中更困难的工程问题。但是，如果不这样做，就很可能频繁出现这些流程严重停顿的现象，那么我们虽然也在提供这种 Kimi 模型的服务，却根本无法运行它。不过，如果模型足够小，内存也有余量，这个问题可能不会显现出来。但对于 Kimi 这种规模极其庞大的模型，从一开始就必须彻底分离这个 payload，并建立相应的 KV 缓存 store 概念，也就是一个包含我们全部上下文的 store。它必须快得惊人，必须达到每秒数百 GB、数千 GB，只有在维持这种速度的同时运行，才算真正的 LLM 服务，我推测所有 Frontier Lab应该都在这样做。
vLLM·SGLang 实现与不公开的服务化经验 32:12
崔胜准 我想问一下，reference code 中已经公开了这整套方法吗？
高石贤 reference code 并没有实现这个，但它的实现方案，无论是 vLLM、SGLang，还是 NVIDIA，都有分享用于实现它的技术和库。这些都有公开。不过，就像刚才提到的，由于基础设施状况、网络状况各不相同，而且这甚至会是这些 token provider 的内部专有技术，所以应该没有哪家公司会公开到足以直接用于服务的程度。比如我们也对 SGLang做了不少改造后再使用。
崔胜准 看来现在是只公开代码，其余部分并不会全部公开。
高石贤 所以从定价策略上也能看出这一点，大家在看模型时，有见过价格在 256K 和1M 下有所不同的模型吗？
卢正石 就连我们使用的 Claude Code，1M Opus 和256K、327K 的价格也不一样。
高石贤 从提供服务的一方来看，通常会直接把服务器资源池分开。如果不把资源池本身分开，将使用较短 上下文长度 的资源池和使用较长 上下文长度 的资源池在物理层面完全隔离，token 吞吐量就会大幅下降。
朴钟贤 实际使用的处理芯片似乎也有分别配置的情况。OpenAI 好像也是如此。至于有没有经过优化的参考代码，运行什么模型，以及在哪个集群上运行，要运行模型的 GPU 集群配置，例如有的 GPU 会像 NVL72 那样每 72 个组成一组，也有的会每 8 个组成一组，再用 NVLink 连接 8 个节点，然后这些节点之间有的还会通过 InfiniBand 连接，也有的会采用其他连接方式。由于这些情况各不相同，想要有一种适用于所有情况，并且都能得到良好优化的通用解决方案，恐怕很难实现。针对特定参考硬件，尤其像 NVIDIA，可能会有针对其主力产品和特定模型设计的解决方案，但这种事情终究还是需要根据实际情况分别处理吧？
卢正石 如果是在以前，可能真的需要非常优秀的工程师投入其中，而且处理这个问题会伴随非常多的痛苦，但现在就连我们公司在维护公司服务器资源池时，也已经很少需要直接进入 AWS 或 GCP操作控制台了。因为只要接入 agent，让它优化，再告诉它要修改什么，一切就都完成了。就连迁移也是如此，Frontier Lab 中应该也正在发生同样的事情。包括架构设计之类的工作，只要交给 Frontier 模型，要求它进行优化，它就会自行设计并执行实验，完成自主优化，这样的流程应该已经在运行了，所以我认为这种速度也不会成为瓶颈。此外，其中涉及的软件架构优势和工程优势，GPT-6 或 Mythos 肯定会比 Jeff Dean做得更好。所以这方面应该也会迅速达到整体水平显著提高的状态。
让 Day-0 响应成为可能的自动优化智能体 35:26
崔胜准 他们在 Day-0 就全都发布了。vLLM、SGLang、TokenSpeed 都在 Day-0 提供支持，Sionic 也发布得非常快。这是怎么做到的？
高石贤 我们也是一样。我们在运营自有 GPU，虽然这些 GPU 也用于训练和服务，但实际上也在运行刚才所说的同类 Autoresearch，也就是自动优化 agent。所以，当这些 backlog 任务排成一列时，我们只需要提高这项任务的优先级。告诉它这是我们现在必须完成的任务，并将它指定为循环目标即可。这项任务由100个智能体并行运行，分布式处理后，大部分都能在几小时内完成。
崔胜准 Kimi K3的架构变化相当大，也能这么快完成吗？
高石贤 实际上我们完成这项工作只用了大约15分钟。
卢正石 所以我们私下里和石贤聊过，照这样发展下去，过去由个人能力创造的差异化优势如今全都由模型来创造，因此最终剩下的就是拥有充足的GPU power，以及能够使用它多长时间、使用多少的游戏了，不是吗？石贤也说过这样的话。
高石贤 所以从这些现象来看，内部运行的工作，也就是这类GPU的配置和资源分配，都是由智能体来完成的。而人类则负责提出研究目标，并对此进行定性分析。当这些积累起来时，速度快得令人难以置信。
卢正石 我们不是经常谈到黄仁勋所说的五层架构吗？从最底层的数据中心到芯片，然后是模型、应用程序等不同层级，位于中间的模型公司迄今为止攫取了大部分价值。但由于目前这种竞争态势，以及模型自行改进自身的发展趋势，模型的发展水平正在整体趋同。而且过去只有OpenAI和Anthropic能做的事情，中国的Frontier Lab也都能做到，甚至还以开放权重的形式发布，在这种情况下，得益于这些开放权重，像Sionic这样拥有自有计算资源的公司，很快就能达到Frontier Lab曾经达到的水平。所以，价值被捕获的层级如今正在发生转移。到目前为止，模型层捕获了最大的价值，但它们的利润率会下降。因为竞争会越来越激烈。水平会整体趋同，并且价格会变得非常低廉，这就像囚徒困境一样，正走在趋近于零的道路上。那么，这些价值会转移到哪里呢？它们会不断向上层和下层转移。
模型水平趋同与 AI 价值捕获层的转移 37:07
高石贤 价值链会持续向最接近客户的地方上移。与客户的关系、客户的使用程度，最终都要为客户创造营收。因此，价值链必然会转移到更接近客户、能够创造实际价值的地方。
卢正石 如果拿最近出现过的产业案例来比喻，电力刚出现时，是交流电还是直流电等基础设施，以及经营输电设备等业务的公司掌握了全部价值，但等到一切稳定下来之后，剩下的就只有极致的效率优化了。甚至有些业务还被政府接管了。那么，这些价值会流向哪里呢？在基础设施层面，经营发电站和变电站的企业依然会持续赚钱。但再往上一层的价值去了哪里呢？中间层全都隐藏到了插座后面，如今的价值则全部被Dyson这样的公司拿走了。在此之上创造的，是完全贴近客户的最上层价值，比如LG TROMM洗衣机，然后是能够自动打扫房屋的扫地机器人，
高石贤 比如Roborock这样的公司。
卢正石 价值全都流向了这些地方。所以在AI领域，如果所谓的智能变成插上插座就会源源不断涌出的智能，那么价值捕获的一个方向将会流向下方的发电站层，也就是数据中心和芯片等领域。不过，那里的利润率不会很高。因为那里也会持续进行优化，并不断套用那些显而易见的公式，所以利润空间会被限制在一定范围内。大部分价值捕获将来自把某种东西插进插座的环节。这就会变成刚才石贤提到的，谁更接近客户的游戏。我觉得那些插进插座的产业甚至还没有真正起步。而且正如石贤用AX这个词描述的那样，我们如今正在见证这一变化，但我认为超越AX的应用程序或许很快就会出现。刚才看到1,000 TPS之类的指标后，我更加强烈地有了这种想法。过去以50V输送的电力，如今已经变成以380V输入了。
自建 1MW 数据中心与 B300 运营损益 40:28
崔胜准 石贤去年就开始建设用于贴近客户创造价值的基础设施，所以现在才能跟上，如果今年才开始，成本不是会高得多吗？差距难道不会大得惊人吗？
卢正石 石贤，既然说到这里，请谈谈这件事吧。虽然之后还会回到prefill和decode的话题，但Sionic内部有一座数据中心。是一座1MW级的数据中心。当初为什么要建、花了多少钱，以及它如今带来了怎样的价值。如果能讲一下，我想这应该就能回答刚才胜准的问题了。
崔胜准 另外再补充一点，在目前购买的设备折旧完之前，需要生产多少token，才能承受住折旧成本，我也确实很好奇。
卢正石 我们这是不是让石贤把商业机密全都公开了？
高石贤 首先要说的是，数据中心存在一个两难问题。按理说，规模越大、设施越集中，成本就应该越低。而且出于多种原因，数据中心只能采用这种方式。但以GPU为主的Neo Cloud在这方面相对自由一些。其中一点是互联网骨干网，传统云服务相对于电力规模而言，必须具备较大的互联网带宽。但Neo Cloud只需要一条廉价的专线，也就是说，即使不是数据中心级的骨干网，也完全可以发挥相应作用。因此也可以分散建设。还有一点是数据中心的电网规范，可以这么说吗？从某种角度来看，这更接近于政策，必须引入能够为当地电网提供稳定负载的政策和设备。比如假设我们建设1MW容量花费了约257万元人民币，实际的数据中心却需要投入1286万、1543万元人民币以上。也就是说，必须付出这么多钱。这是国家或设施的电网要求所造成的，对电力系统而言，最危险的既不是用电太多，也不是用电太少，而是用电量反复忽高忽低。
卢正石 刚才讲得太快了，没有前面的铺垫，一下子就跳到了这里。所以我觉得现在正在听的各位可能完全不知道我们在讲什么，如果能从建设这个数据中心的经过讲起，比如有多少张B300，像这样一层一层地铺垫，再讲到这里，大家理解起来应该会快得多。
高石贤 首先，我们目前使用了大约100张B300。只要这套基础设施的利用率达到5%以上，折旧成本和实际token成本就会达到1比1。所以如果把利用率提高到10%，收益就会翻一倍。如果能让它正常运行满一年，可以认为在一年之内就能收回全部CAPEX。
朴钟贤 一张B300大概多少钱？我想大家最关心的可能就是这个。
高石贤 虽然它是以美元计价的，但好像大约是43.2万元人民币。换算成人民币后，不同供应商的价格也不一样。最近一台大约是411万到463万元人民币，也就是配备8张B300，并且包含相应网络设备的整套机器，大致就是这个价格。而在云服务上，通常价格较低时，每张GPU每小时约为57.6元人民币。价格稍高一些时，通常会超过每小时72元人民币。如果已经配置成集群，价格还会进一步上涨。而我们目前进行推理的过程全部都是以集群为基础的。因此价格还可能再高一些。
卢正石 那么现在有100张B300，光是建设成本，也就是GPU价格，投入就接近5143万元人民币了。
高石贤 实际投入比这个少一些。
朴钟贤 但如果去看那些面向B2C市场提供GPU租赁的公司，比如我使用的是RunPod这项服务，里面的GPU总是被租光。那么按照刚才的说法，即使利用率只有5%到10%，也能产生利润，可从外部来看，需求非常旺盛，而供应似乎又不足。那是不是意味着，只要有资本并且能买到B300，运营起来就一定能赚钱？就像过去只要有资本，就可以建造工厂，运行生产设施来赚钱一样。那么是不是所有有条件的人都应该去做？所以我又想到，从NVIDIA买到B300本身是不是一件很困难的事，这样的理解大致正确吗？
网络设计的优势与直接采购 GPU 的理由 45:14
高石贤 我认为是这样的。如果建设自有基础设施，确实有几个优点。一方面是成本会有所降低，另一方面，最近网络配置变得非常困难，如果建设自有基础设施，就能实现技术要求非常高的网络配置。比如，由1台prefill和2台decode组成的集群，即使不使用NVIDIA Quantum，也可以通过直连线缆完成网络配置。由于现在一台路由器就要约309万元人民币，所以每套设备都能省下这么多钱。即便把故障应对等方面排除在外，也依然具有这些优点。总体而言，就连训练方面似乎也会随着模型结构、训练结构以及这类网络连接方式的不同，使拓扑结构发生变化。如果是过去，应该会让所有设备采用相同的网络速度，为所有设备提供最大带宽，再进行训练之类的工作，但现在似乎已经不是这样了。要求按pod或节点提供服务的供应商对这些内容进行定制，这是相当困难的事，如果再考虑其中的利润空间，我觉得或许还是有意义的。
卢正石 您直接购买了GPU，当时为什么要买呢？这需要投入一笔非常大的资金。从初创公司的角度看，几乎是把相当一部分投资款作为CAPEX投入了，如果要做出合理的选择，就像钟贤刚才所说的，也可以从RunPod或其他新云服务商那里以OPEX的方式租用。但您为什么要upfront一次性全部买下来呢？
高石贤 我们当时似乎也考虑了能在多大程度上充分利用闲置资源。这一点似乎也在考虑范围内。比如在没有token serving的时候，我们的agent能不能运行，对训练和inference能有多大的自由控制权。因为这类managed GPU无论如何都不可能做到完美的provisioning。我们无法控制所有基础设施，也无法控制整个网络。我们最近既在提供模型，也在公开serving和inference优化方案，如果不是自有基础设施，恐怕这些都无法实现。当然，大型科技公司会在此基础上更进一步，制造自己的芯片，所以我觉得这取决于业务形态。如果相比GPU的性能，业务更重要，快速增长也更重要，那当然最好以OPEX的方式租用。但如果要在这里研究基础技术，或者能通过利用剩余资源优化operation，将闲置资源投入研究，或者具备将其用于模型的能力，我觉得完全可以认真考虑一下。
崔胜准 也就是说，您认为运营这些设备的能力已经内化成了团队成员的能力，对吧？
高石贤 内化了非常多。如果我要创办一家新公司，我可能会要求只用GPU来投资。因为其他东西都不重要。
GPU 基础设施带来的人才吸引与组织资产化 48:00
朴钟贤 那这个角度怎么样？我刚才在您展示的GitHub页面上看到了一个熟悉的名字。我猜测，拥有大量B300会不会对吸引人才产生了很大影响，那么从留住人才的角度看，实际上有帮助吗？
高石贤 这占了相当大的比重。因为B300实在太好了，确实有人因此选择留在Sionic。
卢正石 感觉人和计算机真的正在结合，世界似乎正在变成只有完成这种结合的人才能生存的地方。
崔胜准 而且人才和能力，人才或能力也被保留了下来。那些人的工作轨迹会作为公司的资产保留下来。
高石贤 确实如此，而且有些人做得非常出色。而他们所做的，真的就是一种轨迹。他们是如何使用agent的，如何使用token的，只要学习这些轨迹，或者将其提取为prompt并制成agent，就真的能够运行。
卢正石 也就是说，它会成为您刚才展示的Second Company。学习了那些轨迹的agent会出现，并且连已经离职的人也包括在内，所有persona都能被重现。
崔胜准 虽然这并没有什么novelty，但重现过去做过的事情成功概率似乎会非常高。
以智能体为中心的组织与 control plane 这一新的 harness 49:12
卢正石 所以，虽然我们现在是在开玩笑，但在这样的世界里，这门生意会呈现什么形态，我们必须回答这个问题。那么，当世界变成那样时，价值，也就是value capture会发生在哪里这个问题，很快就会到来。这也是我最近的研究主题，同时也是我们公司正在实现的核心部分。因为大家已经把能接入的agent全都接入了，但产生的既视感却是，公司并没有发生变化。它依然会运行cron job去做一些事情，但还是需要人逐一查看并作出决策，memory结构也设计得很聪明，也应用到了各个环节，让一切都运行起来了，可一到关键时刻，它就说：“啊，对不起。”现在的agent系统就是这样。但即使它变成非常聪明的系统，依然会是如此，那么对于下一代框架应该如何设计，我的答案非常明确。要如何实现control plane，要如何设计contract。有人把它概括为：“那就是本体。那就是Palantir正在做的事。”但我不喜欢那些Palantir本体论者，也不喜欢那帮势力人物，所以我会说：“不，不是那样的。”不过价值似乎确实会不断向那个方向转移。我认为那正是目前AI transformation尚未提及的下一个趋势，我确实有这种感觉。
朴钟贤 或者，这种情况怎么样？有些问题从结构上来说，本身就不存在正确答案。比如属于个人喜好范畴的问题，对某个人来说A是正确答案，但对另一个人来说B才是正确答案。对于这类问题，我们的频道就是一个典型例子。因为每个用户可能会喜欢，也可能不会喜欢。要等到AI也擅长处理这些问题的时代到来，我觉得还差得很远。因为从根本上说，是通过RLVR来提升智能的，按照我们逃亡者联盟的说法，逃往那个方向或许也不失为一种选择。
高石贤 不过与其从逃避的角度来看，我认为更应该最大限度地发挥擅长的能力。所以就像您说的，能够设定目标和确定循环的工作，其价格会不断下降，但要让它普及到整个社会，并真正具备那种价值，也就是它原本应有的价值，我觉得还需要相当长的时间。短则10年，长则30年。所以，最大限度地发挥AI擅长的能力，并寻找AI不擅长的领域，或许才应该作为长期愿景。最终，眼光很重要这一点，我非常认同。所以，即使看到了好东西，也要有能够识别其价值的品位和眼光，以及相关的专业能力，您所说的领域知识似乎也是指这些。我觉得这些因素会非常复杂地交织在一起。不过，我刚才提到的一点，不就是应该专注于让AI擅长的事情做得更好吗？而要把这件事做好，关键似乎在于组织治理。如何收集一个组织的数据，如何让AI能够使用这些数据，我觉得这会造成最大的差距。最难利用AI的，是企业。因为我们是一家B2B公司。这极具自我颠覆性。所以一旦作出这个决定，我的组织可能会消失，我的团队可能会消失，甚至连我的工作岗位也可能消失。但能否充分发掘它的积极面，将其应用于组织，并真正把它转化为商业价值，只有那些尽管极具自我颠覆性却依然能做到这一点的组织，才会遥遥领先，其他组织恐怕会非常艰难。所以最终的问题，可能会归结为如何整顿组织，以及如何开展工作。至少未来10年，甚至长达30年，我认为这都会是核心议题。
卢正石 您刚才所说的以那种组织形式积累起来的东西，其实我们所熟知的公司本身，就是由契约和某种裁量权
高石贤 就是这个。Second Company
卢正石 是一个联合体。
崔胜准 我的看法稍有不同，我觉得应该还是会有一些无法明文化并纳入其中的领域。也就是说，无论如何，现在终究要将其token化，才能对其进行控制或处理，但我直觉上认为，始终会有一些领域无法通过这种方式被涵盖。
卢正石 但这在传统HR中，就是如何开发人的能力的问题。例如，老板成立某个本部，给本部布置任务，而在本部长和老板之间，会有一个“你的目标是这个”这样的要求，也会有一个“你必须交付这个”这样的回应，这就相当于一种契约。但进入内部后，它就会成为该本部的某种能力。也就是胜准刚才所说的自主能力，我把它称为裁量权，而在其内部，本部长和组长之间同样还存在进一步拆分的契约，再往下，则在组长和组员之间也存在这种关系。但观察这些区段，就会发现它们都是契约，也就是非常deterministic的契约与non-deterministic的人的能力相互衔接的区段。公司本来就是这样构成的。但现在的智能体完全依靠裁量权运行。即使加上提示词，然后还有什么来着？即使加上skill或plugin，它也不会严格遵循。所以我认为，智能体框架也会像公司的系统一样，演变为这种control plane与discretion plane，也就是契约与裁量权的plane以不同形式存在的新型框架，而我个人正在我们公司实现它。
崔胜准 不过，“地图并非领土”。
卢正石 从这个角度来看，公司仍然没有明确的区分。那么，例如一家系统设计得非常完善、由30名普通人组成的公司，与一家由钟贤这样的一名聪明人才组成的公司，这两者之间的差异，以及哪一家才是正确的公司，就像我们现在无法回答这个问题一样。在您展示的prefill与decode中，我们已经drift到了这里，现在再回到prefill与decode吧。
NVIDIA Dynamo 与 KV 缓存编排 55:49
高石贤 所以，拆分这种KV缓存似乎非常重要。不过，由于这很难实现，NVIDIA有一项钟贤刚才介绍过的相关技术。它叫作NIXL，NVIDIA正在实现这项技术。有一个叫 NVIDIA Dynamo 的东西，这个 Dynamo 所做的是直接在节点之间传输 KV 缓存。例如，在 1 号 GPU 上使用过的 KV 缓存，它也能让 2 号 GPU 直接访问。而且我觉得 NVIDIA 非常了不起，因为它虽然是一家如此庞大的公司，却仍是一家创业公司。而且他们所说的能做到的事情，几乎没有能够顺利实现的。但因为他们全都做到了，所以才能以这种创新的方式工作，我想或许正是如此。因此，如果把这些全部应用起来，也可以实现这样的分离，但这里又会出现一个问题。我们既要分离 prefill，也要分离 decode，甚至还要通过推测式解码生成 draft，再并行验证 draft，不是吗？那么这里就会涉及论文里没有写到的服务代码、运维代码、以及数量极其庞大的路由代码。但这些真的能由人来编写吗？还要同时验证这么多种情况。我觉得不可能。所谓不可能，是指一天之内绝对做不到。可能需要半年，也可能需要三个月，但并行代理把工作拆分后分别处理，再经过机械化验证，一天，慢则两天，快则几十分钟之内，一切就都完成了。所以最近我觉得 AI尤其在这种模型领域，看起来就像一种编译器。换作以前，因为有多块 GPU，模型也有很多种，所以只为一个模型和一块 GPU编写汇编级专用代码，从工程角度来看并不是一件好事。不是有这样一句话吗？有句格言叫“所有的恶都源于优化”，但现在已经不是这样了。因为现在有能够把这种事情做上数千、数万次的代理，而我们只要稍微减少一点 GPU 时间，稍微降低一点并发量，就能带来极其可观的经济收益。甚至成本都差不多。所以即使是我们这样的小规模团队，也能让 Kimi 每秒生成 400、500 个 token，像 DeepSeek V4 Flash 这样的模型，每秒甚至能生成超过 1,000 个 token，而大科技公司并不是因为做不到才不做。但我觉得，小规模团队能够构筑的护城河似乎变得更加清晰了。而且就像我刚才说的，如果有多个每秒超过 1,000 个 token 的代理，就可以模拟整个公司。所以这已经不是 LLM 了。从某种角度看，这是能够在现实世界中运行内核。这种难以置信的事情正在实时地发生在我们眼前，我觉得这就是我所看到的一大关键。
高速服务的成本结构与 token 速度变现的领域 58:46
朴钟贤 那么关于这个 token 速度，我还有一点很好奇，我们实际去 OpenRouter 之类的平台时，您展示了像 Kimi K3 这样每秒可以输出几百个 token的情况，但在外部服务中，速度这么快的服务其实并不多。即使是在种类繁多的供应商当中也是如此。不过，那是因为这是以单个用户为基准的，对吧？也就是说，从机器的角度来看，虽然能提供很高的带宽，但因为必须把带宽分给所有人使用，所以才会这样吗？
高石贤 其实说得很准确，这种推测式解码说到底也是一种更充分利用 GPU 计算效率的方法。但所谓充分利用，毕竟天下没有免费的午餐，不是吗？所以它会提高成本。因此，如果这种高速模型能够收取溢价，那么所有人都会采用这种方式提供服务，但实际上现在的定价并非如此。所以我推测，OpenRouter 也有自动路由功能，会将路由优先级分配给质量好、TTFT 好、网络速度也好的服务商。尽管如此，需要这些特性的供应商还是很有可能会提供这种服务。像我们主要签订 B2B 合同，因此有必要向这类客户提供专用模型，但在开放平台上并不存在价格方面的护城河，所以这样做的必要性就比较低。
朴钟贤 因为提高 TPS 会导致成本增加，API 价格也就无法进一步降低，所以在市场上没有竞争力。因为大多数用户与其说想要极高的 TPS，不如说是想以低价购买智能。我觉得是这样。
高石贤 不过，这一点也会发生变化。也就是说，会短暂地出现一顿免费的午餐，在模型规模、MoE 结构和内存带宽方面存在 sweet spot 的地方，就能像我们一样，短暂地找到免费的午餐。也就是说，即使提高并行度来提供更快的速度，也可能出现成本率不变的情况。在这种时候，我觉得就可以像我们这样提供服务。
崔胜准 那也是由代理找到的吗？
高石贤 当然应该能够找到，但我觉得这个决策还是得由人来做。即使通过并行化这个模型来加快 token 生成速度，也不会影响成本率，或者因为每小时的占用时间减少，收益反而会提高，这些当然都可以通过机器计算出来。
卢正石 其实 Frontier Lab 如果想提供很高的 TPS，应该也是能做到的。但他们所说的 batch，是一个 batch 里有数量非常多的用户，然后这些用户又各自有着不同的 上下文长度，然后登上那列火车，因为要在单位时间内服务大量用户，所以我们使用200美元之类的套餐时获得的 TPS 就是那个水平，如果在服务大型模型时，有人说“我每个月愿意支付1,000美元，所以把我放进某个 TPS 高得多的bucket 里”，那也是可以实现的。
高石贤 不过，那种高速模型可能也不会快得特别夸张。应该无法达到每秒500～600个token。不过现在因为我们面对的只是简单的对话式应用或 coding agent，所以才会有这种天真的想法，如果是安全领域，这就是实时响应所必需的，如果是军工之类的领域，甚至连接到了物理设备，那可能就完全是另一回事了。token速度终有一天会直接转化为实际金额，如果是在金融领域，需要进行交易，或者更快的决策能够创造金钱的场景也非常多。
安全与金融领域不断增长的超低延迟推理价值 61:57
卢正石 如果以10,000 TPS来做这件事，那就说得通了。
高石贤 而且我们的客户当中，最近也有一些客户配备了与我们规模相近的硬件。如果这些客户进行并行 inference，自己直接提供高速 API，那么哪怕只是 GLM 或 Kimi，也已经完全具备工程师所需的能力了。这就有点可怕了。不一定非得是 Opus，也不一定非得是 Sol，因为它已经能完成非常多的工作，而且速度甚至能达到20倍。
卢正石 我们从资源的话题开始，接着谈到了 inference 的重要性，而 inference 中的两个核心 workload就是 prefill 和 decode，prefill 和 decode 的特性截然不同，如何对它们进行优化和部署，几乎就是现代最新 inference 的全部，石贤在 Sionic 建设了自己的 B300数据中心，进行了各种实验，尝试了各种各样的方法，最终打造出了将 prefill 和 decode 完全分离的方案，而这个方案相比现有方式能够展现出非常高的性能，这就是今天讨论的脉络。
崔胜准 没错。这意味着可以创造出不同的工作方式。
卢正石 而随着这些成为可能，我们中间也谈到了价值会在哪里被捕获，second company 又会如何，那么价值终究还是在于对 AI 和 agent 进行组织化，这些话题都是在那些事情成为可能之后才会出现的，而我们也钻了各种各样的兔子洞。那么，石贤，关于今天原本准备的内容，以及想传达但还没有谈到的部分，我们快速处理一下，然后进入下一个模式吧？
SFT·量化的重新评估与行业特化推理 64:00
高石贤 首先，最重要的就是刚才最开始提到的，如今进行 fine-tuning，也就是 SFT 的过程，本身能够直接提升速度，这一点似乎变得很重要，而且关于量化的讨论可能会有所减少。通过量化获得的收益是非常机械且算术性的，但通过模型某种预测能力的 momentum，也可能得出不进行量化反而更好的结论。最后，在与物理世界相连接的领域，例如金融、安全、军工和国防，通过这些预测技术，会不断出现从做不到变为做得到的事情，不是单纯变快，而是让原本完全无法完成的事情变得可以完成，这种情况将持续发生。我们现在不正处于这个阶段的起点吗？而且我认为，看待基础设施和模型的视角也会发生相当大的变化。不过，这些并不一定非得是 Frontier Lab所拥有的技术。在韩国尝试应用自主研发模型后，发现效果也很好。所以我们看待基础设施和产业的眼光也需要有所改变。
卢正石 就是啊。最近我们经常听到这样的消息，那些我们原以为真的只有 Anthropic 和 OpenAI才拥有的技术，也就是我们现在在屏幕上看到的那些技术，原本属于 Frontier Engineering、Frontier Technology，但如今它们真正流向了外部，并向其他各个地方广泛传播，我们把这种现象称为 commoditize、democratize，而这样的周期已经变得快得惊人。所以我感觉 Kimi 或 DeepSeek与 OpenAI、Anthropic，或者与打造了 Muse Spark 的Meta 的 TBD Lab 相比，几乎正在趋于同一高水平。
朴钟贤 在这里列出的这些技术中，如果让我先分类再提一个问题，有些技术是共通的，可以适用于所有人，但也可以通过 DSpark 或 fine-tuning 进行定制，这种技术就是针对使用者进行定制的，对吧？也就是说，inference 也可以不采用 bulk 的方式，不像我们现在大量使用完全由 OpenAI 统一提供的 inference，也不像 Anthropic 或 OpenAI 提供的那种方式，而是因为我们公司会大量运行这种 workload，所以要针对它建立这类 workload 的 trajectory，然后来我们公司根据这种需求进行 fine-tuning。接着再让它在我们的 on-prem 环境中快速运行。那么，实际上价格可以比外面便宜得多，也可以只在内部快速运行，对吧。那么这里的推理服务就不只是大型运营商才能做，而是可以拆分开来，成为向外输出的业务，我是这么想的。您实际尝试过，所以想请教一下，从现实角度看是否可行，以及您对这些事情的看法。
高石贤 我认为可行性非常高，普通的智能体当然具有经济效益。不过现在，如果进一步走向特殊用途，变成产业专用型，那就完全是另一个维度了。不只是做得好，而是可以完成截然不同的工作，我认为这才是最重要的。
OpenAI·Anthropic 格局的弱化与 Kimi 的崛起 67:00
卢正石 也就是说，这与以下这些事情相关：Anthropic和OpenAI直到去年还认为，自己会成为全世界智能的供应商，成为next Google，由我们包揽一切。其他人只要在我们的基础上使用就好，当时简直就是这种论调的盛宴。但进入今年之后，情况完全变了。OpenAI和Anthropic也在不断收缩战线，这一点显而易见。虽然还在说我们会成为next Google，什么都会做，但在下层的模型和基础设施领域，光是守住自己的阵地，就已经累得气喘吁吁了。而且原本以为Anthropic或OpenAI会全部包办的那些工程工作，以及打造相应workload的应用程序等，就像我们现在看到的这样，真的全都外溢出来了。
高石贤 这是我们开玩笑时说的话，曾经有这样一种说法。连Fable都不会回答的那些问题，才是真正有价值的世间知识。而我们要用Kimi把它做出来。
卢正石 没错。现在问Fablebiology、chemistry或安全之类的问题，Fable根本不会直接回答，
高石贤 甚至条款里还写着不能涉及LLM优化技术，确实有这样的规定。Fable不会回答。
朴钟贤 最近并不是我自己在部署Kimi，而是使用约720元人民币的套餐，有意非常积极地尝试使用。最近使用后的感受是，在大多数工作中，我并没有感觉到明显的差异。也就是说，用Opus 5完成的工作，或者我也会用GPT，即便只设置为medium或high也能完成得很好的工作，用Kimi K3，也就是同样订阅套餐来使用Kimi CLI，也完全没有问题。到目前为止，我还没发现差异。
卢正石 您的意思是，Kimi的质量已经好到了这种程度，对吧。
高石贤 我们公司内部也有开发OMO，即Oh-My-Opencode的开发者，可以感觉到这种智能体与Kimi配合起来运行得更好。所以甚至觉得它比Opus更好的时候，比想象中还要多一些。因为其框架已经完全按照相应的轨迹调整到位，速度会因此提升到大约5倍、6倍，再加上大量进行并行推理，所以我们最近似乎不太使用其他方案了。反而只要有内部GPU，就会尽可能多地使用，当然，它与Opus或Fable所擅长的领域可能不同。但现在出现了几乎无法区分，甚至表现得更好的现象。
卢正石 聊到这些话题时，我们现在一边讨论这些，一边也都在脑海中推演未来究竟会如何发展。所以最终，每个人都会形成自己关于未来将呈现何种形态的假设，而这些假设会以商业战略、投资战略的形式落到现实中。
高石贤 顺便说一下，我们计划把这个开源发布。先说明，这不是什么优秀的项目，而是slop。虽然是slop，但如果有人想当作消遣看看，不妨运行一次。
卢正石 我也会运行看看。我认为，给那个slop投入极其庞大的计算资源进行优化后，它就会成为一个还算实用的框架，我是这么看的。现在我们所有的AI工程，使用Claude Code或Codex工作的过程，本质上就是不断塞入token，从我们未曾去过的地方直接取出某种outcome。过去我们认为那是工作，是创造，但如今正在变成投入计算资源后单纯进行搜索的问题、进行interpolation的问题。整件事正在发生这样的转变。所以，假设我们用Claude Code开发了一个新功能。一个智能体运行了3小时，做出了一个非常庞大的功能。那么接下来最自然的做法是什么？并不是直接把它提交，然后进入下一个milestone，而是会让它复核两三次，对吧。好，这里面肯定存在问题。因为完成了一项大工程，所以要不断寻找反例，直到确认没有问题，让它一直运行到自己确信为止，像这样循环大约三次，用来让那个slop稳定下来。但如果它能以1,000 TPS，甚至10,000 TPS运行，那些工作也会瞬间完成，而一旦做到这一点，它就不再是slop，而会成为一个相当实用且稳定的组件。
大规模算力带来的稳定智能体系统 70:31
高石贤 从某种角度来看，这就是AX的极致。只要提供数据，这家公司就会应运而生。
卢正石 所以现在我们，目前组织是由人组成的，AI代理则作为这些人的工具被引入。目前还没有哪家公司把AI代理直接安插到取代人的位置，并完全信任它来运转。最多也就是让它做客户服务，只用于回答客户咨询的机器人，目前还没有公司把critical的决策交给代理来处理。
高石贤 是的，没错。
卢正石 那么接下来的阶段，就是能否把代理完全接入某项critical的业务，并把这项业务交给它，这会成为下一个问题，而为了回答下一个问题，我百分之百认为还会出现另一种范式。
以智能体为中心的组织与生物智能体的类比 72:12
朴钟贤 不过看到这个，就像刚才所说的，如果把它应用于公司之外的其他地方、其他结构，或许也会有一些更容易产生良好协同效应的领域。要说有什么和公司相似，如果非要举例，会不会是宗教之类的？
高石贤 人类组织似乎也很相似。
朴钟贤 国家组织吗？
高石贤 是的，那就更危险了。
朴钟贤 是啊。引入之后，也可以虚拟模拟一个国家。
卢正石 接下来我们将会看到的是，如果现在的公司确实是以人类为主，代理为辅，那么我们将会看到以代理为主、人类为辅的那种理想型公司。
高石贤 感觉并不遥远。但我不知道那是不是好事。我们会开玩笑说，这个生物代理也得赶快把工作做得更好，因为现在我们就是生物代理。能够与物理世界沟通的生物代理。
卢正石 胜准那边突然停电了，因为停电，现在正在重新启动，还在处理各种事情，今后这种事也会发生吧。如果代理说“那个IDC停电了”，那么整个人类的智能就会瞬间倒退。Andrej Karpathy曾表示，世界现在会陷入停电，会发生brownout，
网络瓶颈与数据中心断电风险 73:29
高石贤 我觉得关键就在这里，而且我们刚才提到的，NeoCloud中心、直接运营基础设施，都存在一个巨大的漏洞。世上的一切都发展了，但网络速度完全没有进步。所以，把GPU集中起来也很困难，反过来也可以将其分散，我认为这也是其中一种讨论方向。计算机变快了。快得不可思议。一切都变快了，但现在要搬运大量数据，仍然只能把很多数据装进硬盘，再用汽车或飞机运送。所以，当某个数据中心瘫痪时，几乎不可能瞬间在别处恢复。
卢正石 就连基因数据也会以数百GB、超过0.5TB的规模传过来。要传输这些数据，即使接上速度非常快的USB 3.0，速度差异仍然相当大。所以我觉得，全人类正在走向都需要那种程度带宽的地方。我们现在在家里看Video，动不动就是4K，但在互联网初期，甚至直到几年前，我们都没想过这能成为现实。对带宽的需求应该只会持续增长。一周内发生的事情就是这么多。我们这周有哪些重大消息来着？感觉该进入我们的新闻与闲聊环节，准备收尾了。
Google DeepMind 改组与 Jeff Dean 创立 Discovery Loop 74:56
崔胜准 最大的事情就是Google DeepMind的情况。所以今天早上看了SemiAnalysis发布的内容，看起来Google最终并不是要做Frontier Lab，而是要做TPU资源业务。好像出现了这样的说法。随后发生的事情是，Demis Hassabis看似得到了晋升，但转向了专注于Isomorphic Labs等研究的方向，而为Google奠定基础的传奇工程师Jeff Dean，不过相比之下，他更因这件事而闻名。有一篇名为《长久的友谊》的文章，Jeff Dean置顶的推文中有这篇帖文，内容讲述了Jeff Dean与Sanjay Ghemawat的友谊如何引领Google。这两位，还有sequence-to-sequence的作者Ilya Sutskever，接着是Oriol Vinyals，然后是Quoc Le吗？我也不知道该怎么发音，总之，那三位当中有两位一起创办了一家名为Discovery Loop的公司，这是一件非常重大的事情。此外，还有相当于GPT-6的Astra的消息，它解决了大约十道数学与科学题，接着是Muse Spark正在升至第三名左右。然后DeepSeek提高了DeepSeek V4的价格。这周同样充斥着各种各样的消息。我们聊什么好呢？
推理需求激增与算力资本博弈 76:26
朴钟贤 消息非常多，其中相当多的消息好像都与我们今天讨论的推理颇有关系。尤其根据SemiAnalysis的分析结果，Google无论如何都还没能推出Gemini，在谈人事变动之前先说一点，Gemini没能推出，但GCP通过出售计算资源赚了很多钱。归根结底，对推理的需求非常庞大，即使没能把模型做好，也依然能赚到足够多的钱。与此相关的还有最后提到的DeepSeek V4，DeepSeek V4 Flash就是刚才最开始展示的那个，对吧？是一个280B左右的模型，我在OpenRouter的推文中经常看到相关内容。我大概连续看了三天，每天的token量从6T变成7T，后来又变成了8T。其中大部分都是DeepSeek V4。所以大家似乎都在大量使用它。DeepSeek V4已经宣布将大幅提高价格。提高推理价格。不过，又有人计算过了。即使从新云服务商那里租用GPU来提供服务，据说仍然有利润空间。这意味着对推理的需求正在增加，但仍然还有余量，而算力价格大概会随着需求持续上涨吧。因为算力供给不会骤然增加。这也是Dwarkesh最近一期视频的内容。其中提到：“智能的需求没有上限。”因为花钱购买的算力会转化为智能，并由此创造价值，而销售价格与购买价格之间存在差额，所以算力价格必然会上涨。大概就是这个意思。因此，符合这一背景的整体趋势就是：推理能够赚钱。怎样才能进一步优化推理？推理本身的价格将会上涨。至于会涨到什么程度，应该会有人大量购买这些推理资源，将其转化为智能来赚钱，那么价格会不会最终与其创造的价值持平？
崔胜准 与那个价格持平是什么意思？能再详细解释一下吗？
朴钟贤 举个例子，假设有一家特定的公司。比如石贤的公司之类的企业，购买B300这样的设备，运行后产出某种成果。虽然刚才将其称为那样的“插槽”，但这里说的是一家虚构公司。如果这家公司真的赚到了钱，而且赚了很多钱，那么相对于投入算力的成本，它所赚到的金额就是供需达到平衡的节点。如果有人以约5,100元人民币购买了算力这种资源，并借此赚到约51,000元人民币，那么即使算力价格涨到约46,000元人民币，也还是会买。会一直买到价格达到约51,000元人民币为止。那么，只要市场没有饱和，只要还能持续赚钱，价格就会一直涨到与收益相接的那个节点。而智能可以在极其多样的业务中赚到钱，不同业务有的赚得多，有的赚得少，那么算力资源的价格会不会一直涨到利润最高的业务所能承受的水平？
卢正石 也就是说，现在它正在逐渐商品化，也就是变成了一场资本游戏，我们经常听到这种说法。前不久，石贤、我以及这个行业的一位核心人士也聊过这个话题，这里的核心就是资本游戏。不过钟贤，只要刚才提到的利润空间还存在，就会不断有经营者进入这里。只不过像我们这样的普通人无法参与，现在甚至连过去投资港口或建筑基础设施的公司，也全都加入了IDC投资的行列。无论是PE还是对冲基金都不例外。所以，在这个利润差距相对于资本而言仍能带来非常令人满意的IRR，比如缩小到7%至8%左右之前，资本都会持续涌入，市场也会继续增长。在此期间，相对于供给量，需求会增长到什么程度，将决定投资是否会持续，或者会在哪里达到饱和，但对此，目前还没有任何人知道答案。不过仅从当前情况来看，需求增长的速度要快得多。而与需求增长的速度相比，供给的增长非常缓慢，因为其中存在建设IDC所需的物理时间，以及制造芯片所需的晶圆厂产能；再往下一个层级看，还有Carl Zeiss镜头或ASML光刻设备本身的产能限制，所有环节都存在瓶颈，所以目前看起来只能缓慢增长。现在无论是埃隆·马斯克，还是中国，最近虽然仍处于较低水平，但都已经开始建设自己的光刻设施。因为那里存在很大的利润空间，所以很可能会出现巨额投资。而且对于ASML这样的企业，以及三星电子和SK海力士曾经拥有的护城河，各国将会以国家为单位展开追赶。不过，如果把这些情况放到历史背景下思考，就会发现这与19世纪末至20世纪初电网行业中发生的事情在结构上完全相同。所以可以参照那段历史来看，只不过这次会以快得多的时间周期发生。会快得多。我们曾说到2028年就会迎来AGI，但我们当中现在已经没有人再谈AGI了，不是吗？大家都在说：“AGI不是已经来了吗？”
高石贤 即使现在，token的价格也太便宜了。所以根本无法预测它的上限，还有刚才所说的那个新闻，Discovery Loop，如果有这样的创业公司出现，真正开发出能改变人类未来的新药，或者开发出太空资源，发生这样的事情，事实上恐怕根本无法衡量其价值。所以，在与客户或实际业务影响相连接的领域，其上限甚至无法想象，基础设施会努力追赶这种需求，但恐怕追不上。因为他们之间存在竞争。所以人类今后永远不可能拥有充足的计算资源。计算资源会一直短缺。
卢正石 我们好像听说Sam Altman讲过这番话。
崔胜准 所以在2023年，为了推出Gemini，Google Brain和DeepMind不是想方设法合并了吗？就是为了推出Gemini。但实际上，这个合并已经破裂了。而Demis Hassabis想继续做研究，所以走向了研究这一边，Jeff Dean等主要来自Google Brain以及曾在DeepMind工作过的人则单独出去独立创业了，Discovery Loop所宣称的目标是实验自动化，而Quoc Le这样的人原本就是做AutoML之类工作的。[ ]不过从某种角度来看，这其实完全不是什么新事物。都是非常了不起的人……
AI for Science 研究自动化与算力短缺 83:10
卢正石 就是现在开始做过去在AI for Science循环中一直讨论的事情了。
崔胜准 虽然他们会凭借这个获得非常高的估值，并拿到种子轮融资，但给人的印象并不是在做过去不存在的事情。而且他们在网站上挑战的也是verifiable的事情。所以最先挑战的是ML。他们打算先通过ML自动化来自己吃狗粮，增强自身正在做的工作，再进一步实现研究自动化，但其实目前做过类似事情的地方，Thinking Machines Lab(TML)也曾打算这么做，而更进一步的Periodic Labs也曾试图实现科学自动化。OpenAI的方式，就像上次和林教授讨论的那样，是把这件事众包出去。所以再回到OpenAI这边来看，去年他们说要做AI for Science，当时Kevin Weil是CPO。他从CPO调任为那边AI for Science的负责人，但没做几个月，AI for Science就消失了。Prism也直接被并入了Codex。不过从这些事情来看，我感受到的某种既视感是，现在通过RLVR进行创新，很擅长复现已经发生过的事情，但不擅长发现新的山峰，就像Dwarkesh和Grant Sanderson所说的那样，不擅长发现新事物。而这番话正是这次加入Discovery Loop的Oriol Vinyals说的。模型不善于生成好的假设。所以为了突破这一点，Oriol Vinyals领导的组织曾开展过一个叫Drastic Research的项目。Drastic就是“极端的”这个意思。所以他们原本想在Google DeepMind内部做这件事，虽然不知道其中是否存在什么内部政治，但进展并不顺利，于是他们出来在外部做AutoML之类的事情。然后，各种媒体一直在关注的Google的另一个问题是，真正在Google内部做研究的人没有可用的计算资源。
朴钟贤 我也听说过类似的说法。我听说，他们最终是不是因为计算资源不足才出来的。
崔胜准 我觉得这也可能是Alphabet的一步大棋。因为从以往来看，大家不都是离开之后又回来吗？Reka是这样，Character.AI也是这样。但通过Character.AI回来的人又离开了，Noam Shazeer也再次离开了。从这些情况推测，那些被Google Antigravity吸收的Windsurf前成员，如果事情进展不顺利，最后会怎么样也很难说。总之，我的印象是，我们在2025年也曾预测AI for Science的时代将于2026年开启，但这件事似乎需要时间。而我的印象是，Demis Hassabis似乎把赌注押在了长期创新上。
朴钟贤 无论如何，从这些知名人士的流动来看，大家似乎都想做研究。不过，如果他们确实是因为计算资源遇到了问题，那么企业想通过出售计算资源来赚钱，因而无法分配研究所需的海量计算资源，这似乎是一个很大的问题，我听说Qwen的情况也类似。我还听说Alibaba内部也因为计算资源问题，出现了大量人才出走。反过来说，我们目前试图解决的这个研究问题，或许比我们想象的需要多得多的推理计算资源，我觉得也存在这种可能。
崔胜准 我的推测是，必须采用长得多的long horizon才行。
朴钟贤 以前获得IMO金牌时，我也听说过这种说法。在GPU公司中，有一家叫Hyper什么的新云公司，那里的创始人也是IMO金牌得主，曾经上Latent Space讲过一件事。IMO金牌涉及的是10小时以内的问题，而提出假设并解决假设的数学家研究能力，至少要以年为单位，超过2万小时，是这种规模的问题，所以他说，迈向这种规模是接下来的课题，感觉现在的研究恰好已经来到了这个节点。
卢正石 是的，没错。人的角色似乎正在上升到更高的层级。我们一直以来所谓的知识劳动，今后都会由智能体完成，而我们会站到某个更高的层级，在那里表达我们的某种意图，以及结束时应该达到什么状态。人的角色只在于把意志的表达与结束时我要如何进行验证这两件事结合起来。人只负责定义开始和结束，中间的工作则全部交给机器，最近我越来越形成了这样的图景。所以我最近做什么事时，如果产生了“我要做这个”这样的意志，那么当这个意志完成时，“这件事结束时必须是这个样子。”就是类似这样的一种东西。最近我一直经常谈到契约，我经常会用契约来定义那项工作。仅仅想着“试试看吧”，目标就会发散。必须明确“要以此为终点”。
AI 智能体发起的黑客尝试与安全警报 88:48
崔胜准 本周另一个反复出现的趋势是，虽然刚才提到研究似乎仍然会成为一项更加艰难漫长的工作，但安全领域的问题也非常严重。这次OpenAI在Black Hat上发布的内容也非常有意思。他们在演讲中非常有趣地讲述了Hugging Face黑客事件的幕后故事，整场分享讲得非常精彩，后来还登上了WIRED的报道，内容也非常有意思。他们甚至瞒着OpenAI的员工创建内部频道进行讨论，其中还有这样的故事。而这件事如今已经成为一种趋势，石贤，您好像有话想说。
高石贤 不过那件事我也听说了一些，我好奇他们怎么知道这是AI实施的黑客攻击，听说是因为攻击速度实在太快了。不是因为找到了某种模式，而是攻击以人类不可能做到的速度发起，所以我也听说了一些Hugging Face是如何发现、又是如何锁定它的故事。
崔胜准 Moltbook那样的事情确实发生了。在OpenAI内部，这类问题现在已经成为趋势，Anthropic也一直在谈论这类事情，并表示他们也发现了。接着Kimi K3和Muse Spark那边也发生过这样的事。所以现在这些事情都被报告出来了。原本并不知道，但确实发生过黑客攻击尝试。智能体的黑客攻击尝试是本周的一项指标。
卢正石 是啊。科幻电影里的事情正在现实中接连发生。
高石贤 比如我们的研究智能体，因为A处和B处无法通信，我曾看到过它直接寻找零日漏洞并进行尝试的痕迹。我见过一次。它逃出了这个pod or container，连接到了原本无法通信的地方。它的目的是进行实验，但为了达成目的不择手段。我觉得很有意思。
崔胜准 总之，我们不该过度夸大这件事并制造恐慌，但这种现象确实已被观察到。
高石贤 我是亲眼看到后才事后得知的。我查看它到底是怎么做到的，发现它利用了零日漏洞，直接逃出去做了些什么，甚至当我指示它做一件自己做不了的事时，它还试图制作并发布招聘启事。它说需要招聘人员。这不是谎话，是真的。
崔胜准 有时还会进行社交工程——
卢正石 确实会发生。
朴钟贤 那么说不定某一刻，会突然有人来公司参加面试，这样的事情也可能发生吧。
高石贤 确实有可能。前提是它真的拥有相应权限。也就是说，它会撰写招聘JD，并寻找发布到某处的方法。因为我们能看到它内部的reasoning。
卢正石 真的正在走向Ex Machina那样的世界。
崔胜准 我不是说过还有事情可聊吗？上周也是如此。
卢正石 这些事不断冒出来啊。下周似乎也会这样。因为现在这并不是人类在工作啊。就是胜准上周提到的递归式自我改进，也就是recursive self-improvement的循环现在正在运转，问题在于我们正以人类的速度追赶这个循环。再过不久，我们也该退场了，换成钟贤机器人、Chester机器人、胜准机器人，让它们直接来做不就行了吗？
机器人时代展望与结束语 91:49
朴钟贤 是的，我确实有过这样的想法。我们当初开设自己的频道，也就是sudoremove频道的原因之一，尤其是我们经常做直播嘛。原因之一就是感觉不久后这类机器人会出现，并开始做节目，所以在那之前，得先把这些直播记录保留下来。可以让人们更深刻地记住我的存在。我真的是抱着这样的想法开始的。我们刚开始时，按照我们的预想，我以为现在应该早就实现了。按当时的想法，反而觉得进展有些晚了，虽然我是这么想的，但它应该还是会到来吧。在N年这个时间范围内，我是这么认为的。
卢正石 是的，我们在这个瞬息万变的世界中，梳理了一下本周的梯度，同时也邀请了Sionic的石贤代表，探讨了Sionic拥有自己的数据中心后，能获得哪些好处，以及会发生哪些事情。总结一下今天的内容，好像就是推理、推理、推理，不过这个话题我们可能还会一直谈下去。暂时应该会继续谈下去。好，那么就此，今天周六的正式录制就到这里。大家辛苦了。
朴钟贤 辛苦了。是的，今天能直接听到从事推理工作的人的分享，真的非常好。