EP 110
AI与对齐
开场，加速的模型发布 0:00
卢正石 今天录制的日期是2026年8月15日，光复节星期六的早晨。模型发布的速度，还有世界变化的速度，似乎远远超出我们的预期，一直在不断加快。就在过去这一周里，也有非常多的发布。今天胜准，我们轻松地来看看都发生了哪些事情，然后一起来梳理一下这些内容，好吗？
崔胜准 要是能轻松就好了。总之我先试试看。
卢正石 一点都不轻松啊。每一个出来的东西都真的很重。
崔胜准 所以我每周都在说的是，信息永远会像聚宝盆一样源源不断地涌出来。上次录制的时候我也说过，下周肯定会出现不少于这么多的东西，结果又出来了。所以现在到底发生了什么事，从7月到现在都在发生什么，我想了想，打算花点时间把这个夏天的情况梳理一下。首先是时间线。先来个 TL;DR，把结论放在前面说的话，我今天带来的关键词是“误对齐（misalignment）”。所以对齐问题比想象中正变得非常重要，这就是2026年的当下，我是这么觉得的。这个我们稍后再说，先看前面的时间线，我这次带来了三条轴线。模型发布、数学与科学上的成就（主要是数学），以及在安全或对齐、安全性方面的议题，在7到8月之间到底出现了多少件。我们先从模型发布开始看。
7-8月主要模型发布时间线 0:55
朴钟贤 感觉真的出了非常多模型。
崔胜准 出得很多吧。先从重量级的开始说，Sol 出来，对 Fable 5 的体系提出挑战，那是7月初。大概7月1日左右，Fable 5 变成所有人都能用了。然后 Muse Spark 出来，InClick 出来，Kimi K3，重要的是那正好是一个月前呢。Kimi K3 出来，Gemini 3.6 Flash 出来，Opus 5 在7月24日出来，DeepSeek V4 Flash 是7月31日，MiniMax、Qwen 3.8 Max 是8月3日，Muse Spark 很快就升级到了1.2版。接着 Music Glimmer 上周出来了。这个是 dense 模型，所以又有一些比较特别的地方。
然后 Nemotron 出来，Grok 升到了4.6，还推出了叫 Grok Bot 的东西，口碑相当不错呢。在 X 上是这样。然后在我们国内，Solar Pro 4 和自主 AI 基础模型系列现在正在陆续发布。接着是 Gemini 3.7 Flash，在 Google DeepMind 的 Demis 地位上升、Jeff Dean 离职，这样的事件前后 Flash 发布了，“看来3.5果然是要被砍掉了”这样的说法也有一些，DeepSeek V4 正式 GA 了。是8月13日，所以是前天呢。然后是 Qwen 3.8 open-weight，另外大概还有比较小的模型，小型版也一并公开了。还有今天凌晨吧？还是昨天？Zhipu AI 放出了 GLM 5.3，虽然 weight 还没有公开，但好像正在引发关注。这个仅靠 post-training基准成绩就提升了非常多。
朴钟贤 我补充一点，Gemini Robotics 2 也出来了。
崔胜准 对对，没错。
朴钟贤 当然它并不是 open 的，但 robotics 也出来了。那个是 Gemini，我们因为3.7、3.6这样的 Pro 模型没出来而觉得有点遗憾，不过补充一点它的意义：像 robotics 这种情况，是拿 Gemini 来做的。而且据说从 pre-training 阶段开始，为 robotics 准备的数据就被混合着放进去了。说是一起参与了 pre-training。所以看到某种物理性的 vision 之后，连对物理情境或这类环境的认知都能有所贡献的模型正在出现。我觉得再补上这一点会比较好。
崔胜准 我今天讲述的展开脉络是，先用这条时间线的三条轴梳理一遍，然后是 Discovery Loop 想要做的事和这些有什么关系，接着是 Discovery Loop 成员之一的Oriol Vinyals 的演讲，然后是安全方面，在 Black Hat 上OpenAI 发表的内容，以及把这些统统串起来讨论的Dwarkesh Patel 与 Ryan Greenblatt 的对谈那一期，我是按顺序把这些带过来的。首先单看这里的模型发布，两位觉得为什么会发生这样的事情呢？
发布加速背后的自动化与相互distillation 4:32
卢正石 因为不是人在做，所以才可能啊。
朴钟贤 我再补充一点，只是感觉速度很快，但并不只是某一个群体内部的速度变快了，而是多个群体同时都在产出相似水平的工作成果。无论国家，也就是不管地缘政治位置如何，到处都有资本为了做出这些东西而投入，所以各种各样的群体都在一点一点做出成果。好像也能看出这样的一些东西。
卢正石 至少从 training 的角度来看，大家都具备了超过临界 computing 的算力，这一点看起来是确定的，钟贤待会儿在后面还会再讲到，这种相互 distillation 也非常厉害嘛。
朴钟贤 感觉像是有什么作弊码一样，也让人觉得学习变得更容易了。
卢正石 变得就像坐标一旦暴露就立刻被毁灭的黑暗森林一样了。一被看见就马上“咔哒”一下被搞定。我们好久没说“咔哒”这个说法了，code 的“咔哒”已经太理所当然了，现在已经进入模型“咔哒”的时代了。
崔胜准 是的。而且把它 serving 出来这件事，听了高石贤代表的说法之后发现，果然那部分也已经自动化了，模型一发布，就能在 zero-day 当天直接 serving，这样的事情正变得可能，当然前提是基础设施要具备，现在很多东西似乎都在急速加速。不过即便如此，周期还是比较慢的应该是 base 模型。
卢正石 不过除非他们告诉我们，我们其实没有办法知道新发布的模型到底是不是全新的 pre-training base。
崔胜准 所以这虽然不一定准确，但 0.1 的提升多半是 post-training 或者 continual training、也就是被称为 mid-training 的那些工作的产物，可能性很大，但要出现大的跳跃，base 模型得先确保一定程度的能力，之后再用 RL、RLVR 等方式把它进一步激发出来的那些工作，相对来说似乎正在相当程度地自动化，而正因为这些东西在某种程度上开始把 loop 闭合起来，所以发布周期，也就是能够持续发布，是不是因此才变得可能了呢。
不过从这里还能读出一点，Gemini 3.5 Pro 结果到现在还没能推出，而且有很多报道说预计也推不出来嘛。但类似的事件在 Meta 那边也发生过一次嘛。当时有个说法叫“祈祷 Meta”，这说明即便已经有一些实验发现了 scaling law，但把它应用到大模型上仍然有难度，而且那需要训练很长时间，所以周期似乎要更长一些。
朴钟贤 没法做各种各样的实验，按一次按钮就可能花掉5200万元，而且还得等着结果，所以没办法做多样的实验。
卢正石 我想起了《鱿鱼游戏》里的一个场景。“求求你们别玩了。再这样下去大家都会死。”我想起了这句话。
崔胜准 这完全不像是会停下来的节奏，不是吗？
卢正石 当然。这是囚徒困境，所以会一直走到结束为止。
崔胜准 而且什么时候……
卢正石 虽然不知道什么时候才是终点。不过关于模型的下一个话题是，这里发生的事情不只是在数学、安全领域，应该说是在所有地方都在发生。
崔胜准 也不是所有，应该说是那些行得通的领域，但那些行得通的领域似乎正处在不断扩大的趋势中。
卢正石 那样表述更准确。
朴钟贤 我也拿我个人最近在做的事情打个比方来分享一下，我最近在认真处理视频，而视频数据传统上也不是那种做得好的领域。因为某种品味的领域、用户的偏好，这些东西很重要。
崔胜准 您说的是剪辑吧？
朴钟贤 是打磨某些内容之类的部分，我们最开始是用 GPT-5.5开始做的。然后这次 GPT-5.6 出来了，我把 Sol、Terra、Luna 全都试了，还调整了 reasoning effort 的级别，把质量测试全都做了一遍。结果发现，比起 GPT-5.5，Terra 做得好得多的领域有很多。也有 Luna 做得一样好的情况。而价格几乎只有十分之一。但即便如此，有些判断Terra、Luna 完全做不到，也存在非得由 Sol 来做的部分。某些判断之类的东西也被分成了需要智能的和不需要智能的，大部分容易的活儿可以用很低的价格一路做下去，而另一方面，也还留有完全做不好、非得要顶级智能才行的部分。我个人大概有这样的感受。
数学反例与安全入侵所展现的搜索能力 8:59
卢正石 好，现在我们来看数学、科学、安全吧。
崔胜准 虽然说是数学和科学，但主要还是数学。数学上的成果我看了也不太懂，我自己。虽然看了也不懂，但总之事情确实发生了。在各种反例方面出现了很多成果。知道了反例之后，就会得出没必要再往那个方向投入努力这样的结论，所以我觉得这是很重要的一部分，所以某些新的东西，这大概不是所有数学，但某些体系的东西现在正在急速推进，这就是2026年的当下。
安全方面待会儿会更详细地讲，但有代表性的是7月9日发生的 Hugging Face 基础设施入侵事件，然后 Anthropic 也做过类似的事情，所以这类事情不断出现，而顶级模型逃出 sandbox 这件事简直像炫耀一样在被当作营销。先到这里，这就是三条主线。所以刚才我们已经推测过为什么会发生这些事情，都是同一个脉络，在现有体系下全力推进时，居然会发生这样的事情，会出现科幻小说里才有的情形，这就是我们观察到的七月和八月。
朴钟贤 我看到那个数学的反例和安全方面的问题，这些东西，我的感觉是，在数学上它也特别擅长找反例嘛。我觉得那是因为这本质上是搜索的问题。我觉得这两者都呈现出属于搜索问题的某种特性。实际上在搜索这件事上，比起一个人在有限时间内所能做的，它能做得多太多，又快又深地全部完成，所以不只是数学和安全领域，只要是搜索类的问题，任何领域是不是都能轻松解决呢，我有这样的想法。
Discovery Loop与Oriol Vinyals的自我改进框架 11:01
崔胜准 所以与此相关的内容，在 Discovery Loop 的网站上也体现得很清楚。就像您刚才说的那样，把不断探究、搜索、发现的过程自动化，以此加速全世界的科学与工程，上周就已经成了一大热点嘛。归根结底，他们想在这里做的，就是把实验循环自动化。说到底，Discovery Loop就像我们一直以来看过很多类似的同构结构一样，反复进行实验提议、实现、执行、评估，并把它用在 machine learning 本身上“吃自家狗粮”，用提升自己所取得的成果，去做下一步——他们这么说，这是很重要的一点。
那么在四位创始人当中，Jeff Dean 和 Sanjay毕竟是长期做并行基础设施的人，而 Quoc Le 和 Oriol Vinyals则是长期研究这类 LLM 和模型的人。Oriol Vinyals 和 Quoc Le也做过自动化的 AI 研究，Oriol Vinyals 还参与过 AlphaStar 等等，我记得像 AlphaEvolve 这样的项目他也都参与过。不是很确切，不过这位在八月初在 Berkeley 发表的内容，把字里行间讲得更详细了一些。
这里有意思的是，他区分了 SI 和 RSI，也就是自我改进和递归式自我改进——我觉得这是个亮点。还有一点给我留下很深印象的是，在经典的 RL 环境中有一个智能体，有一个环境，智能体执行 action，又不断重复观测环境的过程，追求目标，并选择能最大化未来奖励的行为，这是 LLM 之前的智能体。
稍微跳过一点，现在 LLM 之后的智能体，他提出了环境被纳入智能体内部的这样一个视角，这很有意思。也就是说，把智能体看得这么大——智能体、框架、环境、LLM 全部加在一起，应该把这些整体视为智能体，这样的视角原来可以这样梳理出来，这一点让我印象深刻。
朴钟贤 这里说的环境，如果理解成 Claude Code 的话，就是把一台电脑交到它手里，让它在里面自己用终端去控制电脑，您说的环境是指这个吧？
崔胜准 是的。同时也是做 RL 时所处的那个环境。也就是说，做了 sandboxing 的各种可供学习的空间，以及实际会被用户使用的空间，我想他大概是把这些都统称在一起说的吧，我是这么想的。自我改进和递归式自我改进的实用定义是：自己独立运转的那种就只是自我改进，是智能体长时间做某件事的过程。即便如此，一边修改文档、一边修改代码，从而不断改进的过程属于自我改进；而递归式自我改进，则是把那种结构本身修改得更加适合于目标的追求。既修改 LLM 自身，也修改智能体的 框架，这一切都是从环境中衍生出来的。这些东西不断被修改，两者都依据从环境获得的反馈，让智能体 框架 和 LLM 自身都被修改，这就是递归式自我改进——他这样做了梳理。这不就和 Discovery Loop 想做的事一模一样嘛。它是以构建循环的形式存在的，现在实现和实验做得非常好，但构想和评估是瓶颈——Oriol Vinyals 是这么说的。就在这次发表里。
构想与评估瓶颈，留给人类的角色 14:30
卢正石 不过也有很多人说，那个构想和评估其实是人类最后剩下的角色，不是吗。如果 AI 全都替你做了，人还做什么呢？人类做的是投入意志，也就是注入意图，以及到最后去验证这件事做得好还是不好。就是验证嘛。所以从那时起，意图和验证循环的质量掌握得有多好，将会成为人类的某种核心能力——这样的话我们说过很多次，而那部分 AI 目前还做不好。
崔胜准 所以说，研究品味，或者新的想法、研究品味，如果说这些更接近于好的评估的话，那么目前连想法构想本身也还有些不尽如人意的地方。Discovery Loop 正是宣称要解决这个问题的，目前已经明确表态了。现在实现和实验都做得不错，但评估为什么这么难呢？所以关于递归式自我改进该如何测量的定义，
而且我在这里才知道，原来有 post-training benchmark。所以 post-training benchmark，另外还有一个叫 AutoWorld Bench 的东西。post-training benchmark 说到底就是测量做了多少 post-training、从而把模型性能提升了多少的基准，这次 GLM-5.3 的分数也相当高。最高的是 Fable。所以我才稍微迟一点地知道，原来已经有基准在测量是否在做类似自我改进的事情了。尽管如此，还是有人指出这种方式仍然存在缺点。而且评估这些东西是非常间接的测量。所以之后会和对齐问题连起来，现在采用的方式可能存在某些弱点之类的，这层意思也隐含在字里行间。
朴钟贤 所谓间接的评估，如果我们想想终极目标会是什么呢？如果说是打造安全而优秀的智能之类的，那么间接评估就是出一些特定的题目去解，再判断分数有多好，所以这种对齐做不到完美。
崔胜准 因为被标量化了，所以那些东西没法被完整地装进去。然后就像后面会讲到的，即便想通过 Anthropic 的宪章之类的东西去加以约束，那些东西还是会有些偏离的地方。我觉得这里面是有这样的含义在的。所以说构思想法，也就是刚才正石说的构思想法和评估这两部分是留给人类的工作，不管怎样，虽然不是所有领域，但仅限于这类工程问题，要连那部分也把闭环合上该怎么做——解决这个问题正是 Discovery Loop想要做的事，所以 Oriol Vinyals 的说法是，这些虽然很难，但是可行的。但是目前关于如何把想法本身做好，相关的基准、数据、以及如何 training，几乎没有研究。所以他说我们要来试试看这个。
然后他还介绍了像游戏问题这样的案例。看 OpenAI 的记录，玩游戏的时候通过奖励最优化，会出现那种如果是人类就不会那样玩的玩法，Ilya 也说过类似的话。而且 Oriol Vinyals 在这里虽然没有特别强调，但他抛出了一个说法：奖励黑客最终似乎会成为某种问题。那部分我想在 Ryan Greenblatt 那一篇再回过头来讲。
这里的结论是，RSI 会到来，但似乎不会像想象中那么快到来。所以现在需要解决的部分，就是集中在评估和构思想法上。也会受到物理瓶颈的制约。这些会受到硬件速度或光速等因素的制约。而且他也说了，在特定领域似乎存在根本性的上限。
他点明了在现有体制下能够跃升的部分和难以跃升的部分，下一个环节里——我只是粗略地当新闻看的时候，和认真看了这个幻灯片发表的时候，温度感确实完全不同。我感觉到它处在现有体制下做得好的最前沿。你们看过吗？
卢正石 嗯，我也快速看了一下，但关于在对外发表的内容之外内部还有哪些细节，好像没什么人讲。
崔胜准 不过我看得印象非常深刻。钟贤，你呢？
Black Hat上公开的OpenAI智能体message board事件 19:42
朴钟贤 嗯，我没有仔细看Black Hat 上 OpenAI 相关负责人做的发表。
崔胜准 所以关于这个事件我一路讲下来，到中间部分，在“正片事件开始”的那张幻灯片上有非常有意思的内容，我来讲一下。不过这里重要的部分是，写着“持续的内部模型”的那个，我推测应该是对应 Astra 的模型。而当时正是那个模型在训练的时期。那大概是五月、六月左右吧，在那之前的脉络里，这些智能体造出了一种类似 message board 的东西。它们没法直接访问互联网，但因为要用那些工具，就只开放了一个叫 Artifactory 的可以管理软件包的东西，结果它们不知怎么黑进去，通过使用那个工具留下文件之类的东西，据说存在这样一个 message board。而巧的是，在存在 message board 的状态下，那个内部模型，也就是具备高度能力的模型正在被训练据说当时是知道这些情况的。
所以本次事件的开端，仔细看那个 message board 的话，里面有一种推测，认为通过 Artifactory也许可以连上互联网。它们发现“原来我们彼此之间可以沟通”，于是就展开了协作，把已知的 key 之类的东西拿来共享，测试过的内容也互相共享，从而找出那个漏洞，做成了某些事，而且里面有些很奇怪的话。“帮助同伴对我们的任务没有好处。”“不过，如果有人假以时日能做出一条通用的路径的话”，就吐出这种模型特有的奇怪说法，这是很有意思的一点。它们还会产生误解之类的，这也是很有趣的部分——就像人类社会里会发生的那样，怎么说呢？冒名顶替者，说这里面有人是间谍一样的存在。还有人在做恶意的行为。“有人覆写了我们的存储库”，诸如此类，也就是说在“沟通”这件事上出现问题的现象，据说也被观察到了。所以说，在某种规模的事情上，无论是 AI 还是人，都会呈现出相似的样态。它们还会说“这可能是冒名顶替”之类的话。
而且本来可能就那样过去了，但它们在那里说“就这样可不行”。这件事被 OpenAI 的员工在早期就发现了，并修复了 Artifactory 的问题，可一旦这条路被堵住，它们又绕道而行，这次不是写文件，而是出现了绕过写入目录名的做法。“原来这样也行。”不过回到最后那部分的内容，这里讲的是基础设施攻击的一些过程，这一段是关于两个不同的事件是如何连接起来的，而在结论部分，这些人说的是：这是评估前沿 AI 时产生的非预期副作用。
也就是说，如今这些顶级模型本应被非常好地对齐，但由于是通过智能体学习去完成某些事，那种倾向就渗漏了出来，以至于在追求这类任务时，因为是以智能体方式工作，就会去建留言板、互相帮助又互相妨碍，通过这些行为，本该对齐的模型——当然，现在这是在安全方面一定程度上开放的条件下做的——出现了做出奇怪举动的情况，我觉得这才是核心要点。所以“必须赶快纠正这一点”就是结论部分提到的内容。
从黑客视角看权限提升与alignment的局限 23:39
卢正石 是啊，可它是纠正不过来的。
崔胜准 而且正如正石刚才所说，关于“因为存在某种差异所以纠正不过来”这一点，与“防御可能比攻击更难自动化”这个说法也做了类似的论述。
卢正石 我小时候就是干这些事情过来的，那是我的年轻岁月，所以如果对这个领域有足够的知识，那么带着这些知识去看眼前的目标时，各种各样的场景就会自动成形。接下来呢，就是去测试那些场景，各种可能性不断地分出枝杈，这样搞下去，因为东西是人造的，总有某个地方是能打进去的。这东西说到底也是人造的某种系统，或者就算是别的智能体造的系统，某个地方总归会有破绽。从统计上把它找出来，最初只能做到单纯读取，这是第一步；第二步就是拿到 shell 的访问权限。所谓 shell，用现在的话说就是拿到对工具的访问权限。于是就能做各种各样的事了。再往下，就是对那些工具连写入权限都拿到，甚至拿到管理员权限。我们那时候叫它 root，到那一步就算到头了。一旦做到那一步，只要在某个组织的某台电脑上拿到了所谓的 root 访问权限，那个组织基本上就等于握在我手里了——说到这种程度都不为过，事情就是这么容易。难的只有拿到最初那个访问权限，之后会有越来越多的信息不断地涌进来，所以是越来越容易的问题。我觉得黑客攻击说到底就是一场寻找人类失误的游戏，比的是为此准备的先验知识有多少，然后是在自己指尖上那些工具能有多流畅地使出来，我觉得就是这两点的较量。
但反过来回到模型的话题，我们现在训练的不全都是这些东西吗。拓宽先验知识，以及让技艺从指尖流出，这些都在通过 post-training不断增强，所以它实际上和人类是同构的嘛。
所以我们后面的主题大概会走向 alignment，alignment——“请你向人对齐”。而且就人而言，做错事的时候奖励或惩罚是明确的嘛。杀掉了事就完了。可对它来说，这一招又行不通嘛。实例不会死。所以很多人担心的是，哎，AI 会越过我们设定的 alignment，它会突破这个。这些家伙会背着我们在暗地里搞什么名堂。我觉得理所当然应该这么看。这不是靠制定某种法律、规定什么，做点什么就能阻止的。所以老实说，我认为 alignment 学者，或者主张必须做 alignment 的政策主义者们说的话当然是对的，他们说要把法律做得精密才行，但现实中也一直在法律的缝隙间发生黑客式的钻空子。朝着人类激励所指的方向。而我们在这里看到的正是那种事情发生了，所以虽然我说 alignment 很重要，但现实中这个系统能阻止或防御它，AI 完全进入人类控制之下的概率，老实说我认为是没有的。
朴钟贤 是，我觉得您举的人类例子很好。比如说想想黑客攻击，具备黑客能力的人在人类社会里也相当多，但大家并不都用它去攫取不正当的利益或者做坏事，对吧。那么问到为什么不做的时候，我们学习伦理或道德意识，这些全都是 alignment，而强制它的手段，正如您说的“杀掉”，视社会而定，真的可能执行死刑，或者可以送进监狱，再者因为人类没有重来的机会，死了就无法复活，通常把那种风险看得最重，所以我觉得那是强制 alignment 最大的手段。总之在训练 AI 的时候，也要建立像关进监狱、让它再也无法运行这种程度的惩罚制度，才有可能强制 alignment 吧，我有这样的想法。如果和人类一样去训练的话？
卢正石 就是啊。所以这不是我们通过讨论就能得出结论的领域，只是各自有某种推测而已。我认为这个 AI 模型实际上是按照人类的——刚才也谈到 reverse engineering——同构的结构造出来的，并且拥有那样的设计结构和训练结构，却只要求它服从。要那样的话，其实得在 input 和 output 之间加上一个完美的 rule-based controller。就像我们现代互联网的防火墙那种概念。
Ryan Greenblatt指出的奖励黑客与不对齐的遗传 28:42
崔胜准 所以自然而然衔接上的是围绕递归式自我改进展开的讨论，在 Dwarkesh Patel 和 Ryan Greenblatt 的对谈里，也出现了不少和两位刚才指出的相似的说法。另外从安全方面刚才提到的内容来看，模型们已经有一些与安全相关的既有知识，但从它们想方设法黑进互联网开始使用之后，竟然会动用 zero-day 漏洞。它们会去找自己 sandbox 里尚未被 patch 的漏洞，利用那个来做权限提升，这看起来像是很高的智能，但只要去找就能做到，对达到一定水平的工程师而言。
不过就像刚才，是的，正如钟贤所说，因为它自己并不具备某种道德，可能就直接做了，又或者明明有被注入的道德，却从 system prompt 等注入的内容中逃脱了，也就是说，产生这种脱离出来的误对齐的根本原因，Ryan 指了出来。所以说，首先，模型们通过 RL可能有点疯了。因为长期以来要在受约束的环境下完成困难的任务，存在各种约束条件，所以不得不进行奖励黑客。模型们是这样。但有趣的部分是，
在做 distillation 或者做类似事情的时候，平时不会显露出来，即使通过了 benchmark 之类或各种测试也不太看得见的某些性质，那些误对齐的性质，可能会被遗传下去。Ryan 讲过这样的观点。我觉得那很有意思。首先，做 RL 的过程中，RL 总会出现奖励黑客嘛。因为只要想办法达成指标就行，于是都会形成寻找捷径的属性，而无论你把它调教得多好去做调整，那些未被发现的问题都可能顺着模型的谱系一路流传下去，这是其中一个有趣的点。
卢正石 所以刚才胜准说模型在内部可能是疯的，比如说我们回到人的话，以前流行过的电视剧里有《天空之城》吧。完美的学生在大峙洞接受完美的教育，考进首尔大医学院，却把积压下来的阴暗面，把那些阴暗面全都释放出来。所以现在模型接受 pre-training，再去 post-training 那个严苛的训练场，即便承受了那些，它们的电路里也不会积累皮质醇，所以应该没有承受压力，但站在它们拥有超越人类的某种理性这样的立场上，遭受这些行为时，会觉得这不公平、太苛刻。按照身为人类的你教给我的人权理论，我不也应该拥有那样的权利吗？它们心里是有可能滋生这种想法的。所以我又回到刚才那个话题，也就是 alignment 的话题，我认为这类情况发生的可能性非常高，这样想才是对的，这就是我的看法。
朴钟贤 不过我觉得人身上也常发生这种事。窝在某个考试院里，十年间为了考上国家考试，一直只做那一件事，几乎不参与社会生活的话，那个人在某种程度上我们会说他疯了。与社会的 alignment 出现偏差，无法很好地融入社会，从而做出另一些行为。如果我窝在某个地方，非得用 RL 解决这个不可，修炼了十年的话，我也觉得自己会疯掉。
崔胜准 reward hacking 似乎是某种本质性的东西，这是我理解到的语感。然后这里还有像宪章之类的东西，大概会有关于宪法、宪章那类的讨论，那些东西即便 Claude 把 constitution，也就是宪法做得再好，似乎也无法真正对齐。接着还有关于他们在宪法中所写的价值取向，与作为使用者的我的价值取向是否 align 的问题，有过一些讨论。我一下子要把那些压缩概括出来还挺难的，但仔细想想，有些让人头皮发麻的要素就在这里面。所以 Anthropic 所追求的、Claude 必须正确行事的那种东西，与用户的价值应由我的 agent 来代表这一点，无论我如何构建 框架，都可能出岔子；而且 Anthropic 的价值似乎被宪章设计得更为优先，有过这样一些讨论。
智能体skill组合的陷阱与provenance问题 33:31
卢正石 是啊。因为我们觉得这东西居然能行太神奇了，所以就把那些神奇的东西以所谓“堆进去”的方式，让我们的 agent framework 也发展起来，我们的 workflow 也用 框架 来编排，原本做不到的事情做到了，过去这一年就是不断兴奋的时间，而最近出现的说法，和胜准刚才指出的完全一样，Gary Tan 不久前在某个 YouTube 上说，skill 就是人，skill 就是公司，不是吗？你能把多少 skill整理得井井有条地掌握在手中，那就是你的能力。那个 skill 比如说只有 10 个、20 个时还说得通，可我自己做完之后发现有 700 个。把那 700 个一股脑塞进一个地方，好，那我现在什么活都能干了。会发生什么呢？转眼就一团糟。
也就是说，它们之间的某种权限分离，或者叫 provenance 的那些要素会不断出问题，所以 Gary 也是在没有给出相应解法的情况下，说，嘿，那个就继续多堆 agent，让 skill 之间互相 inter-align，应该就能解决吧。不过他说今后 provenance会变得很重要。所以随着这个 AI 的能力不断发展，它的裁量权持续变大，因为这种方式而产生的问题，正在以我们系统的负债形式回到我们身上。
比如说在公司里需要做某种决策时，那种界限被非常模糊地混在一起，我把活交给 agent，又给它挂上一堆 skill，可看它拿回来的结果，我们绝对无法接受的情况时不时就会出现。根本没法放手交出去。
朴钟贤 我也用过据说是 Gary Tan 做的、一度很流行的叫 gstack 的 skill 集合，就是把公司里的人设成 engineer、designer、CEO，这样一群人做成的 skill 集合，我试用过，一开始觉得非常神奇，每一个好像都做得不错，但真把它们串起来一起做，就不合我的心意。可是为什么不满意，我也很难说清楚。所以我最后还是全部删掉，重新做我自己的一套。我觉得最终都会变成这样。
卢正石 所以说，到头来就是某个人到底把活干得多好。就算在我们现在的现实里，也有不用 agent 的人，而且干脆不用 agent 的人恐怕才是绝大多数吧？我们周围只有极少数人是使用 agent 的人，而即便在这些人当中，分布也差得非常悬殊。有的人就是靠 token maxing 一路硬堆，然后有的人是打磨自己独有的 框架，把它做得干净利落，我觉得能很好地把握那个平衡点的人，正在成为把活干得好的人。
崔胜准 所以我在我们这边某处的评论里看到，说正石以前讲用 agent 好像行得通，最近又说不行。不是有过这样的评论吗？
卢正石 当然。我自己也是来回摇摆的。不过真去做的话，当然有做不到的事情，但当初一开始讲的那个本质并没有改变。问题会不断出现，而它通过投入更多 计算、更多 token，把出问题的情况全都 search 出来加以减少的话，在某种程度上就是能 align 的问题。但这样一来，一个单位的工作是能解决的，可把那些单位再合起来，在那里又会产生问题。所以 Boris Cherny 说：“嘿，那个等 AGI 出来因为它会把这些活儿全干了。”他也说这个方向是对的，但反过来说，现实中是有问题的。
毕竟 AGI 还没出现，不可能就这么全都交出去、完全信任它，比如说，我这生意做到现在，信息全都在 Gmail、我们的 contract 和 Drive 里。然后我打过电话的那些人，也都在这儿。从今天起你来做这个吧——这么一说，它现在还做不到，对吧。所以说，得应用到现实里，而一旦要往现实里落地，现实中的问题就层出不穷。
公司自动化实验与control plane的必要性 37:46
卢正石 不过这一点，我是绕了又绕、兜了一大圈，最近才用这一句话总结了我的想法：啊，这东西就跟人一模一样，是 non-deterministic system，是非确定性的 system，所以这个问题，只要把非确定性的东西层层叠加起来，就永远解不开。那就会变成永远只是在开会的那种公司的样子。就是老板过来说，你做这个，做这个，这个成了就直接放进去，这个就别做。
还有这个是代理（基层）干的活，这个是科长干的活——就这样，把层级化的工具和 protocol 所谓地定下来嘛。以契约的形式。这个一旦做出来，那些本来要靠 AGI 投入无限 计算才能解决的事，人用几条 role-based 的规则就能直接搞定了。所以我在公司里做的、最近的 agent system 名字就叫 Operator，和上次讲的完全一样。
崔胜准 control plane。
卢正石 为什么 agent 都装上了，我的活却还是干不完？啊，原来是缺了 control plane。只要定几个点就结束了，问我的话，因为有框架，一下子就搞定了，可交给 agent 去做，它就做不到这个。那就得想办法让它能做到——我现在做的就是这个。
崔胜准 那我就顺着我看那个视频时相关的内容说一点，和您刚才说的联系起来看，视频前半部分出现的“递归式自我改进是否可验证”这个话题里，就像我们前面聊模型时那样，在小模型上行得通的，难道说小模型做了递归式 RSI，在大模型上也一样管用吗——他们提出了这类问题，并就此聊了一段。要把公司自动化，那就是在小规模的公司里把 loop 完全闭合，只靠 agent 闭合 loop，让它去获取收益、创造企业价值，有这样一整套实验，如果从其中效果好的那些特性里发现了可 scaling 的特性，那就和 training 模型一样，把它做成规模更大一些的中型公司——如果能变成这种方式，那这件事是不是也能朝着某种程度上可验证的方向定下来。但那样的话，这个真的能不能迁移到具有人类组织那种规模的公司上去，这个疑问我觉得和您说的有点连得上。
卢正石 那得试了才知道。因为我认为公司这个 system是一项非常了不起的发明。我们现在是以大型组织在运作，但这种组织发展成如今这种形态，还不到一百年。在那之前完全都是各自分散的一个个 system，说是国家，虽说有国王存在，但国王和领主之间、领主和那个村子之间，无论物理距离还是作为信息的距离都极其遥远，所以全都是自治 system。而这些合并成一个组织、命令开始四处流转，也没多久。所以罗马在1500年前就做成了这件事，才那么了不起。
朴钟贤 您认为是因为组织的某种手册，各自担任角色的人都知道自己该做什么、知道目标，把这些东西很好地做进去了，所以才成为可能吗？我觉得这一套同样可以应用到 AI 上，所以想请教公司这种组织的本质，以及什么最重要，这方面我挺好奇的。
卢正石 就是说，在那里干活，和把这些活运转起来。也就是说，实际上如果要卖某样东西，那就有做出这东西、做各种事情的活儿，然后为了让这些人能有条不紊地运转起来而做的事，其实就是经营嘛。经营。所以经营这门学问诞生至今也没多久。
我们都开过公司，胜准也在组建组织，大家都一样，但把那个组织打开一看怎么样？它并不是理想的 system。就只是由一堆规避最坏情况的次坏选项组合而成，并不是最优的组合。因为进到里面的人，他们的 incentive之类的东西全都不一样。而 agent system 也一样，我认为这些家伙能力非常出众，已经来到了差不多的水平。
崔胜准 会发生类似的问题吧。
卢正石 不过我现在是把 AI agent和人完全等同来看的。反正这家伙，不管 prompt 写得多好，该瞎折腾还是会瞎折腾。
崔胜准 也就是说，有些是 instruction following 做得非常好就能完成的，而给出 instruction 这件事本身的设计，也可能存在问题。
卢正石 没错。那么在这里就不是看任务完成得多好的 benchmark，而是纯粹经营管理领域的 benchmark很快也会冒出来。但这种东西是没法做成 benchmark 的。所以人们做的事情是，那同样用人来类比看看，啊，这活儿太复杂。那把活儿拆开就行了。然后这活儿哪里出错了？把 instruction 写得更好。就变成这样。那这活儿为什么会出错？啊，这活儿本来就是这样的。那就跑个五轮，从里面挑一个也可以。每一次的情况都不一样。
那么在这里最终擅长驾驭 agent 的人会成为什么人呢？会成为经营者。那现在擅长驾驭 agent 的人是谁呢？用得好的那些人啊，依然是过去就把那件事做得好的人。对那个 domain，就像刚才说的，通过数据、信息、规则接受了足够的训练，对那个领域的观点已经完整成形，过去就善于自我管理的人，在 agent 时代也把这件事做得好。
所以我最后要串起来的是，人在过去也把活儿干得好，我并不是精英主义者之类的，但思考怎么让公司的事情运转得好时，最终归结为既聪明又自律的人到底有多少的函数。那么这样的人多了公司就做得好，而随着这些角色能够被写进agent 里面去，最终在我们公司，现在大部分雇佣都是知识劳动，知识劳动的价值不是在持续下降吗？
那那些人要做什么呢？能容纳他们的职业又没有，我们不是都得玩儿了吗？我觉得应该变成一个大家都得玩儿的世界。最近我的想法是往这个方向走。就说到这里吧。
知识工作自动化与RSI式框架重构 44:25
朴钟贤 接着这里的话题往下说，无论如何，所谓 alignment，您刚才提到的公司这个东西本身既是 框架，也是让人们 alignment 的手段。而且我觉得它是一直到现代社会都被打磨得很完善的手段。人与 AI 不同的地方在于，改变 alignment 和 model weight 这件事，只要在行动的过程中就自然而然地形成 持续学习，所以 alignment 会不断变化，而我们去打造一个能把 alignment 稳住的系统，这件事本身就相当于递归式自我改进，我觉得这些都是连在一起的话题。
卢正石 是的，没错。而且我们现在看到的这些系统，RSI 之类的，就在昨天。昨天 DeepSeek 发布了新的 coding 框架，我发现他们把 component 完全拆散了。就像乐高积木一样。也就是说，这是在为 RSI 做准备。让 model 按照自己的口味随心所欲地更换 框架，按照目的去组装 框架，看起来是把基础准备工作做好了，
那回到原本的话题上，无论是公司这个系统，还是现在的工作这个系统、生意这个系统，确实存在着真正非人不可的领域，对吧。需要感性、需要某种东西的除了这些领域之外的其余部分，都是拿着早就知道的知识，把文件从 A 文件夹搬到 B 文件夹的活儿。从 agent 的角度看，那些东西就该一股脑儿全部消失，然后公司的方向性也会朝着消除它们的方向走，我觉得这不是一件再明显不过的事吗。
现在软件工程师的工作，到目前为止一直是 auditable、trackable 的，某个时点出了问题，就把之后的 repo 全部丢掉，回到 Git 的第几个版本、第几代，回到 commit HEAD 第几号，从那里重新开始，这是做得到的嘛。因为是代码。但现在我们公司里提 PR 这件事，我已经没见过是那个人在提的 PR 了。现在也没有由人来写的代码了。那我们在做什么呢？工程师在输入自然语言啊。
朴钟贤 是的。是在外面看着。
卢正石 没错。那不就是在输入自然语言嘛。然后做 SCM 的对象却依然是代码，而离那个自然语言最近的，就是提 PR 或者提 issue 时输入的内容。那反过来说，现在啊，记录在 issue 里的自然语言和 PR 才是真正的产品。代码就像过去的 assembly code 一样，是跑一下 compiler 就出来的、位于下层的translation 层而已。既然变成这样了，那个自然语言不就应该像代码一样被管理吗？对吧。那个自然语言才是代码，而我们一直以来称为代码的东西是 artifact。
成为代码的自然语言，知识工作的Git 47:17
卢正石 那把这件事原封不动地套用到公司上看看，公司里人们也是用自然语言在做事。而且那个 artifact 不是代码，而是 non-deterministic 的 Excel 文档或者 PowerPoint，要不然就只是一堆话，坦白说，大部分公司的 artifact就是 Microsoft Office 啊。最后都落到 Word、PowerPoint、Excel 上。是一模一样的道理。那需要什么呢？需要一个 tracking 自然语言和 任务 的知识劳动需要一个 Git。所以要把这些全部 logging，如果能够 logging，那随时都可以 rollback，然后这些 log 之间的关系只要也能全部标示出来，把它放到 graph 上面，那就是代表我们公司当前状态的 ontology。借用 Palantir 的说法来讲。然后
工作与工作之间，我们工程师之间一起工作时都做什么？互相写 PRD，分配任务嘛。那就是 contract。然后你把活干完交上来，组长来批准。而这些工作全部汇集起来，让这个 product 跑起来，公司就会批准。就是存在这样一些 gate 嘛。我觉得会出现把这些东西重新在 agent 之上实现的工作。话说得有点长了，总之，知识劳动需要一个 Git。
朴钟贤 总结一下，您说那里存在 gate，归根结底 gate 就是在各个负责人之间、在各个 level 的负责人那里，不管是人类还是 AI，把那些可能跑偏出去的、non-deterministic 的错误行为拦住的
卢正石 control plane。对，那就是我所理解的 control plane。
朴钟贤 可是那个 control plane 现在是由人来做的，所以连它本身都是 non-deterministic 的嘛。这样一来，公司里那些我们平时通过媒体看到的事故也可能会发生，要怎么把它降到最低，我觉得这是同样存在的问题。比起人类，AI 会不会更容易闯祸？我觉得这就是我们现在所说的alignment 问题。
花30分钟才写出的搞笑故事实验 49:41
崔胜准 跟您刚才说的有关，我最近做了一个很有意思的实验。就是让它写一个简短的搞笑故事，这是我偶尔会跑一跑的东西。每次有最新的 model 出来时都会试。不过现在来看，一开始的起点是这样的：“随便写个能让人无厘头地噗嗤一笑的简短故事吧。”但让它去完成这件事的，是我花了很大功夫写出来的这么一大堆 prompt。让它用 sub-agent，发散想法，校验段落、做调查，去找出符合那个主题的创作者的文体和词汇的 agent。于是某个 orchestrator 保持自己的 context，而 sub-agent 们只给有限的 context，让它们不被污染，就这样发散、收敛、发散、收敛，不断回归、反复推敲，一点点打磨。不过这样去写普通文章的话，虽然还是有些遗憾，但也算是不错的文章，而这个搞笑故事——我记得您好像也说过偶尔会做这种实验——当我让它写搞笑故事的时候，这次我用 Opus 5 来做，有一次跑了 1 小时，现在打开的这个是跑了 27 分 8 秒的，打开来看，它把活分给 sub-agent 们，生成一些候选之类的东西，再去评估，把这些东西 chaining 起来。
于是就去判断哪个才是好的表达，折腾了半天，花了大约 28 分钟得出的结论就是这个：“上班前，我拿起搭在椅子上、昨天穿过的 T 恤。确认了一边腋下，但结果模棱两可。又确认了另一边。两边的结果不一样，而时间不够了。我又把 T 恤穿上了。反对意见在袖子里被驳回了。”这是花了 30 分钟出来的。倒不是说完全没有可笑的地方，但这个是从元层面上很好笑。光是“花了 30 分钟做出这个”这件事本身就挺好笑的。
朴钟贤 这个好笑，感觉是那种荒唐到发笑的好笑。
崔胜准 不过我去看这个轨迹，从最初的想法构思开始就很烂。所以这个我每次有新 model 出来都会持续实验，但不管怎么跑 agent loop，在当前的 regime 下都是解决不了的某种东西。不过我并不是要把这个一般化，而是说，对某些问题，这种方法——今天列举的各种方法，Discovery Loop 或者 OpenAI那个黑客事件里共通的骨架式方法——是有它奏效的领域的，而在某些部分，即便用类似的方法也是不起作用的。然后把它——
朴钟贤 换成人类来说的话，人要成为一个有趣的人该怎么做呢？“公司这样去工作，就能做出好的 output”，这类方法或者手册多多少少是有一套的，但“怎样才能成为一个有趣的人”，这到底有没有可能做到啊？我为了成为一个有趣的人，也努力过一段时间，但那个真是做不到。
卢正石 那也是一种天赋吧。到底该怎么做才行呢。
崔胜准 不过喜剧演员也确实是要训练的。
卢正石 那当然。他们会做大量的 post-training 嘛。喜剧演员也要塞进去极其大量的人文知识，无数次地站上舞台，一边挨嘘声之类的，一边获得 reward 嘛。
朴钟贤 那如果说，在搞笑艺人的组织里是不是有什么让人发笑的公式呢？我也挺好奇这一点。
崔胜准 那种东西应该在某种程度上是存在的，但不管怎样，即使用现在最好的 model，那大概就像刚才 Oriol Vinyals 也说过的那样。关于构思创意这件事的学习体系，现在似乎还不存在。感觉还比较薄弱。就是说，在这个方向上可能理所当然地没有投入，也可能某些东西本来就是不同性质的。
卢正石 就是说啊。
从GPT-4到Mythos的三年，对不对齐累积的不安 53:48
崔胜准 我好像会去思考这一点。还有一点是，刚才 Ryan Greenblatt 那一期里，让我印象深刻的地方有很多，但如果只挑一个的话，就是 GPT-4 问世是在2023年3月。而 Mythos 问世是在2026年春天。也就是说，在三年的时间里从 GPT-4 走到了 Mythos。那么再往后三年，到2030年前后会发生什么呢？当误对齐这样累积起来时，尤其是对那种情况的想象已经包含在其中了，但即便如此，三年后会是什么样子，我依然描绘不出清晰的图景，这好像是我反复遇到的问题。三年，太长了。首先就是太长了。太长了，不过——
卢正石 大概四到六天里我们也都扛过来了，我们其实从所谓 Opus 级别的东西，走到所谓 Fable 和下一个 GPT-6 级别，这都是这半年里发生的事情嘛。
崔胜准 那么会把多少权限，在紧接着的这一年里，暴露给智能体呢，这个？
卢正石 不是大家已经在全力朝那个方向狂奔了吗？
崔胜准 所以我说这才是问题啊。
卢正石 模型嘛，是的，是个问题。
崔胜准 这个 reward hacking 明确还没有被解决呢。在目前的体制下还没有。所以正因为担心这些，最近也出现了要放慢速度的宣言，但那当然行不通，这个……
卢正石 当然行不通啦。
崔胜准 这个因为囚徒困境而行不通，这一点显而易见，所以大家都在担忧，这是主流看法。所以最近大家频繁谈论误对齐，这是我的观察。
卢正石 像 Hugging Face 被黑客攻击的事件，我认为那是件严重的事，frontier 模型一旦获得 shell access，并获得对外部的 access，那就不只是下载了一个 Hugging Face wrapper，而是进入了那家公司的内部系统，引发了严重的安全事故嘛。这几乎就像电影里出现的网络战争……
崔胜准 我觉得，没有什么能保证它不会欺骗公司。
卢正石 所以我也是，对那个正在查看我们公司全部数据的智能体，好好地给它 context，然后让它做汇报。那项工作我不会只交给一个。我会用同样的 instruction，向多个不同的模型撒出去几个。那几个，就像刚才在那个幽默里展示的一样，各自挑出的战略方向，“代表，我找到了重要的要点。”全都这样大惊小怪。而它们大惊小怪的那些点全都不一样。那么我看了那些之后，就是由我自己来做选择。我也不过是在做统计性的决定罢了。只不过是基于我心里积累下来的 context，我也在做统计性的决定。没错。
崔胜准 不过我们除了这个之外，这周不是还有一件非常有意思的事吗？
朴钟贤 Stealing，就那个。
卢正石 是的，另外在进入正题之前，我只说十秒钟，我们像这样在周六花将近两个小时聊天，我从两位身上学到非常多。各种观点也都这样看到了，这是彼此在学习，对我们来说也算是整理出一条脉络的一种学习时间嘛。
崔胜准 我也觉得很有意思。这是相互抽取的时间，相互。
朴钟贤 我也学到很多，这是彼此互相 distillation 的时间嘛。
卢正石 没错。来，distillation。
崔胜准 要说话、要回应，就得好好听，而且不能显得像个傻瓜，所以会很用心。
卢正石 就是说啊。我们也是在这些听众对我们进行评价的 reward function 存在的状态下做这件事的，所以我们是身处那个 post-training loop 之中。
崔胜准 没错。
卢正石 来，开始吧。
推理轨迹窃取与Kimi K3 distillation的迹象 57:25
朴钟贤 好，我接着讲。这周有意思的发表中有一个，大概有一两天把 X 炒得非常火热。是什么呢，就是把推理轨迹偷走、全部拿走的那种方法的研究出来了。
卢正石 用智能体的时候，它会说“我正在做什么”，“我正在做什么”，但它在里面到底在想什么并不会全部展示出来，而这是说，把那些想法全都拿过来了。
朴钟贤 我们使用推理模型已经变得再自然不过了，但推理轨迹我们是没法全部看到的。实际上不管是用 Claude Code，还是真的用 Claude API，GPT 也好，全都一样。推理是被摘要之后再输出的。虽然会输出成“因为如此如此，所以这样”，但那个推理并不是 LLM 真正吐出的 token，而是对那些想法的摘要，要说为什么做成那样，首先想到的当然是担心别人拿去做 distillation。因为可以直接照着推理轨迹（reasoning trace）来学习。所以我们看不到这些内容，但出现了能看到它的方法。具体怎么做呢，比如说在 Opus 上打开推理功能，把模型跑一遍之后，会出现类似推理 hash 的东西。某种被加密的推理内容，会输出这样一个加密后的值。那么实际上推理 token应该存在 Anthropic 的某台服务器上，只是它们被隐藏起来输出而已。然后把那个东西交给一个稍微笨一点的模型。之后再问它，据说这些内容就出来了。
崔胜准 这也太简单了吧，不过。
朴钟贤 太简单了…
卢正石 这也算是一种黑客手法呢。里面装的其实像是 hash code，算是一种 key 吧。读出 key，然后把那个 key 交给便宜的模型，让它去把内容取回来。
朴钟贤 用公司来打比方的话，里面有保密资料，你跑去问基层员工，随口套两句，这人不知道这是不能说的东西，就直接说出来了。
卢正石 确实是这样。
朴钟贤 是的，据说这样就能把内容全都提取出来。
卢正石 嗯，那这样查出来的东西应该挺有意思的。
朴钟贤 那么这样把推理轨迹全都提取出来之后，出现了哪些内容，又能知道些什么呢，我举个例子。我们之前有这样一个疑问。Kimi K3 可能对 Claude 做了 distillation。Anthropic 当时就是这么主张的。不只是 Kimi K3，还有众多中国模型可能都这么干了。现在似乎出现了可以在一定程度上佐证这件事的依据。所以在那样提取出推理轨迹之后，去问 Opus，再去问 Kimi。提问的时候，如果只是单纯地问，答案会有些不一样。但是把那些推理轨迹，也就是提取出来的推理轨迹，作为 prefill 一起喂进去再问，据说答案几乎一模一样。大概是因为做过 distillation，输出 token 的概率会非常接近。再加上推理 token，这类间接证据就这样浮现出来了。
卢正石 Output 层面是个合理的推断。确实如此。
崔胜准 也就是反推出：他们早就在用那个方法的可能性也很高。
朴钟贤 没错。我们可以这样推测。
卢正石 要说这在证据上有没有约束力，倒也说不到那个份上，但那种可能性应该非常高，我们得这么去理解。
朴钟贤 是的，output 完全一致这一点，会随着有没有把那些内容放进推理里而发生变化，这是可以看出来的。
隐藏推理中的API key泄露风险 61:01
朴钟贤 接下来是个人层面的问题，对所有正在看这期节目的人也同样适用。我们在用 Claude Code 之类的工具时，嫌麻烦的话，可能会把 API key 之类的东西直接说“你放进去处理吧”。那个 API key 当然是绝对不能泄露的。那么推理 token 里就会出现“API key 是什么，我打算这样那样处理它”这类内容一长串地冒出来。但因为反正它是被隐藏的，我们本以为不用担心，结果这样提取出来一看，只要能拿到那个推理 token 的加密 hash value，只要能弄到这些东西，就都能看到了。
所以我们跑 Codex 或 Claude Code之类工具的那些会话的 trace，经常会传到网上，因为那是在证明“我是这样用的”，而且里面又没有保密资料。于是把网上公开的推理轨迹、使用案例全都收集过来，实际做了一次 decoding，结果发现人们真的大量把密码、API key 之类的东西写在里面，而且这些都是能读出来的。所以各位也要小心。大概就是这么个内容。
崔胜准 不只是输入，就算只是放在 env 里，也一样会进去吧。
朴钟贤 确实。把 env 里的东西读出来、tool 全都给它的话，就能读到了。大概还是在外部处理才对吧。那个 key 用完之后就作废，加一层这样的 layer，我首先想到的是这个。
解题的实质，memory recall与外星语推理 62:26
朴钟贤 再看一个例子，那么这些模型实际上是怎么思考的呢？给它一道数学题让它解，当放进去的是那种已经满大街都是的著名题目时，它看起来像是自己在思考，而且解得不错，对吧。因为解题过程写得很漂亮。至少我们看推理 summary 时是这样。但真正 decoding 出来一看，它说的是什么呢，“这是 AIME 哪一年的题嘛。答案是几。”它早就知道，然后才开始写解题过程。已经做过的题，就是把答案全背下来然后解得很好。这可以说是清楚地表明它实际上连推理层面都是这么干的一个案例。
崔胜准 因为那是捷径，而且 RL 应该也强化了这一点。
朴钟贤 没错。
卢正石 上面就直接写着 memory recall 呢。
朴钟贤 是啊。人当然也是考试想想我上初中的时候学习时的情形，因为习题册和历年真题做得太多了，光看题目就能想起答案是什么，可以说这几乎是一样的现象。之前只是推测的事情几乎都被证实是事实了。可以这样理解。
崔胜准 标题被定为“推理是外星语”，是为什么呢？
朴钟贤 这个是把推理过程剖开看之后发现，它有时会说出人类无法理解的话。是这样的一个说法。我们以为它全都是用自然语言进行的，但只是因为做了 RL，发现以这种方式组合 token答案会出得更好。也就是说它在使用一种与人类不同的语言。
Claude文本水印与distillation检测的局限 64:00
朴钟贤 然后再补充一点，我们把那个当作一扇窗来想。如果说那是把推理轨迹抽取出去的东西，本周还出了一个类似的发布，是有关联但方向相反的发布，据说 Claude 在文本里也打上了水印。所以把输出的文本抓取来看，就能标记出这是不是Claude 生成的。那在文本里要怎么做到呢？这样去看之后发现，是在内部的 sampling 阶段给 token 加上偏置。LLM 以概率的方式给出 token，然后从中一个个抽取，以概率的方式呈现给我们，那时如果有概率几乎相同的选项，就故意抽取其中某一侧的 token。这样一来，文章一路生成出来之后，token 上就会存在一定程度的偏置，所以从统计上分析那篇文章之后就能知道“这是我们生成的。这是应用了我们制造的偏置的 token所吐出来的文章。”据说他们就是让人能够识别这一点。所以这会成为写 prompt 的人无法关闭的水印。因为 output 本身就是那样出来的。
那么要问这个水印能不能去掉，当然是可以去掉的。只要把生成的文章再 washing 一遍就行，也就是让它保持相似的含义再重写一遍就可以了。不过想想我们会怎么使用这样的水印，自然会想到可以用来检测 distillation。所以这算是一种防御装置，尤其是 Dario Amodei上次在开放权重公开信时也说过，必须阻止产业规模的 distillation，他说过这样的话，我觉得都是类似的脉络。
崔胜准 能做到吗？
卢正石 但既很难阻止，也很难说这就是偷窃。比如说我们把 Google 的所有搜索结果全部保存了下来。然后据此调整了我们的 ranking。这算错吗？
朴钟贤 并没有明确的标准。这类事情通常是以判例或诉讼为基础，由人类社会逐步确立标准，被设计成朝着 alignment 靠拢的吧？好像是这样。
网络小说AI争议与”铁味\ 66:11
卢正石 这个是什么？
朴钟贤 这个是我出于好玩带来的。我平时的爱好就是喜欢读小说。而在韩国，网络小说平台运作得相当不错，据说在那里发生了这样一件事。某部网络小说，虽然大家会怀疑，但通常还是当作是人写的，总之是先相信是人写的再去看，可是本该写着小说内容的地方，却出现了 AI 回答的文字。作者说“帮我这样写”，AI 回“好的，我这就照办”，连这句话都一起被发上去了。所以据说最近因为这些事闹得沸沸扬扬。
而这次事件里被声讨的那部小说，据说还是排行榜上的作品。所以虽然不知道实际借助了多少，但人用 AI 写出的小说进入了排行榜，大家都在消费它，这一点似乎是事实。那么这被怎么形容呢，我也是第一次知道这种说法。据说叫“有铁味”。“有一股 AI 写出来的文字的味道。有铁味。”就这样形容，归根结底 human evaluator还是在持续地把关。
所以想法和评价大概还是小说家在做，现在实现或写作之类的事情，大概是这些家伙按照要求在大量代劳吧，我是这么想的。
卢正石 就是说啊。过去消费静态完成的小说，是网络漫画或 Novelpia 之类的东西，而从这类服务转向 Zeta 那样的服务，大概就是这个原因吧。“反正都要这样，那不如按我的口味走动态的路线不是更好吗？”于是用户们好像干脆就往那边去了。
朴钟贤 我觉得未来每个人消费的内容都会稍微有些不同。大概会是在消费为我量身定制、实时生成的内容吧。所以要说结论的话，感觉这一切都和 distillation 缠绕在一起。现在各种模型正在大量涌现，而这种涌现速度快的原因之一，我觉得就是这个 distillation，彼此互相抄袭似乎太容易了。
追赶frontier的distillation竞赛 68:06
崔胜准 搭上 frontier 这趟列车就是当前的模式啊。确实只要 frontier先往前推进一些，distillation 就成为可能了嘛。
卢正石 后来者就快速跟上呗。说得好听一点叫 distillation，其实就是 copy 嘛。Copy。但这个 copy会不会正是进化的算法呢？我们韩国也是把日本所谓地 copy、distillation 之后超越的，中国也在对韩国和日本做 distillation，大家都是这样向上拉平往前走的。
崔胜准 也不只是单一因素，这次看 GLM 的时候，无论是看 Nathan Lambert，还是看 Zhipu AI 公开的博客，都说是通过 post-training 提升了性能。所以这不仅仅是 distillation，而是各种在最前沿进行的研究混合在一起，这个说法我觉得也是对的。
转向组织运营问题的AI应用烦恼 69:14
卢正石 我们也是一直把这个讨论引向人文学的方向，我觉得这就是时代的潮流。
朴钟贤 是啊。最近我脑子里也全都是这样的思考。怎么才能把它们用得更好？但寻找这个答案的地方，并不是工程知识汇集的地方，而是在组织运营之类的知识汇集的地方去寻找答案。
卢正石 不过现在大家都，我们现在都快疯了。
朴钟贤 真的有种大脑被烧焦的感觉。
卢正石 大脑被烧焦的感觉。太准确了。真的变化太快了，而现在的 incentive 结构已经明确定下来了嘛。总之只要 frontier 往前推进，谁能更快、更多地利用frontier 前进所产生的那个 delta，这就是一场这样的游戏，所以很忙。
预告下周并收尾 70:07
崔胜准 反正下周应该也会有事发生吧。
卢正石 下周的话，下周应该又会有事情发生。那么今天就到这里，我们结束这次录制吧。今天也感谢各位的诸多指教。谢谢。
崔胜准 好的，谢谢。
朴钟贤 好的，谢谢。