EP 111
基准测试第一名落选了？独破模四强之战结果解析
独破模四强之争与3家入选争议 0:00
卢正石 今天录制时是2026年8月22日，星期六的早晨。“前沿”这个词，最近经常听到吧。本周，前沿模型依然在不断推进，仿佛永远没有尽头。因此，就连被称为GPT-6、Astra的模型，也因为过于危险，决定中途暂停model training两周，Sam Altman也曾亲自发布过这样的消息。
但大家有一种认识，认为只有成为前沿才能生存，也有人谈到，如果无法成为前沿，将会遭受的种种委屈。有过这些讨论，也正是因为这种委屈，国家层面才推出了一个项目，即独立基础模型，也就是所谓的独破模模型。本周还发生了一件与独破模有关的事，就是从四个模型中选出三个，进行下一阶段的评选，因此似乎引发了非常多的讨论。所以钟贤搜索了独破模相关的一系列模型，我们也想听听相关的情况，这些看法可能并不客观。因为评估模型的标准本身就并非都很客观，而且最近还有人认为基准测试已经没有意义，基准测试分数高的模型并不一定就是好模型，因为也存在这样的观点，所以我们可能也会带着非常主观的视角开始讨论。
今天先来聊聊独破模，之后再听听胜准最近一直在推进的事情，每个人都在各自的工作、各自的工作流程中，以及各自对模型的选择中，开展着某些活动，试图达到某种前沿，大家都在做这些事情。可以称之为框架，也可以称之为某种方法论，它是各种各样事物的组合，而胜准正在进行推动胜准自身前沿不断向前的工作，接下来我们也一起听听这方面的内容。那么今天就开始吧？独破模是个烫手山芋吧。
从 AAII 基准测试看韩国独破模候选模型的位置 2:03
朴钟贤 刚才提到，基准测试并不是用来进行评估的绝对客观指标，但它毕竟还是相对最客观的指标，所以我们就从这里开始看。它叫AAII。Artificial Analysis Intelligence Index.这是一个汇总了多项基准测试的指标，如果最终要用一个数字表示某个模型的性能，大家似乎还是最常参考这个指标。所以从这里可以看到Opus、Fable、Sol、Grok、Kimi，按照名次从上到下依次排列。这里有一系列我们所熟知的、被称为前沿模型的美国和中国模型，到这里首次出现了一个名为Motif的韩国模型。接下来按数字来看，是Qwen 3.827B，也就是小版本的模型。大型的2.4T版本排在更前面，我们则位于它的下方，继续往下看，还能看到TML Inkling模型，以及NVIDIA Nemotron，接着是Upstage的Solar，这也是韩国的模型，SK电讯的A.X K2，还有LG AI研究院的K-EXAONE。所以目前分布在这一排名区间的这些模型，就是韩国政府正在大力推动的独破模候选模型。因此从模型排名来看，大致处于这个水平，我觉得可以这样理解。顺便一提，在美国、中国和韩国之外，首次出现的其他国家模型是Mistral，它排在这里。再继续往下，则有一个叫Command A的模型，Cohere的归属有些模糊，据我所知，它应该算是加拿大公司。不过如果把北美视为一个整体，划分起来确实有些模糊。总之，我们已经达到了这个水平。
因为对这些模型很好奇，所以我也尽可能亲自试用了它们。这是相当主观的评价。
为何排名第一的 Motif 落选引发热议 4:03
卢正石 先说结论，四个模型中选出了三个，Motif被淘汰，其余三家公司晋级了下一轮正式评选。
朴钟贤 所以只看基准测试分数的话，它的分数具有压倒性优势。它与第二名相差大约10分，要说这10分左右的差距究竟有多大，GPT-5.6 Sol和Luna之间的差距也大约是10分。然而，低了大约10分的模型晋级了，排名最高的模型反而被淘汰了。我觉得这正是此事成为话题的原因。
卢正石 我们从自己的角度来看看这些情况吧？
朴钟贤 排名第一的模型被淘汰，大家似乎都对此感到疑惑。在这次获得机会之前，我当然也没有机会试用这些模型，而且它们才推出不久，试用起来也很困难。所以我也很好奇，出于同样的原因，大家似乎也非常关注benchmaxxing这个关键词。大家似乎都很在意这一点。因为有不少模型的基准测试分数很高，实际用起来却不怎么样。所以我很好奇，这些基准测试分数高的模型在亲自使用后，是否也会令人不满意，因此我也试用了一下。
此外，这个名为Motif的模型可以说是这次才第一次受到关注，所以就连它的名字，我也是这次第一次听说。至于其他模型，Upstage、SK电讯或LG EXAONE，都是从以前开始就已经很有名的模型，而它突然横空出世，成为了话题，又因为落选而更加引发热议，可以说就是这样的模型。所以我也试用了一下。
因为这在一定程度上相当主观，为了加以证明，也为了展示我是如何试用的，我想留下完整的trajectory，所以特意在我们的频道进行了直播。因此，评估也是一边与观看直播的人聊天，一边讨论试试这个、试试那个，大家的意见如何？是在听取这些意见的过程中进行的，所以我尽可能地在能力范围内努力进行了客观评估。
卢正石 钟贤在姊妹频道Sudoremove上亲自进行了直播，接下来介绍的是根据直播结果整理出的内容。
独破模候选模型的规模与训练资源对比 6:27
朴钟贤 我先总结一下再继续。关于这些模型客观上是什么样的，我只简单整理了一些值得关注的内容，首先，大家最好奇的可能就是model size了。model size分别是300B、750B、680B和200B左右。所以这些模型的规模大约都在200B至700B之间。有趣的是，最大的模型得分较低，反而是较小的模型得分更高。所以model size与基准测试得分之间存在差异，接下来再看一下context size，
只有Solar是1M。如今出现了很多1M模型，但这些模型几乎都是256K模型。
接下来，从模型内部的角度来看，也有一些特别之处，总之，大家都对Transformer内部进行了不同程度的自行修改，努力实现某些改进。
接下来让我好奇的是，除了model size之外，它们进行了多少training。因为training规模、model size以及数据，即使用了多少数据、训练了多少token，这些资源对韩国这种并非美国或中国的国家而言尤其难以获得，所以政府才会开展这类项目。因为好奇其规模，我调查了pre-training token的数量，看起来大家大约都训练了1万亿token。顺便提一下，像Kimi，去年推出的K2，也就是上一代模型，我记得训练了大约20万亿token，从论文来看，总之规模大概就是这样。如果是10万亿，就可以说跟进得相当不错，从规模上可以这样理解。
对数据集来源与公开程度的遗憾 8:20
卢正石 数据集的来源很有意思。每家都有些不同，Motif不愧是最晚加入的参与者，使用NVIDIA Nemotron语料库最多。
朴钟贤 在我们通常知道的公开pre-training数据中，最大的是Nemotron和Hugging Face的FineWeb2，看起来大家将其视为最主要的标准。接下来就是在此基础上，如何充分利用公共机构的数据，或者如何将这些数据从FineWeb2或Nemotron中充分汇集起来，如何进行良好的清洗和筛选，又如何压缩或合成这些数据，差异大概就在这些方面。
如果我们一定要把模型简单地分为open-weight模型和open-source模型，通常会根据recipe公开了多少来进行一定程度的区分，但数据来源似乎并没有那么透明。我原本对此有所期待。因为大家肯定都以某种方式清洗过韩语数据，我很好奇具体是怎么做的，是否进行了合成，又是如何清洗的，这些内容或许会随着时间推移得到进一步完善，并在以后公开。总之，这些内容最终会构建起整个生态系统，所以我原本有所期待，但公开得并不是很充分。这些方面让人感到有些遗憾。
此外，以B200 GPU为标准，政府提供了大约500至700张。因此，所有training都是利用这些资源完成的。
接下来，刚才提到SK电讯最初没能获得这些资源，我也不太了解详细情况，能否请正石介绍一下背景？
GPU 支持条件与 SK Telecom 自费训练的背景 10:05
卢正石 这条信息并不确定，SK电讯在初期被登记为GPU支持企业，据说存在一项条件，即GPU支持企业无法获得政府支持，而如果不接受支持，就没有公开weights的义务，我听说这样的胡萝卜与大棒政策是相互关联的。至于SK电讯，我听说它会在7月重新被纳入政府支持范围，在此之前，因为没有获得政府提供的GPU，据了解，公司自行承担了费用，对这次的模型进行了training。外界普遍是这样得知的。
因此，据说投入了非常多的资金，后面也流传着关于具体金额的传闻，但由于未经证实，我想不便透露。不过从这次形成三方格局的这一刻起，SK电讯也将获得政府的GPU支持，我是这样理解的。
朴钟贤 好的，明白了。总之，这里的公司也可以说都是只做模型的公司，但像SK电讯，还会提供GPU服务器。总之，这些公司都在建设基础设施和模型，但在这个生态系统中的立场各不相同，而且这些立场有所重叠，所以为了确保某些项目的公平性，看来相关机制都安排得很完善。我暂且是这样理解的。所以我也想知道GPU究竟使用了多少GPU-hour，我对这类信息很好奇，因为在实际投入的各项成本中，这是最大的一项成本之一，所以我很想知道具体费用，但这方面也没有准确地公开。
所以如果只看最终成果，当然，实验不可能只按一次按钮，就从头运行到尾，然后结束，自然不会这么简单，但如果看active parameter，以及之后训练了多少token，就能算出整个训练中pre-training阶段所需的计算量，实际上如果只按这种方式计算，Motif和Solar Open 2这两个得分较高的模型，反而规模更小。我是说，只看pre-training的计算量。通过反向推算，可以简单地算出这些结果。
接下来，另一个让我惊讶的地方是，这个Motif团队听说只有大约30人。所以，作为一家初创公司，他们以很少的人手出色地完成了这件事。这件事本身就让我觉得很不可思议。打造模型这件事本身，也就是打造优秀的基础模型，虽然需要规模庞大的GPU，因而是一件非常烧钱的事，但实际上在人力方面，并不需要那么多人。即使是小规模团队，也完全可以做到。我觉得这印证了这一点。这也是我们一直在前沿实验室中观察到的现象之一，而同样的事情似乎也在韩国发生了。前沿实验室在招揽人才时，他们的身价最高甚至能达到约5.2亿元人民币，应该就是这样吧。就像新闻报道中所说的那样。
从非公开基准测试与定性评估看政府评审标准 13:01
卢正石 众所周知，这件事就像一份配方，只要掌握在少数几个人手里就能完成。
朴钟贤 那么接下来，我研究了一下政府的评估标准。我们来看一看。为什么在全球范围内最受关注的基准分数之一，也就是AAII分数中排名第一的模型反而落选了，我对此进行了一番研究。基准测试分数在总分中占40分，其中25分来自这一项，其余部分则采用了自有基准测试。这是因为基准测试一旦题目被公开，就可以针对这些题目进行训练，因此为了防止这种情况以及题目泄露，他们采用了非公开基准测试。所以各个项目的分数并没有全部详细公开。我看了一下，他们只公开了大致的平均分、分差，以及哪个团队排名第一等信息，至于AAII基准测试，就像对我们公开的结果一样，Motif的Artificial Analysis分数排名第一，然后在自有基准测试中，听说SK电讯的模型排名第一。
我觉得这部分很令人惊讶。在评估前沿模型时，我们实际感受到的智能水平与基准分数在AAII分数中通常相当吻合，而这次不只是分数有一点差距，差距几乎达到了一两代模型的程度，但在其他基准测试中排名靠后的模型，却升到了第一名。这让我有些好奇。
所以我很想知道这个基准测试究竟是什么样的，等以后所有评估结束后，他们或许会将其公开，不过我猜数据的分布应该会有非常大的差异。要评估的项目本身可能就截然不同。
超越模型性能、以生态系统为核心的评审意图 15:06
卢正石 因为这是韩国的独破模模型，与韩国相关的数据集或基准测试是不是会比较多？
朴钟贤 我觉得应该是这样。比如询问韩国文化知识，这类内容可能会比较多，所以他们似乎针对这些内容进行了大量训练。我想这些模型可能掌握了大量本地化的韩国相关知识，接下来，专家们还亲自进行了定性评估，据说在这项评估中，LG的模型排名第一。不过平均分并没有相差太多。
官方还发布了总体评价，比如Upstage的模型与Daum门户网站进行了对接，并与FuriosaAI NPU展开了合作，其中提到了这些内容。总之，从这些信息来看，他们似乎不只是评估模型本身的token性能，不只是看这一项，而是试图评估整个生态系统。比如模型实际应用到应用程序层面后，能否有效地触达用户，以及在基础设施层面，我们通常大多会使用NVIDIA GPU，但他们评估的不只是这一点，还包括其他NPU，尤其是韩国本土的硬件能否顺利运行，通过合作，确保能够顺利运行，这样未来模型取得良好成果时，能够为生态系统作出多大贡献，似乎是想对这些方面进行评估。SK电讯、LG AI研究院等都已实际应用于商业服务，以及打算如何与国际组织合作，对这些方面进行了大量评估，hallucination会非常少，似乎得出了这样的评价。
接下来，Motif的情况是，仅对模型本身的评价被归纳为要点公布了出来，我的感受是，只有Motif的评价要素中包含了关于模型本身的内容。其余模型似乎写的都是对模型以外部分的评价，所以针对这些评价标准，大家似乎都在提出疑问：我们要打造的是基础模型，是优秀的基础模型，但评价的却不是基础模型本身，而是把模型应用于何处也纳入评价，这合适吗？大家似乎在提出这样的疑问。
卢正石 不过，独破模项目的首要宗旨本身就不仅仅是打造模型，能否同时推动韩国的前沿模型生态系统整体提升，也在评价标准之中，所以最初选拔团队时，联盟是如何组建的，也是非常重要的因素。因此，我认为不能只看模型性能来进行评价，这样理解应该是正确的。
而且，国家开展的项目必须优先保证公平性，因此带着某种偏向由某个人操纵某件事，其实非常困难。而且评价量规本身，AAII占35分，其他要素所占比重也非常大，因此我们应该清楚，这并不是只凭模型性能进行评价。
虽然这些方面带有许多政策性因素，但连这些也应视为游戏的一部分，因此专家评价指出了这些优势，从而获得较高分数，也是有道理的。我们还是应该给予尊重，恐怕很难说出“那种东西跟模型性能有什么关系”这样的话。毕竟这是由该项目的性质决定的。
朴钟贤 是，是。可能因为我个人一直认为，打造优秀模型是最优先的目标，所以正如您所说，上下游之间做好衔接，而且这是政府项目，打造良好的生态系统当然可以说是最重要的因素。看来确实如此。
卢正石 所以像Upstage这样的联盟，也有非常多的公司参与，SKT和LG同样也维持着强大的联盟，对吧。不过Motif毕竟是后来者，又是一家初创公司，所以在这方面的分数，也就是一种政策分数上，我觉得可能受到了一些不利影响。确实有这种感觉。
朴钟贤 似乎确实可能处于不利地位。
卢正石 是的。
朴钟贤 尤其是我们把团队称作代表团队比较合适吗？我们把开发模型的公司称作团队，但实际观察那些团队，会发现上下游的服务公司和基础设施公司共同组成团队，我记得参与的公司数量非常多。据说这些也是主要评价标准之一。此外，他们还招募用户亲自试用，并将用户给出的评价分数也纳入其中，尤其让我有些印象深刻的是，他们以普通民众的名义招募评价者，让他们负责打分，而且据说还参考了人口统计数据，尽可能招募了不同背景的人。因为一说要开展这样的项目，也可能只会聚集像我们这样对AI非常感兴趣的人，只招来这类人，但他们并非如此，而是真的尽可能努力汇集不同性别、不同年龄的人，这些方面确实很有国家项目的特点。为了从公共利益的角度让尽可能多元的人群受益，他们似乎才这样招募评价者，总之，据说经过这样的评价后，各模型在普通民众评价中的分数拉开了一些差距。不过根据公布的内容，关于普通民众的评价分数，官方表示它并未影响最终入选与否。
普通国民评审团与韩英混用“板桥语”争议 19:43
朴钟贤 所以我也很好奇，便亲自试用了。想看看模型本身究竟怎么样。另外，据我听到的传闻，我们在各处直播时，大家也经常在聊天区提到，Motif模型的分数非常高，但我们看到的分数并不是符合韩国评价标准的分数。因为这些评估要么考查数学，要么通过MMLU考查综合知识，几乎都是以英语为基础进行评价，据说因此出现了夹杂大量英语的问题。这可以被视为问题，也可以认为无关紧要，但以韩国民众为标准来看，能够顺畅地用韩语交流，本应也是良好评价标准中一项重要的评价标准，所以夹杂英语本身就可能成为问题。要让所有民众都能轻松使用AI，这方面可能会让人稍感遗憾，我听到过很多这样的说法。
所以大家在评论里也提到了这一点，还把这种说法称为“板桥话”。就是韩语和英语混在一起说。
卢正石 我们也经常这样说。板桥话。
从 Agent workflow 视角测试独破模模型的实际使用 21:50
崔胜准 我想问一下，有没有什么模型适合用于agent workflow呢？
朴钟贤 首先说一下我是怎么试用这些模型的，那些模型都已经以open weight的形式发布了。但是因为模型动辄就是300B、700B，如果要由我直接运行，再通过API试用，我又没有那么大规模的GPU，所以得先租用GPU部署，然后通过serving来试用，但这样成本也不低。所以这个我并没有尝试。我们是在各种开放的使用渠道里想办法试用的，
因此，像Motif就有自己的Motif聊天服务。所以我去它的聊天服务里试用了。并不是单独试用模型本身，而是在已经套上框架的状态下试用的。所以也可以说，我是在加入了完整agent式workflow的情况下进行试用的。
至于Upstage的Solar，在进入Solar服务时，开放模型并没有提供serving，只有商业模型Solar Pro 4。所以我用这个试用了聊天服务。没能试用开放模型。
至于LG，K-EXAONE原本有一个演示聊天服务，但因为那个网站关闭了，所以没能试用，有一家叫FriendliAI的serving服务商正通过API提供serving，所以我通过API试用了一下，这个API可以直接接入各种工具进行试用。所以像网页浏览之类的功能，乃至编写并运行Python，我都接上了相应工具，算是以比较轻量的方式进行了agent式的试用。
A.X K2没有可以试用的服务，所以没能试用。
崔胜准 所以我虽然也没有实际使用过这个，但要让它真正发挥作用，比如我们在国家网络之类的环境中工作时，由于网络是隔离的，而且还涉及敏感数据，我想应该会有一些业务只能使用国产模型来完成。在处理这类业务时，使用agent应该会很重要，我是这样推测的，所以它能不能调用工具或运行sub-agent，以及与当前可用的workflow能做到多大程度的相似，在实际应用中，当然，就像刚才所说的，这也有助于提升我们的某些能力，提升整个生态系统的能力，但要如何为它提供serving，又能否用当下流行的方式使用它，或许也会成为一个值得关注的重点。
卢正石 而且评测时所使用的环境大概是为了评估模型本身，因此是在模型最基础的状态下，不带框架进行的评测，评测条件可能会比较严苛，而模型的质量，也就是认知层面的质量，在套上框架后，很多部分都可以得到修正，所以我听说，以外部构建的服务所提供的聊天界面形式使用时的表现，与模型本身的质量，可能需要稍作区分来评价。
朴钟贤 我对此有非常切身的体会，像Motif，我听说它的输出中经常夹杂很多英语，这大概是那些直接为模型提供serving并试用过的人的看法。但通过它自己的聊天服务运行时，完全没有这种问题。可能是框架很好地处理了这些情况，如果输出英语，就翻译后再输出，或者在token方面，只选择输出韩语token，我想肯定采取了类似的措施。我就这样一路测试了一遍。我尽可能进行了各种不同的测试，直播的时候，评论里提出的那些要求，我全都逐一试了一遍。然后我又进行了一番评估，各个模型之间的差距并没有想象中那么一目了然。
直播实测结果与 Motif、Solar 对比 25:17
朴钟贤 比如试用时，我让它推荐菜单，还问它相亲地点选在哪里比较好。因为我住在板桥附近，所以想看看它能不能准确找到这一地区实际存在的餐厅并告诉我，也就是测试它是否实用，Solar Pro 4在这方面做得非常好。它的网页搜索之类的功能似乎非常出色。从头到尾观察它的trajectory时，能看出这一点。
接下来有人让我做一下燃气灶benchmark，所以我就试了试，我问了一些很荒唐的问题。最近大家不是经常做洗车场benchmark之类的测试嘛。
卢正石 是的。
朴钟贤 这样测试之后，只有Motif给出了正确答案。还有胡说八道测试，看它是否具备良好的元认知，当被问到荒唐且极其困难的问题时，是否只会说些貌似合理的话，在这种测试上，Motif也表现出了压倒性的优势。接下来我还测试了数学题，让它解了这次的IMO题目，结果它做得比想象中差得多。
然后我让它们编程做了一个游戏，实际试过之后发现，它们也不是全都做得很好。我在尝试过程中感受到的是，让Sonnet做时，它做得非常好。最终成果的水平差距相当大。所以我原本认为它们当然能做到。因为我们使用前沿模型实在太多了，有人说我们已经被前沿模型“腌入味了”。因为已经被“腌入味了”，所以当我们使用稍差一点的模型，发现它做不到时，那种落差感极其强烈。
总之，它们做得都不好。所有模型都是。不过在其中，Solar似乎做得好得多，接着我又让它们做了连前沿模型也不擅长的事，我让它们试着写一篇有趣的小说，结果当然全都写得非常差。不仅没意思，最重要的是，虽然我把Motif评为第一名，但其实所有模型都不怎么样，只是在这之中，水平差距依然很大。其他模型甚至说出了完全不知所云的话。评论区里有人这么说。说那些文章像精神分裂症患者写的。结构完全没有组织好，感觉就像是在胡乱吐出token，不仅没有意思，很多文章甚至连阅读本身都很困难。我觉得在这些方面，Motif做得相当不错。
崔胜准 这个是武侠题材，同时还得有幽默感吗？
朴钟贤 是的，我就是这样要求的。我让它们写一篇武侠小说，而且要写得有趣，能够靠口碑传播，我是这样要求的。因为我想刻意尝试一下目前这些模型不擅长的事情，所以也让它们做了这种任务。因为我只用了大约两个小时来评估结果，变量控制得也并不严谨，但就我的感受而言，在很多方面，Motif确实显得非常聪明。即使做不好，它也很会坦承不知道的事情，如果提出奇怪的问题，它也能察觉问题本身可能有错，而且写文章时，至少还能做到前后连贯。不过，它并没有给我一种很会见机行事、恰到好处地完成任务的感觉。但它确实非常聪明，我得到了这样的感受。
那么，实际让它工作时，它是否做得好呢？倒也并非如此。我觉得Solar在这方面要好得多，对此可以作出两种推测。像Upstage这样的公司，本来就已经基于Solar构建了框架来提供服务，并且一直在良好地运营聊天服务，所以它的框架可能已经打磨得很完善。也可能是在pre-training之后进行了SFT fine-tuning，将它调整成了更符合用户使用习惯的形态，或者精心打磨了post-training，从而让用户能够获得满意的体验。无论如何，可能正是因为后端处理得很好，所以它实际执行任务时才表现得不错。因此，我对benchmark的看法
超越基准测试：好基础模型的标准 29:32
朴钟贤 也稍微发生了变化。虽然benchmark会不断更新，新的benchmark也会不断出现，因此很难针对benchmark将分数最大化，但我发现，benchmark分数高与实际智力水平高之间，比我原先想象的更加一脉相承。所以我认为，参考benchmark来判断实际使用性能也并不是什么坏办法。另外，在这个过程中我还想到，我们要做的是foundation model。独破模本来就是“自主foundation model”的简称，那么对于这种foundation model，应该如何衡量它的价值呢？眼下就能把工作做好的模型才是好模型吗？还是说，因为它正处于pre-training完成后的状态，如果其他人都拿走规模和智力水平更高的模型，并以此扩展生态系统，那么大家自然会根据自己的目的进行调优，而经过调优以后，我认为Motif 3可能会是其中最好的。这只是我的推测。
那么，它是否反而可能是更好的foundationmodel呢？我开始产生了这样的想法。因为虽然有人说它经常混用韩语和英语，但我觉得这种问题以后通过fine-tuning完全可以解决。所以我开始思考，在这个生态系统中，究竟什么才算是好模型。
卢正石 不过Motif确实做得很好。能够在极短的时间内做出具备这种质量的模型，这件事本身就很了不起，而且仅凭大约30人的精锐团队，就能做到这种程度，我确实很想给予非常高的评价。他们确实完成了一件了不起的事，不过独破模也有刚才提到的那些评估标准和rubric，而其中除了模型本身的评估标准以外，还有其他因素。毕竟这些都是主观的。
从 Motif 惜败看公共评审量表与产业界视角的差距 31:11
卢正石 关于对模型质量的感受，我们可能因为已经被前沿模型“腌入味了”，受到这种影响，所以问了很多这类问题，但普通人很可能会问完全不同的问题，因此在我们并不了解这种分布的情况下，恐怕很难作出评估。评价本身就是一个为了从主观中提取客观而建立的体系，所以为了确保公平性，并从多个方面进行考察，才会这样做。
我们是产业界的人，会把国家这一方称为公共部门。公共部门开展工作时，那些评分标准常常让人非常难以理解。但我们专注于解决问题，执着于某一项决定性的品质，如果这是产业界的标准，那么参加公共部门举办的活动之类，和那些身居高位的人交流后就会发现，对他们来说，重要的并不是这个，而是怎样才能让所有人最大限度地达成妥协，怎样才能让整体满意度达到最高，他们做的是非常立足于民主主义的工作。这样一来，这些突出的部分就会被削掉。而我们本应因为那些突出的部分给出高分，但这些部分却被笼统地归入整体统计之中，最终在某些结果中全都落后，因为我们也见过很多这样的情况，所以无论如何，对 Motif 而言，这是一次非常遗憾的惜败，对支持 Motif 的人来说，虽然也是件令人失落的事，但评价就是评价，剩下的3家公司应该会继续前进吧。
朴钟贤 关于公共部门，从某种角度看，对我们来说，很多正在收听这段内容的人似乎都想关注一下高点。也就是怎样利用它获得更大的杠杆效应，怎样把它用好，怎样最大限度地发挥智能。但站在公共部门的立场思考，我感觉他们关注的是低点。用最简单的方式来表达，就是让全体国民都能尽可能享受到，并从整体上提升水平。所以在这些方面，双方的视角似乎有很大不同。仔细想想，站在公共部门的立场，公平性确实相当重要，我也认为这理所当然是正确的。只是立场不同而已，按 open weight 排序后，它位列第五。即使放眼全球，它也是 open weight 排名第五的模型。所以在这次项目中，虽然无法获得政府支持，但即使抛开独破模这个项目，它在全球范围内也是表现极其出色的模型，全球自然会有很多对它青睐有加、希望投资的主体，在韩国国内，应该也会有很多企业想利用它一起做些什么，所以很期待它今后的发展。
主权 AI 的目标与“自主”模型的范围 34:31
朴钟贤 是的所以我也很好奇这些问题。我也很好奇 正石、胜准的想法，尤其想知道正在观看这段视频的所有人的想法。无论如何，我们正在打造拥有主权的主权 AI，也就是韩国自己的政府 AI 及其生态系统，并推动其建设，感觉韩国几乎是其中推进力度最大的国家。与其他国家相比是这样。所以我也很好奇，我们为什么要做这些、目的是什么，实现怎样的成果才算做得好，我也很想知道这些问题的答案。因为我过去只从能否打造出优秀模型，能否借此不落后于前沿水平，这样的角度思考过，在评价过程中，聊天区里也有很多人提出了这样的问题。独破模到底应该评价什么？什么样的模型才是好模型？所以对于这些问题，最终还是要把它应用到某个地方，切实为国民和产业作出贡献。这应该就是刚才专家评价中提到的。假如我关注的是模型有多聪明之类的问题，那么它是否真正被用于门户服务，或者是否能在某种全民使用的服务中真正让所有人都很好地使用，应该也属于评价的内容。
接下来，这个“自主”究竟要自主到什么程度，我们才能延续主权这一主题，并真正拥有主权？只需要拥有 model weight 就可以吗？还是连数据也必须自己制作？又或者连基础设施都必须摆脱对 NVIDIA GPU 的依赖？接下来，应该投入多少资金？
而且与我最初听说独破模这个项目时相比，我的想法已经改变了很多。过去我对此有些消极。因为我觉得我们做不到。这真的是我们说做就能做到的吗？只要由国家掌握主导权并投入税金就可以吗？我曾经对这些问题持消极看法，但现在我的想法已经改变了很多。因为看到中国不断涌现出优秀模型时，我们也会有所感触。原来这是可以做到的。我们也没有理由做不到，我产生了这样的想法，而且真正把模型做好并不是一道极其巨大的护城河。所以对于我们能否做到这件事，我的想法也在很大程度上变得相当积极，要想做得更好，我们该做些什么？我很好奇这些问题。
现在是组建这样的精锐团队，每次淘汰一支团队，把资源逐渐集中起来，采用的是这样的结构，作为公共部门采取的方式，我觉得它与民间采用的方式相当相似。也就是让各方展开这样的竞争。所以就我个人而言，我认为这些举措的运作相当积极。无论如何，我很想听听大家对此畅所欲言。
从垄断品到通用商品：国家投资独破模的原因 37:37
卢正石 我觉得不存在能让所有人都满意的政策。正因为很难制定这样的标准，我们才有社会这个系统，并将其划分为政府、国会和司法机关这些系统来分别运作。我最近也一直在谈论control plane，经常说这让我重新审视为什么公司和社会会变成这个样子，回到独破模这个话题，即使在独破模刚启动时，也有人认为直接使用美国的前沿模型就可以了，而且他们也没有理由限制我们，为什么还非要进行这种投资，据我所知，当时对此也存在争议。但在将近一年的时间里，无论是外部环境，还是我们看待前沿模型产业的视角，都已经彻底改变了。这套配方似乎并没有想象中那么了不得。只要达到一定的基础水平，投入计算和高质量数据进行训练，似乎就能做出来，而且一旦跨过那道门槛，就会变成任何人都能做到的事，通过观察美国的前沿实验室和中国的前沿实验室，我们认识到了这一点。
如果说这带来了什么变化，那就是曾经看似会永远持续的Anthropic或OpenAI模型的优势，这些优势也已经到了令他们不得不担忧的阶段，因此模型供应商变得非常多，它不再是由少数特定人士垄断的垄断品，而是所谓的通用品。一旦成为普通消费品，成为通用品，虽然少数特定人士原本能够维持的财富规模会缩小，但普通民众和整个社会的财富却会大幅增加。因为它会越来越便宜，任何人都能制造。某种垄断品不断转变为通用品，这一过程反复上演，构成了进化史，也构成了工业化史，乃至这一切的历史。而这项技术发展迅速、关注度高，影响力也很大，因而我认为它经历了高度压缩式的成长。或许应该把它看成类似核武器的东西？如果不制造它，生存就会受到威胁，体制就会受到威胁，出于这些原因，大家几乎把它看到了这种程度，所以才会投身其中。否则，中国也不会以国家为单位那样推进。但中国也是拼了命在做。韩国也紧随美中之后，甚至比欧洲更快地通过集中投入资源追赶上去，这件事本身就很有意义。
我当时支持独破模项目的原因是，无论如何，我们曾经是一个GPU短缺的国家。如果GPU资源变得更充足，无论是哪家公司，只要能形成一批拥有相关经验的工程人才，这些经验一旦在某处产生，就会立刻扩散到其他地方。对美国的前沿实验室来说，我认为这种影响也肯定存在，因为其中大多数人都是华裔美国人。而且无论如何，他们都通过同学和同乡关系与中国本土的人紧密相连。而且即便只是以我有限的经历来看，我去硅谷与工程师见面并聊过各种话题，那些能成为关键提示的话都能如此自由地交流，所以我认为在更高层面，配方不可能完全不被交流。而这样交流出去的配方传到了中国，又传到了韩国。同样地，参与过这个独破模项目的工程师也可能离开团队，自己创业，这样一来，这些知识就会在社会中得到更广泛的传播。从这种整体视角来看，我认为这个项目必须投入财政资金，大力推进，至于其中的均衡性或公平性等问题，就像总统选举或国会议员选举中那样，有人会满意，也有人会感到遗憾，这种情况不可避免地会存在。但如果从整个社会总体财富的角度来看，这是国家必须推动的产业。
因为韩国的民间企业还没有足以推进这件事的规模。即使在当时，三星电子和SK海力士也不像现在这样有如此充足的余力。三星电子和SK海力士的财富突然增加，准确地说，是在短短一年间发生的事。如今，如果SK海力士或三星电子决定利用自身资源，打造这种主权模型，它们应该能够做到。那么，当他们下定决心要做时，如果韩国有很多这样的人才，人才就会变得更多。归根结底，这正是韩国的优点，每当出现一个新产业，竞争都会变得非常激烈。而且聪明的人也很多。因此，虽然有人说：“韩国就是这样，即使有人做出了好东西，也会毫无自尊地抄袭，所以才有问题。”但反过来从国民的立场来看，这些都会转化为实际利益。商品价格会迅速下降。所以应该从这个角度来看。
现在我们还在谈前沿，我们对“前沿”这个词已经讨论了非常多，美国和中国正在这样不断向前推进，虽然现在用的是几百B规模的模型，但1T、2T应该也可以尝试，其实也就是说能达到Opus级别。如果达到1 trillion、2 trillion，只要能达到Opus级别，虽然并非所有人都买得起保时捷911，那时的前沿或许又已经达到10 trillion、20 trillion了，但就像伊兰特得以低价生产，从而增进国民利益一样，像伊兰特这样人人都能使用的模型将会普及给所有人，所以我觉得，我们是不是应该对此抱有期待。
所以坦白说，我很感谢所有参与独破模项目的工程师，以及参与该联盟的各位。大家辛苦了。而且无论他们彼此竞争还是发生了什么，对整个韩国社会而言，这都会成为一种宝贵的经验和资产，成为我们曾经跨越某个临界点的经验，所以如果那些人走出来加入初创企业，加入其他机构，或者去Fast Campus之类的地方授课，那么在韩语文化圈中，就能形成更强的竞争力。我认为韩语文化圈这件事也非常重要。因为并非所有人都能自然而然地观看英语内容，目前依然存在语言障碍，所以如果韩国有更多聪明的人来做这件事，我们也可以自己做出来，再反向出口。
模型发布节奏与可持续生态系统的课题 44:36
崔胜准 以当下的时代感来看，我觉得独破模推出的模型不应该只在相互竞争的有限期间内发布，按照如今的形势，应该能够每一两个月就发布一个模型。这是不是意味着还得投入更多资源？因为这不是发布一次就结束了。必须持续发布模型。所以我一直希望，他们能够达到跟上这种节奏的程度，那就好了。模型如此，框架也同样如此，两者必须同步推进。绝对不能只是选出三家就到此为止，我确实有这种想法。
卢正石 没错。另外，其余三家机构中，Upstage也已经成为一家颇具规模的中型风险企业，SKT和LG则隶属于大型企业集团，而Motif反倒直接从全球基金获得了大笔投资，因此在某些商业领域也可能取得更大的成功。在过去几个月里，我们不也一直看到事情像“塞翁失马，焉知非福”一样不断轮转吗？就在Anthropic看似走到尽头时，Codex又崛起了；又在Codex和Anthropic看似走到尽头之际，Kimi和DeepSeek崛起了；而在Kimi和DeepSeek看似走到尽头之际，中国又在不断推出新模型。这不正是健康生态系统的循环吗？
崔胜准 想要加入其中，虽然说得俗一点，但也必须跟着一起疯狂才行。无论是节奏还是投入量……
卢正石 是的。现在这又归结为资金问题，希望能获得更多资金，从而做到每个月发布一次。
朴钟贤 我听着也想到，对于这个项目本身，我的看法似乎大幅转向了积极的一面。Motif从一开始就是最好的证明。正因为有这样的项目，才可能诞生那样的模型，才可能诞生那样的团队，而且那支团队今后大概率还会继续发展壮大。然后就像胜准所说的，目前我并没有感觉到模型正以那么快的速度不断推出。与海外相比，感觉只是配合评估周期，好不容易才能偶尔推出一次。但反过来说，除了美国和中国，其他地方，比如Mistral，推出模型的速度也没有那么快。甚至似乎还有很多传言称，Mistral正试图把商业模式转向近乎GPU供应商的方向。确实感觉我们至少正在勉强以这种方式追赶。所以希望我们也能提升到足以在同一条赛道上竞争的水平。因为这是加速这一进程的机制，所以建立生态系统本身似乎就是一件好事。
我也一直在谈论这些，而促使我开启直播的其实有一个决定性契机。我吃午饭时，邻桌的人全都在讨论这件事。所以我想：“今晚开个直播，我也得试用一下。”我当时就是这么想的。
卢正石 是板桥人吗？还是只是普通人？
朴钟贤 从外表推测，确实是板桥人。
卢正石 嗯，是吧。
朴钟贤 不过不知道是从事什么职业的，总之，我活动的区域有点特殊，所以全国民众都很关注。我们也在讨论，观看这个节目的人也会通过这个进一步了解，我刚才也说过，我很好奇大家的意见，那么很多人可能也会在评论区积极交流意见，即使想法不同，也会展开讨论，而对这类事情本身产生兴趣，似乎能推动社会朝着让全国民众都成为善用AI的人的方向发展，所以我觉得非常好，也希望它能引发更大的话题。
崔胜准 我听说有个词叫“镜头按摩”。好像是说艺人越经常上镜，就会变得越出色，那么全国民众越关注，应该也会提升得越好吧。
政府项目的双刃剑与真正的市场竞争 48:31
卢正石 而且政府项目向来都是一把双刃剑。在独破模中拿到了第一名。能得到什么？在那段期间获得了GPU资源支持。价值数亿乃至数十亿元人民币。那当然是很庞大的资源，但等这一切结束之后，还要进入一个极其残酷的市场，而在那个市场里，我不认为人们会因为是韩国人，就使用韩国型模型。必须与全球前沿模型竞争，比如说，如果我是一家企业，‘OpenAI模型不能用。那么应该以哪个模型为base，来开发我的coding 框架所使用的on-prem模型呢？’那么在open-weight模型中，当然也会选择最前沿中的最前沿吧？就是这样，竞争完全开放，反过来，从Motif的立场来看，摆脱这种规则复杂的游戏，得以自由翱翔，反而能打响名气，而且目前业界对on-prem、open-weight模型的需求也很高，还能够争取到时间，更快地朝那个方向发展。
崔胜准 想想竞赛之类的活动，也不一定是第一名发展得最好嘛。比如歌手竞演节目就是如此。
朴钟贤 是的。
卢正石 风水轮流转，正如我们一直在说的，这个行业每两周就会从上升势头转为下降势头，又从下降势头转为上升势头，是一个不断变化的行业，所以与其在这里拼命狂奔，顺应市场的速度，尽快进入市场，我觉得也不错。
朴钟贤 好，那我们就总结到这里，进入下一个话题吧？
卢正石 好，就讲到这里吧。这也是因为钟贤对Motif多少有些感情，所以才会这样，不过我个人认为，这对Motif来说是一件好得多的事。
崔胜准 那我就快速接着讲下去。
卢正石 钟贤做过政府项目吗？写过项目申请书吗？
朴钟贤 读研究生的时候做过很多。我真的写过很多项目申请书。做过很多政府课题。
Astra 停止训练、Anthropic 争议与癌症研究前沿新闻 50:36
卢正石 嗯。
崔胜准 所以独破模本周确实也有让人分泌多巴胺的部分，而且我们不是一直在围绕AI追求多巴胺吗？所以我想回顾一下这类新闻，同时也谈谈我个人的一些经历。Sam Altman刚才说过的话，正石也提到了，Sam Altman说要暂停两周。不过最近这些善于制造热度的CEO都会策略性地发表言论。所以自然会怀疑这是不是营销，但Sam Altman留言说，暂停两周并不是要暂停Astra，而是暂停下一个模型。所以Astra似乎会按计划发布，不知道会是在8月底还是9月初，虽然不知道具体时间，但Astra这种级别的模型应该很快就会出现，至于它是否会被称为GPT-6，我就不清楚了，但应该会推出。不过Sam Altman现在所说的暂停，只是要彻底暂停短短两周而已。所以我不太明白这是什么操作。
卢正石 有一个营销方面的
崔胜准 例子，对吧？
卢正石 应该是营销吧。Anthropic休息了，我们也休息。
崔胜准 另外还有一件引发热议的事，Dario Amodei发布了一篇很长的推文，这篇推文传播得很广。不过这件事始于All-In播客。Gavin说的内容中，有一部分是在批评Dario或Anthropic的某些说法，是这样的内容，后来Sholto Douglas又把这件事翻出来，发到了推特上，结果演变成Gavin与Sholto之间的讨论，于是Dario写了一篇长文阐述自己的想法，随后又传播到了各处，有意思的是，这里出现了与癌症有关的话题，我认为这是一个看点。Dario谈到了癌症治疗。与那番话联系起来，还有这件事。Anthropic一直在持续开展与protein design相关的工作。也有人说Moderna正利用它制作mRNA疫苗，以延缓癌症的进展，这让我联想到了这件事。
Richard Sutton 访谈与 持续学习 愿景 52:43
崔胜准 所以有这些内容，而吸引我注意的是Sequoia对Sutton的采访。去年在Dwarkesh那期节目中看到Sutton时，他给人一种对LLM并不友好的强烈感觉，对吧。后来他又很有意思地讲述了自己团队正在做的事情。
卢正石 是的，因为用了太多高深莫测的词，像我们这样的平民百姓似乎都没听懂。
崔胜准 所以这一期对当时谈到的内容做了更具体的阐述。实际上，他们以极小的规模成立了OAK Lab并开始创业，还谈到了他们要在那里挑战什么。归根结底，是要在那个庞大的世界中自主学习并成长，达到能够不断提出新想法的程度，不是只在已经学过的内容分布范围内组合某些东西，而是能够通过自身经验获得新能力的agent愿景，去年他们也曾通过position paper《经验的时代》将其公开，而关于这一愿景的理论构想会在这一期中介绍。
所以我直接跳过前半部分之后，有一个叫Alberta Plan的计划，是Sutton等人在2022年提前公开的、关于他们今后将追求什么的计划。当时他们就已经谈到了持续学习。而这次他们针对要如何实现它给出了一些线索，有意思的是，训练模型时，要进行training，就得设置step size，对吧。像learning rate要设多大，是与hyperparameter tuning有关的问题，而为它本身也设置learner，也就是说，设置trainable parameter，原本就是meta-learning领域的热门话题，但他们说要给每个per-parameter都设置一个。所以模型，也就是agent要继续前进，有些东西因为是自己已经学到的价值，必须在不遗忘的情况下保留下来，因此就把那些东西的step size设为接近0，而需要持续更新的则适当放开，从而使其能够以不均等的方式进行学习，他们提出了这样的构想。
作为使其成为可能的另一个组件，他们还提出了持续backpropagation这一概念，至于这是什么，就是让模型以这种方式在整体学习过程中自行具备判断哪些内容该保留、哪些内容该重新更新的能力，在这种状态下，如果存在使用较少的parameter空间，就向其中注入random。也就是使其重新回到最初的分布，重新学习，借此实现类似大脑可塑性的机制，这次他们谈到了这样的计划。
至于这样做之后能够实现什么，他们在5到10年的time frame内所追求的计划是，让一个约1T的模型以这种方式进行持续学习，不断通过经验学习，他们将推出这样的模型设为了目标。这个部分相当有意思。
朴钟贤 简单梳理一下迄今为止关于Richard Sutton的讨论，无论是上次的Dwarkesh那期节目，还是这次在Sequoia发布的内容，您将他概括为LLM反对派，而他指出的问题之一，就是无法进行持续学习。因为LLM在一路完成模型tuning之后，weight就会彻底固定，此后只在那个状态下进行inference，而我们应该在做出某些行动的同时不断学习，但它无法顺利做到这些，这就是问题。所以人类是这样学习的，是通过经验学习的，而它并非如此，当然会存在局限，我理解他的意思大概是这样。所以为了解决这种问题，他会一边研究这些技术，一边将其引入并尝试解决。整体脉络就是这样，对吧。
崔胜准 而且Sutton的想法有些激进。所以他在开头也说明了自己为何属于会产生这种激进想法的类型，谈到了诸如此类的内容，有意思的是，在Sutton看来，人类和松鼠并没有太大区别。
朴钟贤 是的，感觉他经常拿动物作类比。上次也是。
崔胜准 因为松鼠也是通过世界学习，它并不是通过看书来学习如何操控肌肉的。所以从这一角度来看，如何自主开发新的能力，似乎就是Sutton的探索重点。而这也是与AI持续相关的部分，Sutton具体阐明的内容在这一期中非常有意思，这是我的关注点。
transcript 增强阅读与 zoomable interface 实验 57:22
崔胜准 关于抽象化，Sutton在这一期中谈了很多，这里既可以用荧光笔标记，也可以让我添加备注。所以，时隔许久再来介绍一下我的 prompt，首先粘贴 transcript，然后制作 HTML。而且我像这样标注出说话人，可以减轻我的认知负担，让我能饶有兴致地阅读情感表达之类的内容，所以我会加入要求添加这种标记的 prompt。接着，如果出现术语之类的内容，与其到时候再去查，我会让它事先统一查好。也就是一次性让它执行这些工作。
接下来，这里有一些设计相关术语，原文中虽然只有 transcript，但看这里，不是还加入了图表吗？先用 SVG 生成图表，然后先通过预览以 multimodal 方式查看，再反复运行从视觉上进行改进的 loop。接着，还可以把内容保存到 local storage，并利用笔记和荧光笔，由我来进行增补。所以我的观点是，完整阅读原文，但要扩展着读。不要做摘要。接着，我添加笔记之类的内容，再把它导出，让它也能用于其他输入，最近我经常尝试这种方式，内容不是会以纸张纵向的形式呈现吗？所以会像这样纵向一直延伸，出现多到需要 scroll 才能看完的信息，但我上周试过之后发现，这些内容并没有很好地留在脑海里。
我把之前介绍过的内容全都以这种纵向形式拼接起来了。所以我制作了一个 zoomable interface。这些就是上周介绍过的、我在 YouTube 上看过的内容，以及读过的文章。所以可以浏览这些内容，我觉得其中似乎有一些彼此相关的内容，于是让它们也能横向查看，使纵横两个方向都能处理，我制作了这样一个辅助认知的工具。因为需要看的信息实在太多，不仅留不在脑海里，也很难查找。
所以我制作了这些工具，而今天我想再次探讨的是，在递归式自我改进的讨论部分，Dwarkesh 提出的问题及其相关话题，我想一边看图表一边来谈。
朴钟贤 看了刚才整理的内容，LLM 只不过是 token 的流动，某种意义上是处理一维信息的模型，但人类确实会借助这种工具，一眼掌握纵横交错的关联关系。人类原来是一种通过视觉处理信息的动物。所以确实能够感受到其中的差异。我想到，这或许也是 Sutton 所说的差异之一。我产生了这样的想法。
崔胜准 而且，之所以把 SVG 之类的图表插入这里，是为了在 zoom out 时仍能保留信息，并快速对其进行 anchoring。所以也有 语义 zoom 这个概念，它会根据 level of detail，决定哪些内容即使在 zoom out 时也依然可见，虽然这并不完全是那种模型，但确实有相似之处。
所以我最近一直深入思考的是，在 Dwarkesh 那一期中，Oriol 中途也谈到过，在中等规模或小规模上进行实现和实验，是 LLM 非常擅长的事情。但因为这些事情成本很低，所以可以反复实验，并很好地探索各种可能性空间，可是真正获取那种能力所需的pre-training 并不能频繁进行，因此很难像这样并行展开后再进行评估。因此，正如 Dwarkesh 所说，必然会出现这样的情况：运行只能进行寥寥数次的 run 时，就会产生对品味的依赖。而 LLM 目前还缺少这种品味，所以无法自行完成这件事。因此，RSI 会不会就在这里失效，这正是 Dwarkesh 的疑问。
hill climbing 的局限与着眼全局的 agent workflow 61:15
崔胜准 而我在工作时也会有类似的感受。最近进行小单位实验时，通常会快速提出多个假设，再把假设空间中的实现工作分配给各个 agent，让它们全部运行一遍，然后进行 orchestrate 和合并，这是大家都在使用的workflow。虽然有些空间很适合这种方式，但也存在无论如何尝试都无法发现的宏观图景。所以这一期中也出现了 hill climbing 这个词，hill climbing 做得很好。只要有可测量的指标，当前的模型就非常擅长一点点降低那些数值。但这样做下去，必然有时会陷入 local minimum。因为试图在过于狭窄的空间中优化，就会错过宏观图景，因此必须让模型纵观全局，它才会在纵观全局之后说自己遗漏了这一点。但模型无法自行做到，所以我一直在思考这个问题，也正在尝试进行这项工作。
不过，也有一些问题会随着模型能力的提升而得到解决。所以大概在3月份，我已经介绍过一次，当时给大家介绍的是这个还做不到。所以在做这种东西时，假如想让这里的polygon呈现出优美的流向，因为谈到了这类想法，我当时就做了一个modeler，在这里像这样制作犄角一样的东西，但形成某种特定topology时，就做不到了。Sol发布一两天后，我试了一下，当然并不容易，但最终还是解决了。每天投入大约那么多时间时。所以在我看来，这和商业软件生成的quad mesh的flow相当相似。所以我觉得，这些东西似乎已经到了可以实际运用的程度。意识到这件事确实能做到，我很高兴，最近我选择的方向是，如何在我感兴趣的领域里尝试做些什么。
所以设计虽然仍然是non-verifiable的领域，但尽管如此，还是存在一些可测量的指标，虽然这些指标并不能直接代表实际的审美感受，但我认为还是存在proxy指标，也就是替代指标这类东西，所以我一直在做实验，第一个实验就是排版。核心在于，如何把non-verifiable的问题逐渐逼近verifiable的问题。所以，
让排版变得 verifiable 的代理指标实验 63:58
朴钟贤 比如说，那些proxy指标都有哪些？哪怕是某种可以给设计打出评价分数的东西，我也想听听这样的例子。
崔胜准 排版相对来说还是比较容易的。因为排版已经得到了大量研究。所以排版要考虑这里的文本如何流动，这里可以看到行距，还有字型大小，当然也就是通过改变字体大小之类的方式来调整，即便如此，右侧也需要呈现出优美的流向。不能过于参差不齐，这里的流向顺畅才好。既美观，也便于阅读。不过与其像这样阅读，两端对齐看起来才更像我们实际阅读书籍时的样子。
接下来用单栏显示，并稍微放大一些。像是这里进行了缩进，或者增加段落之间的间距，都不能太宽，也不能太窄，这些都是可以测量的。而这方面已经得到充分研究的就是TeX。LaTeX其实有一种叫作Knuth-Plass的算法，使用dynamic programming，也就是动态规划，对这些进行测量，使其符合TeX的排版。但Knuth-Plass在80年代发现，如果这里加入包含图像的插图，它就会变成NP问题。也就是说，它会变成无法在多项式时间内求解的问题，这一点早在80年代就已经得到证明。不过最近采用Knuth-Plass算法的库已经出现了相当多。有一个叫Justify的，用于排版的还有FreeText，这类工具已经出现了很多，所以我也做了实验。如果由专业设计师来做，会进行更加细致的微调，一边调整这些内容一边完成排版。不过粗略来看，我测试后发现，它似乎还是能达到相对不错、足以阅读的水平，所以觉得这个多少还是行得通的，我当时就是这种感觉。
参数化韩文字体生成与设计评估的难题 66:28
崔胜准 但到了字体设计，自由度就高得多，我正在尝试制作组合式韩文，也就是制作韩文字体，将它直接转换成Bézier完全没有问题。所谓参数化字体，其实是十多年前非常流行的一种类型。不过我尝试的并不是改变spline curve，而是把字形本身的生成过程函数化。所以，虽然也可以整体改变这些内容，但还有一种方式是设置笔尖，并将笔尖移动的轨迹生成为轮廓，这种技术叫作METAFONT，也是Knuth创造的，就是这样一种方式。通过这种方式在这里生成的字体，没有一个好看。虽然确实实现了韩文组合，但还不是可以实际使用的字体。
朴钟贤 我想问的是这个。您认为现在展示的字体是它自行制作的，所以并不好看，接下来就需要以某种方式对它好不好看进行评分，但评分实在太难了，所以您想设法提取一些用于评分的proxy指标，对吧？
崔胜准 没错。所以现在尝试的是，这里可以看到初声、中声和终声的分区，我试着像这样收紧这些空间，但它们是相互依赖的。有时这个部分必须向下移动，实际写一下“쀍”这个字的话，这个元音的撇不能在这里，而应该在差不多这个位置。但这样一来，其他字就会变形。这些因素之间的关联，人可以凭感觉理解，但需要把这一切都转化为可测量的形式，让模型以类似自动微分的方式，虽然不是真正的自动微分，先像这样投影一下这附近的内容，然后假设其中存在一个实际作为目标的reference font，比如使用 Noto 或 Noto KR 之类的字体时，通过训练来判断它与那个空间有多相似，目前采用的就是这种方法，但效果依然不太好。所以模型还在不断提出假设，进行实验、测量和调整，目前仍在做这些工作，但在我看来，距离目标还很远。凑齐一套看似完整的东西，和真正做出实用的字体，是两个完全不同层次的事情。
虽然现在讨论的是设计领域，但做其他工作时，这种情况也会反复出现。要纵观全局，并明确其中有我看重的指标，有重要的价值，还要将其量化，使之可以测量，这样模型才能对各个局部进行 hill climbing，再回头审视整体，反馈这里是如何处理的，以及哪些地方没有跟上要求，但即使用 reviewer 模型，做着做着也会变成 hill climbing。所以在工作的过程中，我一直觉得这件事目前离目标还比较远。
卢正石 是不是太过苛刻了？能做到这个程度，从某种角度来说，不是已经做得很好了吗？
崔胜准 确实做得非常出色。只是实现到这个程度，成本实在太低了。我说的是制作参数化字体这件事。现在这个因为是韩文，所以有点难，
卢正石 这要是放在以前，得由字体公司的一整个团队投入，经过相当长时间的反复磨合，才能推进的项目，现在却由胜准独自 directing，借助模型一路推进，不是吗？但等它全部完成以后，这个东西要用在哪里？
崔胜准 我打算平时自己用。幼儿园里有时需要做设计工作，做起来很费劲。
卢正石 也就是说，幼儿园发布某种文件或做其他事情时，想用我们自己独特的字体来发布一些内容，是有这样的目的吧？
崔胜准 做设计时总会用那几个常用字体，而它们也有一些不尽如人意的地方，所以就想着自己做一个试试，虽然也有出于兴趣的一面，但这项工作也确实有实际目的。不过既然要做，我也会一边思考 agent workflow 的元层面问题，一边推进这项工作。
需要审美判断的设计工作与 evaluator 的局限 70:59
朴钟贤 作为一个完全不懂设计的人，您说那个设计不太好，但在我看来，我甚至都不太能意识到它究竟哪里不好。对于设计这件事，对于什么才是好的设计，我的大脑里并不具备作为 evaluator给出 scalar 分数的能力。因为我这辈子几乎没做过这种工作。
崔胜准 但反过来的情况也存在。无论拥有多么出色的审美眼光，如果不懂 DP 或 backprop 之类的术语，也没办法让模型去做。
朴钟贤 那么，假设把我的大脑看作 LLM来比较，无论如何，要想让我擅长设计，就需要经历一个把什么是好设计的感觉装进大脑的过程。那么，如果 LLM 像您刚才说的那样，比如大型前沿模型进一步扩大，最终出现一个能够对全新的设计元素全部作出准确评价的基础模型，您认为就可以通过某种方式进行 hill climbing，从而制作出优秀的字体，对吧？
崔胜准 是的。比如，实际运行 Dwarkesh 问过的这种东西时，做实验并在这里进行测量等操作，很多 run 都需要运行 30 分钟以上。因为要测量各种空间，找到轴之后，再到下一次 run 中进行测试。所以这会产生成本，关于设计，也就是该朝哪个方向走，必须由我一边把握感觉一边推进。
不过在某种规模下可以快速运行，因而能够进行 hill climbing，但我想要的是，连作出判断这件事也进入 loop 之中。但在当前 regime 下，我认为在某些领域似乎可行，可是在 non-verifiable 领域，效果并不好。
而 Dwarkesh 最终认为，如果要运行大规模、真正大规模的 RL，因为其中有些因素取决于个人偏好，如果这一点做不到，模型的RSI与其说是RSI，不如说是SI，我觉得其中似乎有这样的含义。
朴钟贤 只能在规定的范围内，只能在前沿模型的智能极限内一直推进到底，却无法突破这个上限，我觉得
崔胜准 所谓的这种感觉就是这个意思。所以，指的是探索不同于当前regime的东西。
卢正石 脑海里虽然能浮现出一个图景，但真要解释的话，确实很难。
崔胜准 所以，能够自行完成抽象化本身，似乎就是Sutton短期内设定的目标。所以这才引起了我的注意。
朴钟贤 我最近也正在解决类似的问题。比如需要亲自做设计，就在昨天，我还在为准备新推出的东西制作名片，虽然比想象中做得好，但还是做不好。做到一定程度后，我发现我不知道什么才是好的设计，我认为这首先就是根本问题。
如果问LLM是不是比我做得更好，我的确觉得是这样。因为我的大脑本来就不擅长设计，那么，如果我过去大约10年一直努力做设计并以此为生，问我是否会做得好，我觉得应该会比现在好得多。
但在思考这个问题的同时，我既在思考怎样才能进一步推动LLM，让它在设计上超越我现有的能力，做得比现在更好，同时又觉得，要想把这件事做好，终究还是得我自己擅长才行，我在这两种想法之间没能找到正确答案。尤其是在涉及这种偏好之类因素的情况下。大家的意见众说纷纭，Sutton试图以这种方式处理，Dwarkesh似乎认为这行不通，似乎也有人认为只要把LLM继续做大，就一定能成功。
Sutton 关于用 20 瓦运行 1T 模型的想象 75:19
崔胜准 我认为这并不是一道非此即彼的选择题。Sutton也绝对没有低估LLM。但是，我们需要探索多样性，反过来倒推着想，如果真的出现了创新，该怎么办？而且是以不同于LLM的方式。到那时，只要现有基础设施仍然使用GPU，应该还是会有一些共通之处，但Sutton的目标是20瓦。用20瓦运行1T模型。现在需要消耗非常多的电力，虽然摩尔定律现在并不完全适用，但如果仍能以这种方式想尽办法不断提升，当10年内把现在需要2,000瓦才能做到的事用20瓦完成时，我问会发生什么，Sutton便对此展开了想象。
所以，就像人脑一样，在功耗低得多的情况下，虽然人类可能也不会去测量瓦数，但总之，即使功耗以这种方式降下来，如果还能运行大约1T的模型，会发生什么？Sutton正在想象这件事。而Sutton认为实现这一目标的timeframe是从现在起5到10年。但假如这件事真的发生了，那么目前正在形成的这些产业会受到怎样的冲击？我觉得这些也是很有意思的想象切入点。
卢正石 是的，如果现在就预测这个，作为投资，可能会失败。我觉得必须先预测未来1年、2年，才能进一步看清之后的情况。所以，因为听说Sutton会在5年后、10年后做那样的事情，就认定目前围绕Transformer铺设的基础设施都会完蛋，从而停止投资，或者不加入那个投资组合，我觉得会是一个愚蠢的选择。
崔胜准 没错。Sutton是经历、挺过并战胜了AI winter的人。通过做以前没人做的事，说明这种尝试依然很重要，但这并不意味着当前的regime会崩溃。只是说可以想象一下那种可能性。
卢正石 不管怎样，本质上应该都是计算总量的函数，就像现在即便我们已经有了最新的前沿模型，仍会把100个不靠谱的东西勉强拼接起来，想方设法加以使用一样，当前的架构也不会变得毫无用处。从计算的角度来说。
崔胜准 听说A100现在也还在用，对吧？我听说A100到现在也还没有完全退役。
从 auto research 与 control plane 看工作的结构 77:45
卢正石 从大的框架来看，现在讨论的就是auto research。只要我们能够明确界定某个目标和某种evaluation metric，而且界定得足够清楚，它就能在这个范围内自行寻找答案，并不断进化。其实，如果把我们的vibe coding看作一个过程，人们就是在其中进行auto research。先做出一个东西，再查看相应的evaluation，发现这里错了，就重新做，如果能把那个evaluation metric在一定程度上结构化，就能把整个过程构成一个loop，而为了做到这一点所需的某种设计，并不是engineering的问题，而会回归为哲学和经营管理的问题，如果能够设计出这样的机制，就能让 loop 运行很久了吧。
崔胜准 所以我把这个分享给身边的设计师们，在分享这个的同时，抛出一些具有挑战性的问题，做思想实验时，如果把它看作排版问题，就把我喜欢的书里那些精彩的部分作为样本扫描下来，如今只要持续反复改进，multimodal model 几乎能达到 pixel-perfect 的程度，至少可以复刻出它的外观。所以先用 SVG 对它进行 fitting，再从 fitting 后的结果中找出排版原理之类的东西，以及能够代理某位特定设计师心理的原理之类的东西，然后反复改进，直到这些全都得到处理，直到 rubric 得到处理，通过反复改进，如果能够提取出某种特定 style，那么我觉得至少在排版这个层面，似乎也没有什么做不到的。
那么排版设计师的工作会变成什么？会如何转移？当然，因为这只是对它们 sampling 的内容进行插值，所以只是在这个程度上加快了生产，并没有发现某种新的排版层次。只是提高了生产力而已。但即便如此，当它产生 impact 时，工作会如何转移？在抛出这类问题时，我会使用这个例子。所以会让人想到很多事情。
编辑风格提取与人类工作的代理化 79:55
卢正石 是的。
朴钟贤 我也正在做完全一样的事情。视频剪辑也是类似的。一开始我是这样尝试的，我不断展示自己作为剪辑师是如何剪辑的，而且我自己也不太能用语言表达我是如何剪辑的。因为我只是凭感觉来做。所以把这些全都输入进去，让它在这里运行 loop，为了让它制作出和我完全一样的结果，设定 evaluation metric，让它提取我的 style，那个 style 就会被提取出来。也就是我具体是怎么做的。然后用它运行下一项工作，它就会成为一个与我相似的、我的 proxy，而且真的会非常相似。
崔胜准 据此推测，正石做的事情不也差不多吗？正石的工作方式也是。
卢正石 全都一样。那个，其实都是在应用深度学习的这种宏观方法论。我仍然认为，刚才胜准提到的这些事情，也是在这个 layer 上反复发生的某种同构重复，我现在依然这么认为。在 LLM 中，那个 model 就是我们所熟知的 Transformer model，同时还有 optimization algorithm，其中也同样有 objective，evaluation 也同样在发挥作用。接着把它提升到更高一层，提升到更加 abstract level，比如剪辑的过程，以及对我而言经营公司，再从眼下这个问题来看，就是字体该怎么做，以及那个目标产物，我们就直接称其本身为 code 和 artifact。把它直接当作 model，然后由我们逐步 optimize。
那么这些层次就全都是同构的。只要充分地 optimize 下去，最后就会留下一个可用的产品。那么在这个过程中，我们剩下的职责目前依然是设定目标，并对产出的结果进行 evaluation，而它的质量与 model 的 output是直接联动的。
我也没有答案，但我们所说的某个 domain、某个 space 究竟有多大，又在多大程度上存在起点和终点，谁都不知道。所以它究竟位于那个 domain 之内，还是位于它之外，例如，如果那个 space 非常广阔，那么连接某个点与另一个点进行 interpolation 的结果，从我们的角度看，可能就会被视为 novelty，也有可能会被视为 extrapolation，我觉得存在这种可能性。
崔胜准 最近数学领域发生的事情正是如此。
卢正石 胜准、钟贤和我感受到的事情现在都很相似。随着前沿模型性能的提升，我们对它的期待值，以及工作的质量和工作量等，现在也都大幅增加了。一开始只是拿一个 agent你来我往地协作，现在则全部用 multi-agent 层层嵌套，思考如何让它在单位时间内完成更多工作，如何让它读取我做过的工作 trace，代替我做出某些决策，或者让它进行 evaluation，人们的注意力现在全都转向了构建这类 system，不是吗？
multi-agent 迭代评估与个人工作方式的变化 82:39
卢正石 所以那些把这种 system 构建得很好的人，token 都会不够用，我也是如此。以前我总觉得 weekly token 用不完，但最近 weekly token 大约两三天就会全部耗尽。之所以会在这两三天内耗尽，是因为以前我会在自己逐项了解的范围内进行 guide，但做着做着，我也产生了想让它把我不了解的领域也做好的欲望，所以我经常让 model 反复运行这个 evaluation，让它做很多这样的工作。如果不行就继续循环，等你循环三次之后仍然没有问题，再拿过来。我就是让它做这些事情。
是否走过了能在一定程度上确保质量的routine，强制执行这一点，就是我之前说的所谓control plane。在一定的evaluation metric范围内，你把承诺要做的事情全都满足了吗？没满足？那我就不接收这项工作。如果不接收成果，sub-agent就得重新循环。为了达到那些要求。“啊，原来这个、这个和这个我没能做到。我再跑一遍。”然后它就会重新做完再回来。
就这样，把原本该由我做的事情，或许本来我看一遍就能结束的事情，让它反复循环，并且故意在这个过程中产生大量副产品。胜准之前提到过的那个副产品network会大量形成，而它在这些东西之间工作时，我也会获得意料之外的发现。“原来这样做就可以了啊。做得好。”然后我反过来调整自己的weight。
崔胜准 真的能学到很多。尤其这些名称，只要知道名字就够了。
卢正石 没错。而且只要大致说一下概念，问“有没有类似的东西？”，它就会找来。因为这些它全都知道。只要说以前有过这种algorithm，我们就按照这个来试试，再说：“那么，把那篇论文和那个codebase拿来。”就真的像在Matrix里插上某种接口一样，仿佛把直升机的驾驶方法直接装进脑子里就结束了，会体验到我的工具就这样直接得到了扩展。所以钟贤大概也会有同样的体验，我在和它工作时会觉得，仿佛Matrix里的那种事情已经实现了。只要吩咐它就行，只要我想要什么，就会觉得“这个一定能做到”。
崔胜准 这是想象力的问题。
卢正石 没错。因为觉得“这是能做到的事情”，反过来也会滋生一种不再去启动它的惰性。
朴钟贤 就像插上接口一样，我也想表达这个意思。
卢正石 我刚才在思考。不过看看钟贤做的事情，与钟贤以前做的事情相比，现在正在做的事情简直不可思议。钟贤展示的东西对我来说都很新奇。不过我们所有人现在都已经达到了前沿水平。
崔胜准 最后我想指出一点，我刚才展示的所有东西，除了之前的3D model，全都是在web interface上完成的。不是Claude Code，也不是Codex。即使在web interface上，也能做到这种程度。
仅凭网页界面即可实现的前沿级工作环境 85:58
卢正石 全都是只靠语言完成的吗？
崔胜准 不只是靠语言，而是在那个网站或普通的chat interface上完成的。不过也不算普通的chat interface。ChatGPT的Work、Claude Cowork。不过Claude的话，就连普通chat也会提供container，所以非常方便。
因此不一定非要处理本地计算机里的东西，即使不用CLI或desktop app，只要在container里打开浏览器，就能查看所有内容。所以我也想指出，现在反倒是开发者们还没有意识到这一点。那边也在不断发展。
卢正石 所以Claude Cowork之类的其实应该看作与Codex完全相同的东西。而且再过一段时间，大概再过一年左右，我们或许就没有必要在本地购买计算性能强的计算机了。只要把任务扔进云端的某个container，空闲的计算资源就会动态分配，事情自然就会完成，难道不会迎来这样的时期吗？
我在使用OpenClaw或HermesAgent时，家里不是会放一台always-on运行的那种计算机嘛。我也把它安装在DGX上，并在上面构建好了所有东西，除非是UI之类或视频剪辑这种必须实时确认视觉效果的工作，如果只是通过文字完成的工作，我都不会打开计算机。我只会通过文字向我正在开发的Operator Agent下达指令，并让它处理所有事情，所以实际上，我做那项工作也可以说完全是通过web interface完成的。
Operator Agent 与工作自动化的未来 87:51
卢正石 怎样才能在没有我的情况下，让我做的事也能直接完成我做的工作，这就是我的目标，因此发生了很多事情。虽然内容多少有些没能条理清晰地展开，但这也是探索的一部分。是的，学到了很多。
崔胜准 很有意思。
卢正石 好，那么今天就到这里吧。
崔胜准 好的。明白了。
卢正石 好，
朴钟贤 大家辛苦了。
卢正石 谢谢。