EP 107
未来はいつも予測不能：株価の乱高下、Kimi K3ショック、再帰的自己改善の始まり
Leopold Aschenbrennerのポートフォリオ清算と大型株の乱高下 0:00
ロ・ジョンソク では、始めます。収録している今日は2026年8月1日です。今週も本当に驚くようなニュースがたくさんありましたよね。一番面白いニュースを挙げるとすれば、やはりLeopold Aschenbrennerが一度、大きな損失を被ったことです。それは何と関係しているのか？時価総額1位、2位の大型株が2日連続で15％ずつ暴落し、その翌日には30％近くまで上昇するジェットコースター相場だったのですが、この1週間の変動幅で見ると、1～2％ほどしか下がっていないんです。これはアメリカで起きた興味深い出来事なのですが、Leopold Aschenbrennerという、非常に若くて優秀な方がいますよね。Dwarkesh Podcastに出演し、Situational Awarenessというペーパーとともに、今後、私たちの社会で何が起きるのか、電力系統からチップ、その上のレイヤーに至るまで、何が起きるのかについて、彼なりのホワイトペーパーを書いた人ですよね。
ところが彼は、口で言うだけではなく、自分のファンドを組成し、自らの信念が示す方向に沿ってポートフォリオを構築したんです。それも数百万円単位ではなく、数兆円規模のポートフォリオを運用していたのですが、このポートフォリオにはAnthropicのような非上場株も数多く含まれていました。さらに、ここで自信を得たことで、彼はポートフォリオをより積極的に運用しました。レバレッジを使い始めたんです。優良株は上がると言って、レバレッジをかけ、下がる株にはショートを仕掛け、AI企業やインフラ企業、電力会社は上がり続け、既存のソフトウェア企業はAIモデルの発展によってすべて消滅する。そこでAdobeをはじめ、Figmaなどの企業にショートを仕掛けたポートフォリオを保有していたのですが、ここ最近の短い期間に、ポートフォリオが完全に逆方向へ動いたんです。インフラ株が暴落してソフトウェア株が上昇し、それに、株式市場で何が起きるかは誰にも分かりません。しかし、大きな損失を出しました。上場株のポートフォリオの大半を
Leopold Aschenbrennerは失ったようです。そして、それらの株はCitadelが非常に安い価格でうまく拾っていったというニュースが広まりました。それにもかかわらず、Leopold Aschenbrennerのファンド全体は依然として約80％のプラスだそうです。Anthropicのような株、非上場株は株価が日々動くわけではないので、その評価額を基準にすると、依然としてプラスを記録しているようです。また、こうしたボラティリティが引き起こされたのは、私はFableのリリース時からだと思っています。マーケティングかもしれませんし、本心かもしれませんが、Anthropicの動きをずっと見ていると、これは周到に仕組まれたマーケティングである可能性も高いのではないかという陰謀論に、私も少し傾きました。
それで、Fableは途方もない能力を持っており、セキュリティ上の問題も抱えているため、大きな問題になるだろうと。そんな大騒ぎをしたことで、結局これが原因となってアメリカ政府がモデルを止めてしまったじゃないですか。そして、もう一つの事件は、GPT-6と推定されるモデルがHugging Faceをハッキングして引っかき回したことです。Hugging FaceはそれをLLMで防がなければならない状況になり、こうした状況によって、ある意味では私たちのsovereign AIを含め、私たち全員が抱いていた信念、つまりアメリカは自由世界を守る象徴的なアイコンのような存在であり、私たちはあの同盟を頼りにして、彼らが作るfrontierモデルを頼りにすれば、美しく豊かに暮らしていけるという考えがあったのですが、アメリカ政府がきっぱりと「違う」と示してしまったことで、そこから考え方がすべて変わり始めたんです。後ほど取り上げるオープンウェイトに関する動きも生まれ、そこへ一気に油を注いだのがKimi K3だと思います。
ショートポジションとマージンコールの仕組み 4:02
チェ・スンジュン 話が先へ進む前に、私は株に詳しくないので、気になるのですが、Leopoldがあのように清算されたのは、マージンコールがあったからではないんですか？でも、もし今後もLeopoldが予測したとおりにAIがこの方向へ進み、したがって今後も収益が出る、需要もあり、収益も出るという予測が正しかったにもかかわらず、マージンコールを受けたのは、なぜなんですか？
ロ・ジョンソク 株価が下がるからです。株価が下がって、例えば、スンジュンさんがこの株を借りて、ショートを仕掛けるとするじゃないですか。すると、借りた価格に対して証拠金を差し入れているはずですが、株を貸した証券会社が受け取るべき証拠金を下回るほど価値が落ちたり、落ちそうになったりすると、証券会社は自動的に強制決済を行うんです。自分たちの元本を回収しなければならないからです。
チェ・スンジュン 方向性を見たのではなく、単に機械的に反応したということですね。では、
ロ・ジョンソク そうです。まとめると、Leopold Aschenbrennerのポートフォリオは、数年単位のサイクルを見据えて構築されたものですが、株式市場の株価変動は日単位で起きるため、大きく落ち込む日があると、その期間中に強制決済されるリスクがかなりあるんです。
インフラ株の見通しとドットコム・モバイル時代のデジャヴ 5:24
パク・ジョンヒョン 株の話に戻ったついでに、少し間抜けな質問ですが、誰もが気になりそうな質問を一つだけすると、それで、何を買えばいいんですか？
ロ・ジョンソク どうでしょうね。どうでしょうね。これは私個人の見解ですが、あくまで私見であることを前提にお話しすると、インフラ株はまだかなり先まで上がると見ています。ただ、株というものは現実を反映するのではなく、いつも現実より先に大騒ぎし、その後で真実がやって来ると、期待が剥がれ落ちて、株価が下がる傾向があるんです。ドットコム・バブルの時も、最初に過熱した株は、Ciscoなどのネットワーク用チップを作る、インターネット接続を支えるハードウェア株でした。しかし、それが終わった後はYahooのようなアプリケーションがそれに代わって成長し、Googleが台頭し、Metaが台頭するといったことがありました。モバイルの時も、最初はチップ株が熱かったんです。それが次第に、私たちが今知っているアプリケーションレイヤーの企業へと移ってきました。今後、AIへの需要は大きいと思いますが、使っている人はまだ少なく、すべての人がagentを育てるようになれば、彼らに与えなければならないcomputationは、現在地球上に存在するcomputationよりはるかに多くなるため、データセンター、チップ、電力関連分野には、まだ需要がかなり残っているというのが、現在の市場の全般的な見方だと思います。
ところが、反対側で争っている人たちは「いや、これはどうせ作られたとしても、上にいる一部の人たちと、知識労働をしているいくつかの会社だけがこれをうまく使うだけで、人間の暮らしはそれほど大きく変わらないだろう。そして今後、モデルがさらに効率化され、edge computingも効率化され、モデル単位で処理できる仕事が増えることで、computationの需要はそれほど大きく増えないだろう。だから、あれはバブルだ」と主張する、二つの見方が今も激しく争っていますが、どちらの方向へ進むのかについては、市場もまだ結論を出していないようです。
インフラ株はまだ、もう少し上がるだろうとは思っていますが、インフラ株を追い越すような、今のモバイル時代を例に挙げるなら、UberやAirbnbのようなさまざまな企業に代表されるアプリケーションレベルの企業は、まだ登場していないと見ているんです。
Nebiusから見るネオクラウドとAIサプライチェーンのボトルネック 7:56
パク・ジョンヒョン はい、まずインフラから進んでいるということですね。私もそのポートフォリオを見て驚いたのは、Nebiusの比重が非常に大きかったことです。
そこでNebiusという企業を簡単にご紹介すると、GPUを売る企業ですよね。GPUを買って環境を構築し、販売するネオクラウド企業です。私たちがICMLを扱った回ではNebiusのブースがあり、ネオクラウド事業者が非常に多かったので、「学会なのに不思議だな」と思ったんです。ポートフォリオでも大きな割合を占めているのを見て、これはNVIDIAからGPUを買い、クラウドを構築して貸し出し、その上にLLMが載り、そのLLMを使うアプリケーションが生まれ、ユーザーはLLMを直接使うか、アプリケーションを使うか、おそらくこのようにサプライチェーンが形成されるのでしょうが、ほぼ最前段ですよね。
NVIDIAのすぐ次、つまりNVIDIAや私たちの会社のような、韓国にあるメモリ企業のすぐ次に位置する企業なので、下流側から見れば、まさにそのレベルにある企業が、大きな注目を集めていて、そこはボラティリティが大きいのだなと思いました。
私はこの観点から見ると、長期的には、まず私たちのチャンネルを運営する、私たちホストだけでなく、お聞きになっている皆さんも、考えは一致していると思いますが、将来の需要が非常に大きくなるという、同じような考えをお持ちの方々が、このコンテンツをご覧になっているはずなので、当然、需要ははるかに大きくなると思います。ですから、インフラを含め、その上層にあるあらゆるものにまで、どんどん価値とお金が流れていくのではないかと、考えています。
未来戦略家の読み違いと変動相場への謙虚さ 9:31
チェ・スンジュン 私は個人的に、今回の件をざっと見ただけですが、経済がどう動くのかはよく分からないものの、Leopoldという人物を改めて見直すことになりました。先ほど確認してみたところ、2024年6月にDwarkesh Podcastへ出演していたんです。そして出演した経緯というのが、OpenAIのsuperalignmentチームで、未来戦略家として活動していたものの、何か不適切な発言をして、何かを漏洩したとされ、自分の立場を弁明できないまま、追い出されたんです。
その後、Situational Awarenessを発表し、さらにDaniel KokotajloもOpenAI出身ですが、AI 2027を発表し、少し前にはAI 2040を発表しました。未来戦略に携わっていた人たちが、こうしたことをするわけです。ところがLeopoldは未来戦略家出身でありながら、欲を出したということです。方向性に確信は持てたとしても、非常に大きなリスクを取ったんです。
ロ・ジョンソク でも、それをそう言い切ることはできませんよね。私たちから見れば欲に映るでしょうが、当人の立場では当然の、ポートフォリオ管理だった可能性もありますし、市場ではいつも、謙虚に結果を受け入れることになるものですから。
チェ・スンジュン 私がお伝えしたいのは、20代前半の覇気に満ちた未来戦略家でも、いくらでも空振りし得る世界だということです。
もちろんです。長期的な展望とこのシグナルには関係がありません。
ロ・ジョンソク でも、若い頃から並外れてはいますよね。株式市場で全財産を失う経験をし、その苦痛にもがいた人だけが、その上に資産を築くんです。皆さんが思っている以上に、話を聞いてみると誰もが、自分が正しかったことだけを話すので、「自分はいくら稼いだ」と言いますし、私たちもそれだけを見て「あの人はいくら稼いだらしい」と言うだけで、3、4日が過ぎ、1週間が過ぎて、市場のボラティリティによって、その人にその後何が起きたのかについては、追跡しないんです。驚くべきことに、それほど大金を稼いで成功する人は、そう多くありません。そして、そうした人たちはプログラムを使ったにせよ、個人で取り組んだにせよ、そのような不確実性に耐えられるメンタルを持ち、賭けることができた人たちが、報われるのであって、通りすがりの話として、誰かが何かをして、株でいくら稼いだという話に、皆さんがFOMOを感じる必要はまったくありません。私たちの知人の95%は皆、似たり寄ったりですから、私はこの株式市場で、大型株がこのようなボラティリティを見せること自体、あり得ないように思うんです。
大型AI関連株の異常なボラティリティと期待で動く市場 12:10
チェ・スンジュン 前例のないことですよね。
ロ・ジョンソク もちろんです。コスダックの時価総額が数十億円程度の会社が一日に15%、30%も上下するのはあり得ますが、SKハイニックスやサムスン電子のように時価総額1、2位を争う会社があのような変動性を見せるというのは、とてつもなく多くの市場参加者、ほぼすべての市場参加者が、あの一つか二つを使って暗号資産を取引しているのと同じなんですよ。株価は、将来期待されるキャッシュフローを現在価値に割り引いたものの期待値なので、株価が上がるということは、将来莫大な利益を上げるという期待が先に織り込まれるのであって、明日や一週間後、一年後のファンダメンタルズとは何の相関関係もない商品ですから、私たちはその本質をよく理解しなければなりません。期待に賭ける市場なのです。ところが、これが完全に賭博場と化してしまって、私も最近は見ているのが本当につらいです。結局、このような市場で変動性に耐える方法は、多くの方が言うように、価値を前もって見極め、本当に安いときに買って、長期間売らずに持ち続けることが答えなんですよ。
チェ・スンジュン それが簡単ではないから、こんな大騒ぎになるんですよ。
ロ・ジョンソク それが簡単ではないから、儲けられる人が少ないんです。これ以上掘り下げると哲学の話になるので、この辺でやめたほうがよさそうです。では、先ほどまでナラティブをずっと追いながら少しお話ししましたが、このナラティブすべての始まりは、AnthropicがFableを出したことでした。そして米国政府がFableを阻止したことで、すべての人の期待が完全に覆され、「私たちも自分たちのものを持たなければ大変なことになる。AnthropicとOpenAIを信じてばかりはいられない。米国を信じてばかりはいられない」と市場が気づいたことが、この二か月間におけるすべての変動性と、前提が変わり始めた出発点だと私は見ていますし、私自身も、私たちには私たち自身のClaudeが必要だと考えています。
Fableへのアクセス遮断が促したソブリンAIへの目覚め 13:41
Kimi K3のオープンウェイト公開と市場への衝撃 14:21
ロ・ジョンソク そのさなか、火をつけたのがKimi K3なんです。ほぼClaude Opus級の能力を備え、今どのようなワークロードに投入しても申し分ないと感じさせるモデルです。そのようなモデルをオープンウェイトで公開したんです。もちろん、莫大な利益を上げたら、その時点から料金を払うよう求めるライセンス条項はありますが、ほぼすべての会社には無料です。そのため、先ほどジョンヒョンさんがおっしゃったNebiusやほかの会社さえも、こぞってKimi K3モデルをクラウドに載せて提供している段階なんです。
ところでKimi K3がAPIで公開されたのは一か月ほど前で、その後、約束していたとおり三日前の7月27日にオープンウェイトとして公開し、自分たちのモデルをどのように作ったのか、モデルカードとともにアーキテクチャや、それからtrainingをどのように行ったのか、そうしたペーパーをすべて公開したんですよ。
フロンティアラボのワークフロー設計を要約したKimi K3論文 15:16
ロ・ジョンソク K3: Open Frontier Intelligence.そしてKimiがK2を出した時点では、アーキテクチャについてはDeepSeekが公開したものから、これ以上やることがあるのかというニュアンスとともに、optimizerだけをMuon程度に変え、実際にはDeepSeekのアーキテクチャを少しだけ変えて使う形でKimi K2、K2.5を出していたのですが、今年初めにDeepSeekがペーパーを出して、attentionに非常に多くの革新をもたらしたじゃないですか。sliding attentionやattention compressionなど、そうしたものによって、結局は運用上最大のbottleneckとなっているKVキャッシュ、つまりKVキャッシュの容量をどのように減らせるのかについて論じたんです。それによって、かなりのアルゴリズム的進化を遂げましたが、
チェ・スンジュン それにmHCのようなものにも触れて、residual connectionのほうも
ロ・ジョンソク そうです、そのとき扱いましたよね。ですからattentionにおける変化、MoEにおける変化、それから各ブロックをどのように接続するか、residualにおける変化。アーキテクチャの面では、この三つがtransformer blockの最も核心的な要素になりつつある、そういう部分なのだと思います。
パク・ジョンヒョン モデル内部について、通常ペーパーに書かれている内容を大まかに分類してみると、今お話しくださったアーキテクチャ、モデル自体がどのような形をしているのかに関する話があると思います。それから私は以前、Kimi K2のペーパーを一度詳しく読んだことがあるのですが、そこには学習方法や、データをどのようにgenerationするのか、どのようにsimulationをうまく行い、データとRL環境をどのように作るのか、そうした内容があったと記憶しています。アーキテクチャができたら、そのアーキテクチャにあるweightをどう賢くするかという方法論です。大きくはこの二つに分けて、内容がペーパーにすべて書かれているようです。
ロ・ジョンソク ジョンヒョンさんがおっしゃったように、K2のペーパーが出た時点では、ちょうどreasoningモデルが次々と登場し、RL環境を構築する取り組みが始まった時期だったので、彼らがどのようにon-policyでrubricを作り、環境を構築するのかについての内容がかなり長く書かれていたじゃないですか。ところがKimi K3のペーパーが出て、実のところ、このペーパーを一言で要約すると、最近のfrontier modelとfrontier labのworkflowがどのように構成されているのかをまとめた全体設計の要約版です。ですから、モデルのアーキテクチャがこのように変化したという点が一つあります。しかし実際には、アーキテクチャよりはるかに重要なのが、datasetとcomputeをどのようにengineeringしたのか、という部分なのですが、そうした部分については今ではかなり省かれています。とはいえ、どの方向へ進んだのかは示しており、paragraphごとの一段落、一段落が、見方によっては、それぞれ一本の論文になってもよいほど大きなテーマの集合体なので、KimiやDeepSeekのような会社をきちんとまねしようとするだけでも、途方もない努力が必要ですし、これを見つけ出すだけでも大きな学びになるだろうなと思います。
そして、もともとpre-trainingをしながらdatasetに関する話がありましたが、今回はそういう話がほとんどありません。多くの比重がpost-trainingに置かれています。そしてcomputeの総量をどれだけ投入した、tokenをどれだけ使った、という話は一切ありません。そういうものはすべて伏せられているようで、後ろに面白いものがあって、RL環境を作るために、datasetを自動でgenerationするために何を使ったのかという方法論についての記述があり、他社のMercorやScale AIがdatasetを生成する方法とほぼ同じではあります。
そしてRL環境というもの自体が実はpre-trainingとはworkloadが違うじゃないですか。なぜならpre-trainingはそのままずっと走らせればいいのですが、RLは学習プロセスで推論するプロセス、inferenceを一つずつすべて行わなければならないからです。ところが、そのinferenceプロセスが、短く終わるものもあれば長く終わるものもあり、同じrolloutの問題に対してもtrajectoryの長さがそれぞれ異なり得るため、こうしたものをどのように処理するのかについての直感だけがずらっと書かれています。しかし、これを実際に私たちがパイプラインで動かしてみようとすると、その一つひとつが一仕事になるほどです。
そのためpost-trainingに非常に多くの紙幅を割いていて、後ろのevaluationの部分は単なる数値ですが、evaluationの結果としては、私たちのモデルはClaude OpusやGPT-5.6 Proより優れていると言っていたと思います。ただしGPT-5.6やFableよりはわずかに劣る程度だと評価しています。ところが最近はsmall modelが登場し、ベンチマークでsmall modelがlarge modelを上回るケースが多く見られますが、私はもうベンチマークを信じられるのかという疑問を少し感じています。
ベンチマーク解釈の難しさと上位モデル登場の兆候 20:17
パク・ジョンヒョン はい、evaluationの結果を解釈するのはいつも難しい気がします。ベンチの結果やスコアがどうであれ、実際に使ってみると当てはまらない場合が多いですよね。特に私が感じるのは、商用サービスを提供していないモデル、ユーザーが非常に多いわけではないモデルでは、その傾向がさらに強いんです。なぜなら、ベンチにoverfitしてベンチのスコアは上げたものの、実際の別のユースケース、非常にgeneralな実用ケースでは良くないわけです。
ただ、そういう観点から見るとKimiの場合は、それでも商用としてサービスを実際に広く提供しようとすることが目的なので、そういう場合のベンチスコアにはそれなりにかなりの相関があるのではないかと、個人的な経験からは感じています。
チェ・スンジュン 私は少し違う見方をしていて、昨日、いや今日の未明でしたかね。DeepSeek V4 Flashも出たじゃないですか。それもベンチがかなり良いのですが、今回Claude Opus 5が出て、一部でFableよりも良いベンチ結果が出ているのを見て感じたのは、Fable 5.12が出るんだろうなということでした。つまり、そのように上位モデルを上回るベンチ結果が出たことは、上位モデルの次のモデルが出るという兆候のように感じられました。
ロ・ジョンソク はい、その間隔があまりにも縮まっていますよね。私たちが今、いわゆるシンギュラリティを通過しているそういう段階だからではないかと思います。明らかに人間の速度ではないと推し量ることができますよね。
チェ・スンジュン それがRSIなんですよね。RSIのある種の入り口にいる状況だと思わせる兆候だと思います。
ロ・ジョンソク RSIはRecursive Self-Improvementですよね。つまり、モデルが自ら再帰的に進化することを表したものですが、少し先に進みましょう。
ベンチマークですが、最初のページにはいつも要約した内容と、ベンチマークで私たちがこれだけ良くなったことを示すものがありますよね。このKimi K3は、本当に変わったことをたくさんしていたんです。ここに彼らが貢献したポイントが示されています。自分たちのモデルを2.8Tパラメータほどに拡大した。次に104B activated parameterになり、context windowは1M tokenだと書かれていて、その次にKDA、そしてAttention Residual、Stable Latent MoE。
2.8Tパラメータと1Mコンテキスト、Kimi K3の主要スペック 22:13
ロ・ジョンソク これらを大きく捉えると、KDAがattentionにどのような革新をもたらしたのか、その次にAttention Residualがtransformer block間にどのような変化を与えたのか、
チェ・スンジュン 論文は今年の初めに出ました。
ロ・ジョンソク MoEにどのような変化があったのか。
ロ・ジョンソク そして、この数字も重要なのですが、Kimi K2と比べてモデルのアーキテクチャが改善され、その次にdatasetの変化があったこと。いつもこの二つほどが核心ですが、同じcomputeを投入したときに2.5倍速く、より低いvalidation lossに到達する。つまり、より多くの学習を達成したということです。彼らが一体どのような革新を行ったのか、皆さんには直感だけをお話ししながら進めればよさそうですが、transformerを追ってきた方々には頭の中にイメージがあるはずですよね。一番下には単語をtokenに変換するtokenizerがあり、そこに番号が付いていて、そこにembeddingを、私たちがhidden layerdimensionと呼ぶembeddingに変換し、そこからtransformer blockが始まるのですが、一つのtransformer blockの中に入っているものは、最初にattention block、次にnormalizationがあり、residualが入った後、その上にfullyconnected、FFN、MLP blockがあり、そこで再びresidualが一つあって。これを一つのblockと呼び、そのblockが密に積み重なって一番上まで続き、一番上にLM headが付いていて、それを再び結果に変換する、これが一般的なtransformerの構造じゃないですか。
この大きな構造自体は今まで変わっていませんが、この中にある内容は、この2～3年の間にほとんど錬金術のようなレベルで変わってきたじゃないですか。はい、そうですね。でも、これは錬金術と呼ぶべきだと思います。何らかの理論的背景や理論があってこれをこのように作るのではなく、こうすれば情報がより効率的に流れるだろう、こうすれば情報を捉えられるだろう、こう変えてみてもいいかなと試して、うまくいけばそれでいいんです。lossが下がってevaluationが満たされればそれでいいという、一種の発明ではなく、もう発見の段階に入ったのではないか、そう思うほどです。
パク・ジョンヒョン はい、私もそれに同意します。そこに出ているGated MLAなどのアルゴリズムは、以前、Qwenの頃からGated DeltaNetのような形でずっと非常に多様なものが出てきました。最も大きな問題はscaleだと思います。scaleを非常に大きくしなければならないので、あの実験、この実験と条件を統制してすべて試すことができません。
そのため、こういう問題があるから、記憶力に問題があるから、こうすればよさそうだというアルゴリズムを一つ設計して組み込み、試した後、よければ終わり。ただ、それで終わるようです。こうも試し、ああも試して、こちらのほうが優れているという実験ができるscaleではないので、だから発見に近いという考えを私も同じように持って
ロ・ジョンソク います。先ほど話した、この一つのtransformer block、attentionとMoEが入っている従来のtransformer block一つが、私がマウスで丸く囲んでいるこのKDAとStable LatentMoE、これが従来のtransformer block一つだと考えればいいです。KDAが新しいattentionの役割を果たすもので、attentionが終わったら再びMoEを動かし、その間にresidualがある構造ですが、ここを見ると3×と書いてありますよね。このblockを3回繰り返し、その上にあるGated MLAは、従来DeepSeekで見た伝統的なattention layerと似たものです。これが一度入る、これが一つの単位blockになります。この単位blockを上方向にぎっしり数十個積み重ねて、全体のparameter数を構成したわけです。
LSTMとMambaを組み合わせ、KVキャッシュをなくしたKimi Delta Attention 26:33
ロ・ジョンソク ここで注目すべき興味深い点は、これがまたDeepSeekとはまったく異なり、KDAというものを作って伝統的なattentionをすっかり置き換えたことです。そのKDAという構造が、左側にあるこれです。KDAはKimi Delta Attentionの構造ですが、これを見ながらこの図と中のアルゴリズムをすべて追うことはしません。ただ、私がイメージとして感じたのは、これはまるで昔のLSTMのようで、
チェ・スンジュン RNN時代のあれですよね。
ロ・ジョンソク はい、そうです。何を記憶するのか、何を忘れるのかというgateを持って、recurrent modelがずっと動いていたのがLSTMでしたよね。私も一時期かなり夢中になった、SSM、State Space ModelとMambaとして一般によく知られていると言われるあのモデルのインテュイションがこれだったんです。学習はtransformerのように並列でこのすべてのsequenceを一度に入力して学習でき、inference時には通常のrecurrent modelのように一つのモデルが単語を次々と出し続けるそんなモデルを作ったらどうだろうか？そうすればtransformerの非効率性が大幅になくなるから。これがMambaのインテュイションでしたが、transformerとMambaとLSTMをすべて混ぜ合わせたのがこれです。
KDAです。伝統的なKVキャッシュblockをそのまま持ってはいません。Mambaのように一つのblockがmemory blockで、その中に興味深いことにattentionのような形でQKVテーブルを実装しています。そして、これが上へ進むにつれてinput gate、forget gateを使いながら、これらのtokenが継続的にsequenceを保ち、過去から未来へ進むものを蓄積できるようにした構造です。これは理解しなくても大丈夫です。おおよそのイメージがそうだということだけ押さえてください。そのため、このようなrecurrent networkのような構造がこの中に挟まっているので、勘の鋭い方はお気づきになったと思いますが、positional encodingをまったく入れていません。
KDA block自体がpositional dataを、これ自体がsequenceを処理するblockなので、すべて処理します。positionを入れる必要がありません。そうなんです。そう、NoPEと呼ぶそうです。No Positional Encoding。そして、こうした構造を採用していた最近見たモデルがNemotronでした。NemotronはMamba blockを途中に挟み、transformer attention blockを入れ、そのように重なる構造を組み合わせていました。だから、このKimi K3の構造と非常によく似ています。
ですから、こうしたものは互いに少しずつ違うだけで、これらのアイデアという遺伝子同士で異種交配が起きたようなものです。
チェ・スンジュン そのsequenceは、token sequenceが長くなることに関係なく、そのまま固定されているんですよね。これらは
ロ・ジョンソク KDAにはKVキャッシュがありません。なぜなら、この中にあるQKVの一つの単一stateと、それらの変化をトラッキングするdeltaというデータを
チェ・スンジュン 少しずつ、少しずつ、少しずつ、少しずつ変化させるのがdeltaです。
ロ・ジョンソク そこをそのままparameterizeして学習させるわけです。なぜそれでうまくいくのか、私に聞かないでください。うまくいったから、そうしたのでしょう。
チェ・スンジュン 調べてみると、これを連想記憶装置やあるいはfast weightsと表現する場合があるようです。
ロ・ジョンソク つまり、これらもこうしたインテュイションを織り交ぜながらこのようになったということでしょう。ですが、なぜこれを行ったのかが重要で、目的はほとんど同じです。メモリとcomputeを減らすことが常に目的です。このKDAを使うことで従来の別のattentionを使う場合と比べてmemory-wiseで約75%も削減されます。非常に少ないメモリで済むようになり、Kimi K3は非常に大きなparameter sizeを持っているにもかかわらず、こういう話をよく耳にするじゃないですか。
これはquantizationがうまくいかない。なぜなら、内部ですでに限界まで削減してあるため、このような従来型の計算がここではすべてなくなるんです。非常に効率化されています。これが
チェ・スンジュン つまり、過去をつなぐ、本来のself-attentionはその軸でしか機能しませんが、これは過去のものを参照できるようになるということですよね。本来なら過去のものがembeddingに沿って流れ続け、residualに沿って流れていかなければなりませんが、これは過去のものをうまく参照できるようにする、そんな感じではないですか？
ロ・ジョンソク 過去を、以前の従来のattentionは、過去をすべてKVキャッシュとして、KとVをすべて保持し、そこにQを適用してすべて計算してみるという形で、どの過去が自分と関係しているのかを見つける方式だったとすれば、これはそうではなく、ただ蓄積されてきたdeltaを持っていて、そこにqueryを適用すれば、最も適切なvalueをそのまま出してくれるわけです。あなたが探しているvalueはこれだろう、と出してくれるわけです。それをどのようにparameterizeしたのかについては、私もそこまでは掘り下げていません。ですが、インテュイションとしては、そういうことです。
パク・ジョンヒョン 簡単に言えば、過去のあらゆる情報をすべて持つのではなく、より小さなvector latent spaceに圧縮して入れ、その入れ方さえも学習させる。そのように理解できると思います。私の理解した範囲では、正確にはすべて追い切れていないようですが、インテュイションを私なりに解釈してみると、LSTM的だとおっしゃいましたが、私が聞いた限りでは、それは良い方法だとは思えないんですよね。Transformerという大きな枠組みがあり、Transformerという大きな枠組みは、過去にあったRNNやLSTMのようなアルゴリズムに比べて規模は非常に大きいものの、アルゴリズムを分解してみるとはるかに単純なんです。そういう点について、チョン・ヒョンウォン博士のトークを見ると、inductive biasを取り払い、私たちはこうしろ、ああしろ、記憶とはこうするものだ、というようなガイドマニュアルを一掃し、ただデータを大量に放り込み、自分で学習しろと言えば、賢くなる潜在力を持つ大規模なLLMは、結局、データが多ければ学び取るだろう。という大きなインテュイションから出発したとき、このKimi Delta AttentionがLSTM的だというのは、過去をどう扱え、どこを見ろ、といったことを、私たちがアルゴリズムとして複雑にすべて組み込んであげたということなので、再び逆行したと見ることもできそうです。この骨子では、結局、人間も同じなのですが、こうしたbiasを与えること、つまり新人が入れば教育するわけです。こうしなければならない。こうした強制は自由度を制限すると同時に、潜在力も制限しますが、かなり効率的な教育を私たちが行えるようにするじゃないですか。つまり、computeが限られた状況で、規模があまりにも大きく、しかも中国はcompute資源も限られている状況で、そのcomputeを使って、どうすれば最も効率よく大規模モデルをうまくtrainingできるのか、という悩みから生まれた成果物なのだと、私としてはそんなインテュイションを感じます。では結局、おそらく時間がたてば、こうしたものが次第に積み重なり、より効率的なものを探すうちに限界に直面し、再び制約を解き、そうした歴史の繰り返しにまた直面するのではないかと思います。
帰納バイアスを強制する理由、推論効率という最優先課題 34:01
ロ・ジョンソク つまり、このアーキテクチャには何らかのplateauがあるはずです。最後まで行き、それ以上は到達できない平衡点に達するでしょうが、それを越えるにはinnovationが起きて、完全なarchitectural changeが必要になるわけで、そうしたarchitectural changeを研究するという企業が、最近Bay Areaで数billion規模の投資を受けているわけです。
ジョンヒョンさんのお話に少しだけ補足すると、私たちが今こうして図で見ているこうしたもの自体が、ただinductive biasを強制しているわけです。そのように枠組みを作っておき、そこにさらにscaleを投入すれば問題が解決するからです。ですが、inductive biasをそのように強制する理由は、それなんです。メモリとcomputeを効率化するためです。では、なぜこれが必要なのか？ inferenceのためなんです。training timeの非効率性は、私たちがすべて甘受できます。
ですが、inference workloadのほうがはるかに大きくなるため、inference workloadの最大のbottleneckになるのが、私たちの感覚ではKVキャッシュじゃないですか。DeepSeekもそうでしたし、Kimiもそうですが、彼らはそこに最大の矛盾が潜んでいると見たようです。KVキャッシュを何としてもなくしてしまおう。
パク・ジョンヒョン 大きな流れで見ると、Transformerという骨格が登場してからもうすぐ10年になりますが、それを限界まで絞り尽くし、最大限エンジニアリングして、徐々に極限まで引き上げている過程なのだと。つまり、
そうです。私たちはその道の途上にいると言えそうですね。
チェ・スンジュン でも、KVキャッシュがなくなったわけではないですよね。MLAに統合されて存在していますよね。
ロ・ジョンソク はい、MLAにはKVキャッシュが依然としてあります。Gated MLAには従来型のKVキャッシュがあり、KDAブロックで過度に失われてしまった可能性のあるそうしたものの構造をきちんとトラッキングする仕組みになっています。
チェ・スンジュン Multi-head Latent Attention.
ロ・ジョンソク はい、これは私たちがDeepSeekで見たものですね。従来型のKVキャッシュにhidden dimensionのdependencyがあるのではなく、もう一度latentに落としてattentionまでも圧縮してしまったんです。
下位ブロックを飛び越えて参照するAttention ResidualとStable Latent MoE 36:06
ロ・ジョンソク residualの話をしているんですが、インテュイションだけ申し上げると従来のTransformerのresidualは下のinput部分から上のoutputまで進む方向に素直に一つずつ、一つずつ積み上がっていきますよね。ところがDeepSeekがこのattentionで変えたのはその部分にも学習可能なweightを与えてどの情報が上がったり下がったりするのかを学習させるというresidualを作ったということです。
ところが、これはですね。DeepSeekも段階ごとのsequenceを飛ばしはしません。ところが、これはここにもう一つ概念を導入してずっと下のブロックまで飛ばせるそういうresidual pipelineを作ったんです。
無理にしっかり理解しようとはしないでおきましょう。なぜなら、皆さんがさらに深く質問すると私には答えられないからです。
チェ・スンジュン でも、とにかくalphaがlearned parameterなんですよね？学習されたものですよね？
ロ・ジョンソク alphaではありません。Wがlearned parameterで、alphaはそのparameterから下の各layerからどれくらいのweightで取り出すかについてsoftmaxをかける
チェ・スンジュン では、Wからalphaが出てくるんですか？
ロ・ジョンソク はい、係数を見るわけです。Wの前に付く係数です。これについて、大まかなインテュイションを説明すると先ほど申し上げたとおり、このTransformerブロックは下のinputから始まってKDAが三つ、その次にGated MLAが一つ、という形で進みその合間合間には当然MoEがあり、三つ、一つ、三つ、一つ、三つ、一つのブロックとしてこのように積み上がるという話なんです。Transformerブロックは全部で97個ありますが、ここでは一単位が四つなのでこういう単位が二十数個あるはずです。
ところがresidualでは、これを一つのブロックとして捉えます。
チェ・スンジュン では、これがAttention Residualなんですか？
ロ・ジョンソク はい、これが今ご説明しているAttention Residualです。それで、大きく三つのspaceでモデルを変化させたわけですが、ここの下をご覧になるとblock n、block n-1、block n-2、このようになっていますよね。後に来るブロックにあるstreamを取り出して使うことはなく、それでは筋が通りませんから、当然、過去のブロックから取り出してくるのですがご覧のとおり、embeddingから下へ積み上がるブロック全体がありますよね。もしこれが最上位のブロックならこの下に積み上がったブロックが二十数個あるはずです。embeddingまで含めてそれらのブロックからどのresidualを取り出すかをweightingできるようにしてあります。本当に情報を切り分けたりできる想像可能なinductive biasはそのまま適用すればいいんだな、というのが私のイメージです。
チェ・スンジュン 混乱するのは、全体で93個のlayerだったかと思うんですが、23個ほどのブロックグループに93個ほどが配置されたんですか？ それなら
ロ・ジョンソク ここでブロックという単位を混同してはいけないのですが、私たちが従来から知っているTransformerブロックはKDAとStable Latent MoEが一つ、その次にGated MLAとStable Latent MoEが一つ、こういうものが従来の、何でしたっけ、Transformerブロックですが、ところが、ここでblockn-1、n-2と言っているのはこの三つと一つをまとめたものをAttention Residualの一つのブロックとして捉えたわけです。そのブロックという概念は、前に付く形容詞が異なります。ですから、これらがattentionを行うというのはこれらのブロックから出たものをすべてaggregateしたところから選ぶという意味を、この図で表したものです。
パク・ジョンヒョン このresidualを見て思うのは、加工されていないtokenの情報をすべて引っ張ってきて使おうとしている。こういうものがinductive biasなのだと思いますし、それを超えて、これを実際にinference向けに最適化するとき私たちが普段使用するparallelismのうちパイプラインパラレリズム、つまり前のブロックはこちらのGPUで動かし後ろのブロックはあちらのGPUで動かす処理をするとき何らかの改善が必要になりそうです。
チェ・スンジュン パイプラインパラレリズムはscale-outでのrack間の話なのでそれが今のブロック単位と合致するのではないですか？
ロ・ジョンソク これはジョンヒョンさん、混同してはいけないのですがこれはcomputeではなく完了した結果がcacheに入っているので厳密に言えばmemory problemです。上にあるブロックが計算するとき、下で計算された結果をメモリから取り出してくるので、parallelismとは関係ありません。下のlayerで計算されたものがcacheにすべて入っているはずですが、それをどの割合で取り出してちょうど私たちが、何でしたっけ、attentionでsoftmaxをかけるじゃないですか。softmaxをかけて、再びqueryに掛けるじゃないですか。
チェ・スンジュン ペーパーではPPとの関連は確かにありました。
ロ・ジョンソク そうですね。こういう場合をすべて防御できる魔法の防御用語があるようです。もしそうであれば、皆さんの言うとおりです。
パク・ジョンヒョン そうですね。私も見て、ただ思い浮かんだだけなので、私が間違っているかもしれません。
チェ・スンジュン すべてを把握しているわけではありませんから。
ロ・ジョンソク その後にMoEブロックがありますが、ここのStable Latent MoEを見ると特徴的なのは、いつもhidden dimensionのサイズが大きいことです。でも、それがここのMoEブロックへ上がってくるわけですよね。上がってくるとshared expertを二つ使いますが、これは同じhidden dimensionのまま上がってきて、routed expertは選ぶわけですよね。十数個を選ぶことになります。ただ、選ぶ過程では途中で一度圧縮を
します。非常に sparseですが、その中でもそれを選ぶlinear ブロックが一つありますよね。MLAのように次元を半分に縮小します。縮小した後に元に戻し、再び次元を広げて元から上がってくるものと足すという形です。そしてこの中には、アルゴリズム的に非常に複雑な内容が入っています。彼らが numerical stability, 計算を安定させるために使ったアルゴリズムがぎっしり入っていますが、そこは見た瞬間、あまりにも眠くなって閉じました。私が見たのは、それらがブロックとして結合され、全体としてこのような形になっているということです。ただ、ここでこのブロックの話を終えようと思いますが、こうしたものが面白く見えるから私たちもこれについて話しているわけです。面白くはありますよね。目に見えますから。
アーキテクチャの深掘りを終え、データ中心の視点へ 42:44
ロ・ジョンソク でも、そのとおりです。理解すると、何かすごい存在になったような気がして、何か先を行っているような、何か悟りを得たような気がして、そういうところはありますが、とにかくスンジュンさんと私でこうしてこのようなペーパーが出るたびにレビューしてきましたが、一種の宣言をするなら、もうこれはやめようと思います。
チェ・スンジュン 見るだけ見て、やめるということですよね？
ロ・ジョンソク そうです。これからは表紙だけ軽く見て、どのようなインテュイションで進んでいるのか感覚はつかめますが、その感覚が目指す大きな目的は、inference workloadがあまりにも大きくなっているため、KV キャッシュを減らしてmemoryとcompute efficiencyを高めようというそうした大きな方向性があのアーキテクチャの中に継続的に実装されているということです。この中にある内容は、もう人間がやるようにも思えませんし、新しいモデルが出たら閉じてしまおうという気はします。
パク・ジョンヒョン 私も以前に比べて、こうしたものへの関心がかなり薄れた気がします。あまりにも複雑で新しいものが次々と出てくるので、おそらく次にinnovationと呼べるほどの大きな変化が来たら、そうしたものやこのようなものだけを関心を持って見るのではないかと思います。
ロ・ジョンソク 大まかなインテュイションを見ると、私たちが何度も見てきたそういう数式で、大体何をしているのかという感覚がつかめるだけです。
チェ・スンジュン でも共通して現れるのは、どれも何らかの加重和です。以前なら全部そのまま流していたものを、選別するような感じが少しあるように思いました、すべてに。
ロ・ジョンソク そのとおりです。私たちがこういう話をすると、誰かが出てきて言うじゃないですか。結局すべて突き詰めればmatmulだと、matrix multiplicationをたくさん勉強しただけだと、そういう話をするわけです。これは誰が書いたのでしょうか？人間が書いたのでしょうか？それからvisionに別のencoderを付けず、そのまま一つのend-to-end blockにvisionも組み込んで処理した。中身の詳細については、「なるほど、うまく作ってあるな」という程度のインテュイションを持って先に進めばいいのですが、全体的な大見出しがどのように配置されているかは、私たちも把握しておく必要があります。なぜなら、これはfrontier labのprocess設計図だからです。一つ一つに途方もない数の項目が入っていて、これがこのようなblockで構成され、今どこがボトルネックで、どこが最も重要なのかについて何らかのイメージを持つことは、先ほどLeopold Aschenbrennerの話をしましたが、今後現れる数多くの企業の株式に投資するうえで、何らかの本質的な仮定を持つために非常に重要です。
もし間違っていたなら、もし間違っていたなら、スンジュンさんのおっしゃるとおりです。本当に分かりませんよね。どうなるかは私にも分かりませんし、今こうして話しながらも、私自身が話しているのか、それとも私のspeculative decodingとなる誰かがすべて話しているのか、よく分からないことが
チェ・スンジュン 多いです。最近、その話をしていませんでしたね。何もかもspeculative decodingとMTPが基本になっているようです、最近は。
ロ・ジョンソク そうですね。人間の脳内でも、その構造が今動いているはずです。私たちが話しながらも、この先何を話すべきかについていわゆる既視感を覚えるのは、どこかでspeculative decoding、つまりdecoding blockが動いているからではないかと思うんです。
パク・ジョンヒョン 急にspeculative decodingの話が出て思い出しましたが、私は時々チャットをしていると、子どもの頃からゲームをして育った世代だからなのか、言葉よりも手のほうが速いんです。時には、考える過程を経ずに、言葉は普通、すべて考えてから出てきますが、チャットではすでに入力し終えていることがあります。つまりspeculative decodingをして、手がすでに先に動いているわけです。
ロ・ジョンソク その話は、また後ほどしましょう。私たちはおそらく、話し始めたら24時間話しても終わらないかもしれません。
チェ・スンジュン でも、そうしたものはTPSを高めることとすべて関係しているように見えるので、ちょっと……
ロ・ジョンソク もちろんです。そのすべてが今、このserving infrastructureでどうefficiencyを高めるか、効率を高めるかにつながる話です。この途方もなく複雑なものがinference infrastructureに入っていますが、今見ていると驚くほどです。話を戻すと、先ほどarchitecture blockを見ましたよね。モデルではどうなっていたのか。そこにはかなり時間を使いましたが、私は重要度という面では、あのmodel architectureは10%だと見ています。
90%は、その後どのようにpre-trainingされ、どのようにpost-trainingを行ったか、datasetとcomputeの問題が90%だと見ています。そしてdatasetとcomputeには王道がありません。地道なengineeringが積み重なっていて、labごとに途方もない蓄積があり、その蓄積の力が現在の、何と言えばいいでしょうか、differentiatorとして作用していますが、その軸で基本を備えたところ同士では、急速に全体の水準が上がっているように思います。
私は、ここで得られたpracticeがすべて外部に出てくると思います。Hugging Faceモデルや、このような方法論、あるいは別のエージェントが呼び出して使うtoolとして出てきて、今や各社がみなmodel trainingをする時代がまもなく再びやって来るとは思って
チェ・スンジュン います。また脇道にそれますが、それほど技術が多様化したのになぜ性能はどれも似ているんですか？
ロ・ジョンソク 質問の意味が分かりませんでした。
チェ・スンジュン つまり、さまざまな技術があって、ある企業はこうした蓄積があるからこれを掘り下げ、別のものを掘り下げているのに、出てきたものを見るとモデルの性能と品質は収束しているじゃないですか。
ロ・ジョンソク 性能と品質が収束しているかは、よく分かりませんね。収束はしていますが、アーキテクチャが少しずつ異なり、得られる性能には一種のPareto frontier curveが今あるわけです。そして皆が少しずつ力を出し合いながら少しずつalgorithm enhancement, datasetenhancement、その下のengineering infrastructure enhancementを加えることで人類全体のPareto frontierが今、前進していると見るのが正しいでしょう。
チェ・スンジュン つまり私の印象では、変化しているのも確かではありますが、共通項となるrecipeがある中で少し多様化しているのではないかと、ふと思いました。
ロ・ジョンソク 結局のところ、すべてTransformerですよ。
パク・ジョンヒョン こんなふうにも考えます。多様に枝分かれした技術が、人々の転職に伴って収束する部分もあるのかもしれませんが、もしかすると、すべて異なっていても何の問題もないことなのかもしれないとも思います。
ロ・ジョンソク ええ、そのとおりです。今このモデルでスンジュンさんがたった今した質問をこのspaceにそのまま持ち込んであのagent orchestrationへ進むと、また同じ問題が同型的に発生するんです。ただ、それはもう少し先に進んでから見てみましょう。このままウサギの穴を掘り続けていたら、終わらない気がします。
チェ・スンジュン そのとおりです。
事前学習データの品質と1Mコンテキストへの拡張 49:39
ロ・ジョンソク pre-training data、web textを見てください。ここにはweb textとcode、mathematics、knowledge、これらを使ったと書かれています。OCRのようなものも使い、Kimi K2から構築してきたdata pipelineを使ったとありますが、datasetについての言及はありません。各labが保有しているpre-training用corpusの品質、そしてその品質を高めるpipelineが絶えず稼働しているんです。これがcore assetです。そこで、さまざまなalgorithmの変更とdatasetの品質向上を行った結果、このcurveが、validation loss curveがKimi K2に対してKimi K3では2.5倍向上した。order of magnitude、OOMの水準ではありませんが、2.5倍ほど向上した。これはものすごいことです。ほぼ2倍良くなったわけですから。
こうしたことによってcontext lengthが1Mになり、training recipeもありますが、これがこんなに短いんです。training recipeがこれだけしかありません。
チェ・スンジュン 重要だから短く載せているんですか？
ロ・ジョンソク いいえ。完全に逆のことをおっしゃっていますね。これが彼らのノウハウなのでしょう。ただ、1Mにするために最初は8Kで進めてから何かをして、このように、従来の概念ではどのようにannealingしたのか、そうした話が書かれていますが、long-context extension、NoPE。ここに出ていますね。positional encodingを使わない。
1M long-horizon SFTと長期エージェントワークフローの学習 51:02
ロ・ジョンソク そしてpost-trainingのプロセスでは最初にsupervised fine-tuningの話がずっと続きます。SFTです。post-trainingについて話す中で、私が重要だと見たポイントは、1M contextに拡張したことが彼らが今、非常に強調している部分であり、それから最近、1M contextで重要視されているのがこのlong-running workなんです。非常に長く続くagent workflow、1M contextをいっぱいに満たすほどのものです。1M contextは非常に大きな量じゃないですか。それをすべて満たすほど行き来する複雑なagent workflowを、どうすれば途切れさせずにtaskを最後まで完遂できるのか。以前はモデルのこうした能力が低かったので、外部からハーネスで非常に多くの強制promptを入れ、さまざまなcheck logicを組み込んでいましたが、そうした部分がモデルの中へと次々に取り込まれていることがここに表れていて、1Mの中でどうやってこれをすべて実行させるかという部分ですが、これは私の疑いにすぎず、証拠はありません。
私が間違っているなら、おそらく皆さんの言うとおりでしょう。ただ、このsupervised fine-tuningの部分がAnthropicなどが言っている「あいつら、私たちのモデルをものすごくdistillしたな」というその部分なのではないかと思います。
チェ・スンジュン うまく機能する軌跡をすべてdistillしたということですね。
ロ・ジョンソク そうです。特に私たちも以前、DeepSeek R1などを追いかけながら感じたことですが、モデルの能力がある程度高ければ、SFTをうまく行うだけでもそのfunctionが一気に現れるんです。ですから、十分に賢くなったモデルでRLの練習問題を解けば、そこで、いわゆる少し洗練されるわけで、おおよそ学ぶべきものはpre-trainingであり、SFTでほぼすべてを学ぶため、SFTだけ終えたモデルを使ってもかなり賢く、すぐに動作するという論文がかなりあったんです。Kimiや中国のほかのモデル、後続モデルがAnthropicとChatGPTを徹底的にdistillしたのではないかという気がします。複雑なworkflowでtool callをどう処理するか、何をするかといったものを、おそらく入れたのでしょう。
パク・ジョンヒョン 資料に……私も十分にあり得る話だと思うのは、この1M規模のlong-horizon taskというのは、そのtrajectoryを実際に人間が作れる規模のdatasetではありません。そしてウェブ上に存在するdatasetでもありません。従来とは違い、Kimi CLIが登場し、人々がClaude Codeなどを使う中で蓄積されて生まれた新しい種類のdatasetです。以前には存在しなかったdatasetなので、これを蓄積するのは簡単ではなかったと思うんです。無から作ると考えると。そういう面で、どうやってこのデータを入手したのだろうと疑うのも十分あり得ることだと
ツールコール・トレイルの蒸留とモデル水準の底上げ 54:07
ロ・ジョンソク そうですね。思います。そうですね。つまり、現在のAnthropicやOpenAIモデルを見るとreasoning trailはすべて隠しています。提供してくれないじゃないですか。ですからreasoning trailは隠せますが、tool call trailは隠せないんです。なぜならlocalに来てtool callをすべて実行し、そのtrailをすべて含めてモデルに再び入力する構造になっているため、なくすことができません。
AnthropicやOpenAIの立場からしても、distillationをしに来るtrafficとreal userのtrafficを区別できないでしょうし、防ぎたくても防げない領域なので、よほどの馬鹿でない限りdistillationは当然するでしょうし、すべきだと思います。これは少し脇道にそれますが、Anthropicがdistillationをできないようにしてほしいと泣き言を言っていることが、少し問題になりつつありますよね。
これはオープンウェイトと関係しているので、後ほど少し取り上げますが、彼らが築き上げた基盤もすべて他人の本と他人のデータの上に築いたものなのに、その上でモデルが出した成果物をほかから持っていく。では、私がスンジュンさんの書いた本を買いました。その本を読んで私の知識体系が更新されました。それで私が似た文章を書きました。では、これは私がdistillationをしたから違法なのでしょうか？違いますよね。ですから私は、これは防げないと思います。
そして、このように互いにdistillationされるこの過程が、先ほどスンジュンさんが話していた、みんなで全体的にレベルアップする理由でもあるのではないかと思います。ここをご覧になれば分かるように、非常に短く触れて終わっていますが、私はここに非常に多くの裏技や秘密が隠されていると思います。次に、
チェ・スンジュン QATくらいは紹介してもよいのではないですか？
何ですか？QATです。QATは……Quantization Aware Training. 私も詳しくは分かりませんが。
パク・ジョンヒョン QATは通常、私たちがモデルを学習させる際にはprecisionをより高くして学習させ、inferenceするときはquantizationしてbit数を下げてinferenceするのがこれまで最も一般的な方法でしたが、私たちがservingするときは普通MXFP4で行うじゃないですか。そこでFP4で学習されることを前提にして、ここで少しずつ学習されるdeltaは四捨五入するとすべて切り捨てられるので、それを認識した状態でtrainingを行えば、後で行うquantizationに合わせて学習できる、ということです。ですから最近では、ほぼ標準として定着した……
チェ・スンジュン 認識する主体は誰ですか？
パク・ジョンヒョン 認識というのは、何をおっしゃっている……
チェ・スンジュン 先ほどquantizationされることを認識して行うと
ロ・ジョンソク 言ったとき……認識する……trainer. trainerがその認識の主体です。
チェ・スンジュン つまりtrainingするシステム自体ですか、それともモデル自体が
パク・ジョンヒョン trainingコードだと考えればよいと思います。
チェ・スンジュン trainingコード。
パク・ジョンヒョン ただ、このQATという方法はLLM以前の時代にもずっと使われていた方法です。それをLLMにもまったく同じように適用する
RLデータのカバレッジとマルチティーチャー・オンポリシー蒸留 57:13
ロ・ジョンソク ということです。では、reinforcement learningに移りましょう。これは練習問題を解くものですが、このreinforcement learningの段階では、この学習を効率的に可能にするための複雑なengineering infrastructureや、うまく行うための裏技がこの後ずっと並んでいますが、それより重要なのはdatasetのcoverageです。例えば、
私たちが弁護士や会計士のような職種についてpost-trainingをするとすれば、今はただ、既に存在する最も単純で上位レベルの業務だけを対象にRLをすることもできますが、本当に賢くするには、そのsubtaskに関する練習問題も非常にたくさん解かなければなりません。このような場合が生じたらどうすべきか、あのような場合が生じたらどうするかという、数多くのedge caseを処理するそうした練習問題を解いてこそ、何かに直面したときのいわゆるrobustness、堅牢性が高まるわけです。
チェ・スンジュン その部分にもmulti-teacherのようなものがありませんでしたか？似たようなものでは？
ロ・ジョンソク それは後ほど、multi-teacher学習を終えてから実際のproductionモデルを作る際に何をしたのかについての内容だと私は理解しました。後ほど、その点を一度ご説明します。それで、その内容が出てくる前に、まずどのようにこのalgorithmを使ったのかについて説明されていますが、その話を先に少しだけしておくと、一つの問題についても、モデルにやらせれば複数のtrajectoryを作るじゃないですか。ところが、あるtrajectoryは早く終わり、あるものは遅く終わり、こうなると本来は、すべてが終わってからそれらの成功、失敗を集めて、それを再びπθ、元のモデルにbackpropするじゃないですか。backpropして更新しますよね？しかし、それらがすべて終わらないことによる非効率の問題が生じるので、これをどう処理したかというと、終わったものをいくつかだけ選び、その終わったものを使って先にそのcycleを回し、終わっていないものは次のcycleにまとめて処理するのですが、それでは別の問題ではないか、というquestionが当然出てきますが、そのようにしても構わないという話をしているんです。
見てみるとmax、mid、lowと、reasoning effortがモデルごとに異なりますよね。すると当然、最初に疑問に思うのは、では、これはすべて別のモデルなのか？GPT-5.6 Solのlow、medium、high、これらはすべて別のモデルなのか？そのたびに reasoning effort level が異なるものにモデルを切り替えているのか？でも、それはあまりにも非効率的ですよね。なぜなら、私がコーディング agent としてコーディングしていて前に prefill された KV キャッシュがこれだけあるのに、モデルを変えたら、そのキャッシュを持ってまた別のところへ行かなければならないのですがそれが同じ farm にあるという保証もなく、その非効率をどうやって負担するのかという疑問が当然湧きますよね。だから、単に一つのモデルでその中の effort level を変えるものをinput として一緒に入れて、それに応じてモデルが behavior を変えるのが当然正しいわけですよね。ところが、これはこうしたようです。max effort にするとき、普通これをどう作るかというと、effort level、つまり compute budget を制限する形でこれを学習させるんです。max effort の場合はcompute budget を多く与える形にするわけで、その場合、あるラインを超えるまではすべて使ってもよいという reward シグナルを受け続けるのでこれは問題をできるだけ広げ、さまざまなところを試しながらreasoning trace を長く書く形にモデルが学習されるはずです。そういう傾向の max モデルが一つできたら、そのモデルの compute budget を減らすわけです。
ある程度を超えたら、そのまま打ち切るんです。そのラインを超えることにマイナス1を与えれば、そうすると、そこまでやってはいけないと判断し、中間程度の effort level だけで最善を尽くす方法を見つけるはずです。low は、そのモデルに compute budget をより少なく与えると、そのモデルの場合は、自分の budget が非常に小さいためいわゆる cut corners をしなければならないわけです。つまり、shortcut を見つけることへのincentivize がより強くなるでしょう。なぜなら、短時間で答えを見つけなければならないからです。そういう形でモデルを max、medium、low、このように作った後、これがマルチティーチャー・オンポリシー・ディスティレーションが意味している内容なのですが、その三つのモデルができても、それぞれ別々にしてproduction することはできないので、Kimi K3 も今オープンウェイトで出ているのは一つですよね。モデルは一つですよね。student モデルを作ってproduction 用モデルを実際に作るわけです。ところが、その student モデルの隣にmax、medium、low teacher を配置して、teacher policy で student を学習させるんです。
チェ・スンジュン ドメイン、domain-specialized ではないですか？multi-teacher は effort
パク・ジョンヒョン ではなくてvarying reasoning effort も同時に行うもの
ロ・ジョンソク ではないですか？はい、同時にやります。同時に。effort とこれをすべて同時に。ここにありますよね。ロー、ハイ、マックスがあって、ドメインとこれを組み合わせてこの数式に入っているはずですが、では、それらについてstudent モデルが teacher の行ったことからguide を受けながら、このすべてを一身に備えたstudent モデルを最終的に取り出すわけです。そして、その student モデルが私たちが外部に公開するproduction モデルというわけです。それを行ったと言っているんです。
ナレッジグラフで生成するRL練習問題とエージェント環境 63:05
ロ・ジョンソク でも、本当に重要なのはこれです。RL Task Synthesis and Agentic Environments.結局、実際に環境を直接経験し、inference を直接行いながら、その過程で何度も tool call もしなければならず実際にモデルが動かなければならないですよね。それを可能にする agentic environment と次に、それを行わせる dataset をどのように synthesize したのかを、ここで示しているわけです。この図が一番面白いです。RL を行わせる練習問題の一種の curriculum ですが、この curriculum そのものが何らかの category 形式になっているのではなくgraph 形式で構成されるべきだと言っているのであって、彼らはこれをこのように作ったわけです。
コーディング、人文、科学、数学などが主要領域であり、そこで Agent Knowledge Graph Construction を行った。この練習問題を作るためにknowledge がどのように構成されているのかをすべて knowledge graph の形にした後、その graph をさまざまな観点から継続的に出発する node と weight だけ変えても練習問題を無限に抽出できるはずなので、そうして練習問題を抽出したと言っているわけです。
チェ・スンジュン 以前、偽の MCP を作ってRL 環境にしたのも Kimi でしたよね？ 合ってますか？
パク・ジョンヒョン はい、はい。それで合っています。
ロ・ジョンソク そうです。つまり、それの延長線上にあるのですが、練習問題を抽出するツールを設定する部分はこのように行ったということと、次にその環境がagentic environment から出てくるわけです。当時 Kimi K2 などで非常に長く説明していた領域が今回は、たった一つの block に要約されているのですが、この大きな領域を短く説明しているということはこの中にノウハウが多いということです。そこで、これをどのような形で行ったのか、問題によっては verifiable であり数学やコーディングなどの場合は、明確に判定できるでしょうし、そうではない人文学の問題などこうした問題は、実際には verifier が適用されないものも非常に多いのですが、その中に以前話したrubric-based verifier を作ってこの程度なら reward シグナルを0.7与えよう、この程度なら0.3を与えよう、これは1だ。完璧な verification ではありませんが、ある種の quasi-verification を行う logic を作って、その
チェ・スンジュン 方法では解決
できないわけです。できないでしょうけど、hill climbing 程度はできるでしょう。
ロ・ジョンソク でも、今こうした frontier モデルが発展している方向を見ると、私たちがClaude Opus 4.8から5.0へ移行するとき、バージョンが変わるとagent behaviorが妙に違うという印象をユーザーは受けるじゃないですか。
パク・ジョンヒョン 動作の仕方がかなり違いますよね。回答の形式だったり、あるいはtool callに至るまでの道筋だったり、漸進的に進化したというより、別物になったのか？そんな印象を受けることが多いようです。
ロ・ジョンソク もっと極端に要約すると、frontier labにも今のところ、その答えがあるわけではないので、互いに参照し合いながら、どうすればlong-running agentのようなものが可能になるのかと考え、今はその方面に最も多くの研究が向かっているので、そちらをさらにincentivizeする方向でモデルを動かしているうちに、1M tokensの間、それを維持しようとするとspanが長くなりすぎるわけです。その結果、qualityが私たちには落ちたと感じられる区間も生じて、そういうことなのではないかと思います。
だから今、post-training RLのほうでは私たちを実験対象として使いながら、外部にpublishしているわけです。そうすると、これはよくできた、できなかったという結果が出てきて、そこからまた何かをdistillationして自分たちのモデルを作れば、次に何らかのrhythmをつかむことになり、こんなふうに回っているのではないか。ここでも重要なのは、
結局、このRLの練習問題をどうやって質の高いものにするのかというその部分、datasetに関する部分がものすごく重要だということです。
パク・ジョンヒョン そうした取り組みが見えるのが、OpenAIが最近、researcherを十万人ほど募集して、自社のモデルを使えるようにするプログラムを運営しているのですが、結局それによってresearcherが自分たちの問題を解きながら、そうしたtrajectoryをすべて作ってくれるわけですから、本当に良質なresearch trajectoryを集めて、それが何らかの練習問題になることもあれば、SFTの問題になることもあり、あるいはevaluationに使うこともできるので、そうやって皆、一生懸命挑戦しているのではないでしょうか。
チェ・スンジュン crowdsourcingしているわけですね。
ロ・ジョンソク distillしているわけです。最高レベルのqualityを持つ人間たちを、今、彼ら自身もdistillationしているわけです。そうなると、この問題はまた別の哲学的な問題へ進むことになるでしょうが、それは少しあとで話すとして、正直に言うと、ここから眠くなって、見られませんでした。
Instagramのショート動画のようになった論文とモデルレビューへの意欲低下 67:39
チェ・スンジュン ただ、このinfrastructureに関しては、vLLM, SGLang, TokenSpeedがすべてDay-0reportを出していました。
そうなんですね。reference code、Kimiのものではなく、自分たちのものをすぐDay-0に出していました。
ロ・ジョンソク そうなんですよ。このarchitectureが以前なら、どうすればこのモデルが問題を解決する際の品質を向上させられるかが最大の目標であり、私たちがどれだけ賢くなったかという話だったのなら、今では、私たちがどれだけ賢くなったかという部分は、あまり気にされていません。気にしないというより、すでに解決済みの問題だと考えています。そのため結局、ここで見られているのはinference時にどれだけ効率化されているか、どれだけ低い価格で従来の性能を出せるか、どれだけ小さなmodel sizeでもその程度の性能を出せるか、こうした要素と複雑に融合しているため、今では私たちが、あるモデルの品質を一つの観点から見ることは不可能な時代になったのだと思います。こうした内容が出れば目を通すことはするでしょうが、もうこれは扱わないほうがいいと考えている、という話をしておきます。
パク・ジョンヒョン 以前ほど深く見る動機のようなものがなくなったわけですね。
ロ・ジョンソク そうです。それに、あまりにも奥深くなっているので、以前なら見る意味もあったのですが、感覚的には、これが何かモーターのようなものになった気がします。だから、このモーターの中がどうなっているのかはもう蓋をして、次のlayerへ進むべきだという思いが、私は
さらにはっきりしました。
チェ・スンジュン 見ないつもりだったのに、今日やるというので見たんです。
ロ・ジョンソク 一応、礼儀として一度見てあげただけですが、
パク・ジョンヒョン 話題のモデルなら、もう一度くらい開いてみるべきかという思いはありますよね。
ロ・ジョンソク そうしながら私もこれを見て、あのdatasetやtrainingやinfrastructureなど、こうした部分のほうがはるかに重要だという点にweightがあると分かっているにもかかわらず、前半のalgorithm的なものに惑わされて、それを眺めている自分の姿を見ながら、論文が少しInstagramのショート動画のようになっているんです。冒頭に刺激的なものを配置し、多くの人に開かせる、そんな印象を受けました。重要なことはすべて隠しておいて、重要でないものばかりを前に並べ、それが刺激的だから人々に見せるようなevaluationの話があって、出てくるんです、evaluationの話が。実際には、ああいう部分こそが本当の核心なのに。でも、後ろにある内容は、すべてのモデルにこのpaperを入れて、何か質問が浮かんだら聞けばよさそうです。全員、中国人の名前ですよね？そうですね。全員、中国人の名前です。
チェ・スンジュン 200人はいそうですね。
ロ・ジョンソク 軽く数百人はいそうですね。さて、このあとの話ですが、なぜなら今日私たちが話す内容はずっと一つにつながっているので、もう一度、元の上位の話に戻ると、なぜKimi K3がこれほどの変化を、この市場での急激な懸念やそうしたものを引き起こすほどだったのか。十分に強力なモデルがオープンウェイトとして公開された。そして、このオープンウェイトの意味とは一体何なのか。
ジェンスン・フアンのオープンウェイト声明と署名企業 70:42
ロ・ジョンソク もちろん、ジェンスンがこれを最も強力に推していますよね。悪い人ですよ。よく見てみると、自分たちが取るべきものは徹底して取っていて、善良な人たちをみんな引き込んで、自分たちの餌として、このように目の前へすべて並べている、そんな感じがするんですよ。
なぜなら、こうしたオープンウェイトが増えれば、自分たちだけが得をするからです。
そうですね。では、ジョンヒョンさん、自然な流れでオープンウェイトという私たちのテーマを扱う第2章に入りますが、さっそく始めてみましょうか？
パク・ジョンヒョン オープンウェイト、結局これはKimi発のオープンウェイト運動と呼ぶべきでしょうか？大きな話題になりましたが、その中でOpen Weights for AmericanAI Leadershipという声明が発表されました。誰が出したかというと、Jensen Huangです。同時にMicrosoftのSatya Nadellaやさまざまな人物が共同で発表したものではありますが、とにかくJensen HuangがXを開設し、「私の最初の投稿です」と言って、この声明を発表しました。オープンウェイトにすべきだ。オープンソースのようにすればエコシステムも確保でき、アメリカのAIリーダーシップを奪われることなくさらに前進でき、セキュリティ問題も解決できるので、そのようなオープンウェイトを進めよう。最初に発表されたときは、同時に発表したのは私たちにもなじみのある、オープンウェイトに友好的な企業が一堂に会して声明を出しました。その後、ほぼ毎日のように署名する企業が追加されました。代表的なのはOpenAIです。OpenAIが署名したことには少し驚きました。なぜなら、GPTのような最もfrontierなモデルを現在は公開していないからです。ただ、その大半はインフラ企業です。オープンウェイトのエコシステムが発展すれば有利になる企業、NVIDIAを筆頭に、ということです。なぜなら、多くの企業がNVIDIA GPUを購入し、それでtrainingも行い、inferenceも行うでしょうから、Jensen Huangの立場からすれば非常に有利な署名だったと言えます。とにかくJensen Huangの投稿はシンプルです。結局、言いたいのはオープンウェイトモデルとclosed frontier modelの両方が必要だということです。
そして興味深いのは、CoinbaseでもLLMを非常に多く使っているのですが、Coinbaseでも実際にclosed frontier modelを使っていたところから、徐々に、より多くの割合のトークンをオープンウェイトモデルへ移行しているそうです。なぜなら、現在私たちが行っている作業の大半は、本当に最高のモデルを使わなければならない作業ばかりというわけではないからです。例えば、先ほど紹介したKimi K3のようなもの、実際にon-premでservingして動かせる作業や、コストパフォーマンスよく処理できる作業、それから、データが外部へ出ないことが求められる作業も多いでしょうから、そのような方向へ動いているということです。アメリカの立場から考えると、アメリカのエコシステムでKimi K3のような中国系モデルがあのように台頭してきたとき、それを持ってきて自分たちのインフラでservingするのでしょうが、それでも自分たちのモデルを使うほうがよいでしょう。そして、もう一つdistillation、先ほど話したdistillationについての話もあります。優れたモデルからデータを取得し、それを使ってモデルを作る行為は、アメリカ企業を含め、どこでも行っており、優れたモデルを作るプロセスのごく一部にすぎない。そのような話もしていました。
そして、オープンウェイトモデルの聖地とも言えるHugging Faceでは、中国系モデルがすでにアメリカ系を抜いて1位になっているそうです。少なくともオープンウェイトに関しては、明らかに中国系がすべて先行していると言えそうです。ちなみにHugging Faceは、アメリカとフランスの両方に本社を置く企業なので、アイデンティティがやや曖昧ですが、とにかく西側諸国に属すると見てよさそうではあります。そして、話したかったのはこれです。
署名しなかったAnthropicとダリオ・アモデイの反論 74:56
パク・ジョンヒョン Anthropicは署名しなかった。Anthropicが署名しなかったことで非難が殺到したため、Dario AmodeiがAnthropicのブログ記事を一本公開しました。公式ページに記事を一本掲載しました。自分たちがオープンウェイト支持声明に署名しないからといって、オープンウェイトを排斥しているわけではない。オープンウェイトを行うと明言できないだけだ。しかし、その代わり、オープンウェイトにするとAnthropicが主張する問題、ほかの後発企業、特に中国側がうまく追随できる可能性があり、さらにセキュリティ上の問題となる余地も大きいが、それらをどう解決すべきかということで、オープンウェイトにせず、こうしようという案を出したんです。チップの輸出規制、インフラの輸出規制を実施し、中国側がcomputeを大量に確保できないようにして、それから先ほど話した産業規模のdistillation、つまりindustrial-levelのdistillationは阻止すべきだ。
ロ・ジョンソク これが今、大きな反発を招いている点の一つですよね。
パク・ジョンヒョン はい、実際にAnthropicは書籍を学習させるために図書館のようなものを利用しており、訴訟の結果は
ロ・ジョンソク どうなりましたか？敗訴して数千億円規模を支払うことにし、和解を成立させることになったと理解しています。
パク・ジョンヒョン そのため、マーケティングとしても話題を作るのにうまく利用できるかもしれませんが、とにかく世論はそこまで好意的ではないようです。次に、ほかのセキュリティ問題を解決する方法としては、openかclosedかに関係なく、今回Mythosがそうしたように、外部に出る前にすべて統制しよう。すべて検閲し、すべて審査しよう、という話をしました。しかし、いずれにせよ現在のオープンウェイト運動の主流とは少し反対の意見です。さらに規制し、さらに隠そうという主張への世論は
よくないようです。
でもAnthropicをじっと見ていると、Anthropicが以前言っていた「私たちは善良な企業だ。OpenAIは邪悪だ」というような言葉よりも、結局は行動がAnthropicの抱いている本音を物語っていますよね。「これは全部でたらめだったんだな」と思います。それで、政府からの規制遵守要求には応じないと言っていたのが、わずか3～4か月前です。私たちは規制をすべて撤廃して国防総省と米国政府にはこういうものを納品しない。そう言って称賛されていたのが、ほんの数か月前なんですよ。今言っていることは、単なる泣き言なんですよ。「おい、中国がうちのものを全部持っていくから、あいつらにチップを渡すな。それからdistillationを阻止してくれ」という話なんですが、これは話にもならない、完全に矛盾した立場へとわずか数か月で変わったわけです。
数カ月で一変した立場、モデルのコモディティ化と価値の移動 77:00
パク・ジョンヒョン ただ、これが今frontier labたちが直面している構造的な変化であると同時に、見方によっては時代が変わる中で本質的に歴史が繰り返されているのではないか、というニュアンスがよく語られているんですよ。
どういうことかというと、例えばOpenAIが最初にChatGPTで一気に躍進し、ところがOpenAIが戦線を広げている間にAnthropicはClaude Codeやこうした分野に集中し、テキストベースのモデルやagent workflowに注力してかなりの成果を上げました。ただ、その成功が永遠に続かなければならないのに、Anthropicが築いた優位性もレシピがほかへ流出し、Codexはより安い価格で、より頻繁にリセットしてくれるなどこうしたことをしながら市場シェアを広げていて、全体的に水準が上がり、横並びになりつつあります。そしてAnthropicがさらに獲得しようとしている領域は、逃げ場がますますなくなる方向へ進み続けています。
そのため、もともとAnthropicが考えていたのは、このような本物のsuperintelligence級の能力を持つモデルはAnthropicかOpenAIくらい、さらに含めてもGoogleくらいしか保有できない超一流の技術となり、その技術的優位性を生かしてほかのサービスやエンタープライズサービスなどをすべて圧倒し、次世代のGoogleになるというのがAnthropicの青写真だったのですが、だからAnthropicは1T規模のvaluationで投資を受けたりしていたんですよ。ところがKimiがつい先日、投資を受けたのですが、Kimiのvaluationは35Bくらいなんですよ。つまり、ほぼ30分の1の水準ということです。そうすると「おい、これはAnthropicが過大評価されている会社なのか、それともKimiが良くない会社なのか？」私はAnthropicが過大評価されている会社だと評価するわけです。モデル会社が積み上げる価値が急速に低下しています。それがcommodityになりつつあります。差別化された財ではなく、単なる汎用品になりつつあります。そのためcommodityのポジションになると、そこには効率しか残らないんですよ。そうなると、そのレイヤーのvalue capture、つまり、お金を引き出す力が弱くなるわけです。なぜなら顧客が「Anthropicのモデルではなく、うちのon-premに
自社でマシンを買ってKimiを載せるよ」となるからです。それでも構わないんです。Anthropicに高い料金を払う必要がないので、こうなるわけです。すでに皆が囚人のジレンマに陥っていて、モデルを作って知能を生み出す産業そのものが、突き詰めてみればデータとcomputeに従属する関数だったことが明らかになり、そして、そのレシピとアイデアは誰の所有物でもないことが証明されつつあるわけです。そうなると、そこでcaptureするvalueが少し低下すれば、その下でチップを売る企業へvalueが最初に移動し、さらにその上で、実際にお金を払う顧客をつかみ、顧客が望むことをうまく実現するアプリケーション企業へ移るわけです。私は、その上のアプリケーション企業についてはまだ始まってすらいないと見ています。これから始まりそうです。こうした流れの中で価値が移動する号砲なのではないかと思っています。
Googleの独占とは異なり、時間を与えられなかったフロンティアラボ 81:08
パク・ジョンヒョン では、一つ質問したいのですが。同型的に過去を振り返ってみると、ドットコム・バブルなのでしょうか？私は当時まだ幼かったので、よく分からないんです。Googleを現在の時点から見ると、Googleは圧倒的な検索エンジンを基盤としてほぼ世界中のインターネットを掌握したと言えますが、それを今の時代に当てはめてみると、検索エンジンという能力をLLMのモデルcapabilityや知能に置き換えられるでしょうし、Google以外にもYahooやAltaVistaなどの検索エンジンが最終的にはすべて消え、一社がすべてを制したじゃないですか。つまり、一つのLLMの知能があまりにも優れていて、すべてに勝てる状況だったのでしょうか？
ロ・ジョンソク どうでしょうね。これは一つの観点だけでは捉えられないのですが、例えばGoogleが当時シェアを獲得できたのは、圧倒的な技術力と圧倒的な検索品質を長期間維持できたからであり、その長期間維持していた時期に競合他社がいなかったことが大きいんですよ。そのため競争が起こらず、その時代の流れを余すところなく捉えるための時間を十分に与えられました。それで、この段階に到達したわけです。ところが逆にOpenAIやAnthropicがGoogleのようなサービス企業の役割を果たしているのですが、では、これをどう解釈すべきなのか。Google級の技術を持っていた企業が存在したものの、その技術については、先ほど私が話したことと共通しているのですが、十分に長い時間をかけて市場を創出し、そこにリーダーシップのポジションを築き、顧客を何らかの形で囲い込むための時間を与えられる必要があるのに、その時間を与えられていないのだと私は思います。
パク・ジョンヒョン はい。では過去に立ち返ってみると、Googleと同等の検索エンジン能力を持つ企業がN社存在していて、独占的なポジションを得られない状況だと言えそうですね。
ロ・ジョンソク そうです。つまり当時のGoogleは独占的優位性を持つ技術によってそれを実現したのですが、これもChatGPTやAnthropicのClaude Opus、Fableが独占的優位性を持つ技術だったものの、それが独占的優位性を持つ技術ではなく、commodityになる可能性が最も高いということを今年、皆が確認しているところなんですよ。
パク・ジョンヒョン そうなるとばかり思われていましたが、実際に蓋を開けてみるとそうではなくなってしまったんですよ。
ロ・ジョンソク そうです。市場が今、それに気づきつつあるんです。ですから、ここから考えをもう少し先へ進める人たちの間では、AnthropicのIPOは、見方によっては非常に低いバリュエーションになる可能性もありますが、IPO自体が失敗する可能性もあるという話まで出ています。では、この次に競争の様相や市場の流れがどのように展開していくのかについては、まだ人々の意見が分かれています。ただ、私はモデルが少しずつcommodity化していけば、結局、一番得をするのは消費者だと思います。特定のプレイヤーに多額のお金を払わなくてもよくなるということですし、ひとまず、勝者の一つはすでに決まっています。その下にいるNVIDIAとチップ企業です。なぜなら、computeの量が増え続ければ、その下で供給できる企業は数社しかないからです。そして、その上のレイヤーで競争する企業たちのために、その下の価格が非常に高騰しているんです。そのため、今は彼らが最大のvalue captureをしていますが、これも永遠には続かないでしょう。
ある程度まで行けば、需要がplateauに達する時期が来るでしょうし、もちろん、この需要はflatにならず、永遠に増加するというVinod Khoslaのようなおじさんの話もあります。なぜなら、これは知能なので、賢い人がいたら、その人を一日きっかり8時間しか使わないのか？一日100時間使いたくなるだろう、ということです。確かにそうですが、それにもやはり、どこかで限界はあると思います。とにかく元の話に戻ると、産業全体で見られるこのvalue captureはどうなるのか。ご存じのとおり、下にはチップ企業を含むインフラがあり、その上にモデル企業があり、そのモデルの上にアプリケーション企業があるというのが、今まで私たち全員が思い描いていた構図でした。そして、これまでは真ん中にいたモデル企業が最も大きなvalue captureをする企業だと考えられていたため、彼らのバリュエーションも高く、売上もそこに集中していましたが、実はこれがcommodityだった。そうなると、価値は上下へ広がりながら移動します。ただ、私は下で得られる価値はまもなく減っていくと思います。例えば、今は彼らもやはり時間差の恩恵を受けているんです。ASMLなど、露光装置の物理的な限界によって、チップの生産能力が大きく制約されている状況ですが、中国がもしEUVやDUV装置の量産を始め、Elon MuskもTerafabを通じてチップの生産能力を完全に倍増させれば、それは十分に実現可能だと私は思うんです。だからこそ、これが次のボトルネックなので、自分が解決すると乗り出したわけですから、そこも解決されると私は見ています。
上下のレイヤーへ分散するバリューキャプチャと次のボトルネック 85:04
ロ・ジョンソク その間にASIは間違いなく来るでしょう。すぐに、私たちが思っているよりはるかに早く来そうですよね。そうなれば、価値はどこへ向かうのかが次に最も重要な問いになります。上へ行くでしょう。上へ。ただ、上へ行く過程で、どのような形で一緒に価値を捉える仕組みが生まれるのかは、まだ決まっていません。
アプリケーション、つまり消費者に近い領域です。ただ、私はその部分についても、ある程度は今、議論が生まれつつあると見ています。なぜなら、私たちの会社もそうですが、会社のあらゆるプロセスをすべてagentic flowへどんどん組み込んでいて、そのagentic flowをいくつも同時に動かしているものの、私が最近抱いている問いが、まさにそれなんです。人がいなくならないんです。
エージェント型フローをすべて整えても人が消えない理由 87:05
パク・ジョンヒョン なぜいなくならないんですか？どこに問題があるのでしょう？
ロ・ジョンソク 信頼して任せられないんです。信頼して任せて、これ一つを全部終わらせろと言えるレベルではありません。おい、君はずっと自分の口で、AIが人間の性能を超えるとそう言っていたじゃないか。なのに、なぜできないと言うんだ？これも実際にやってみて分かったことであり、試行錯誤を重ねたからこそ分かるようになった、骨身に刻まれる教訓のようなものですが、能力が足りないからではなく、制御できないからなんです。
なぜ制御できないのか？このエージェントシステムというもの自体が、基本的にnon-deterministicなんです。例えるなら、面接だけをして、私たちの会社に主任クラスの社員を一人採用し、重要なfunctionに配置したところ、その人が賢いからといって、その人に「さあ、では君は今日からここで働いて。これが私たちの業務マニュアルだった。そのマニュアルを読んで仕事をして」と言ってはいけないのと同じです。
ですから私も、おそらくジョンヒョンさんもそうでしょうし、私たちは多くの業務でエージェントシステムを使っていて、その長い対話の中に私たちの会社のプロセスとこうした暗黙知が入っていると、みんな話していますし、それをLLM Wikiの形で抽出し、圧縮して、何らかの最上位constitutional promptをうまく積み上げ続ければ、それが会社になる、そう考えて、すべてを運営しているわけです。私にとっても、なぜうまくいかないのかが最近最大の
パク・ジョンヒョン 問いなんです。しきりに逸脱しようとするんですよね。でも、人間でも同じだと思います。あまりにも賢い社員が入ってくると、私たちの会社の何らかのシステム、つまり、その人が私たちの会社の目標と完全にalignされているわけではないため、自分の利益のために、極端に言えば悪事、例えば横領をしたり、システムの抜け穴を利用したりする可能性もありますし、あるいは何かを持ち出したいと思う可能性もあります。
複式簿記の元帳から着想したエージェント・コントロールプレーン構想 89:01
ロ・ジョンソク それで私は最近、毎晩徹夜しながら再びtoken maxiになったのですが、そのtoken maxiを通じて実験しているのが、まさにその領域です。つまり、taskが先行し、その後ろでLLM Wikiの形に取り出して、その精製された知識が再び上位のpolicyとして機能するというその前提は間違っている。現時点での中間的な結論を出すと、私が最近こだわっている言葉はcontrol planeなんです。現在の私たちの会社という概念自体も、人間自体が単なるnon-deterministicなエージェントなんです。
パク・ジョンヒョン 人間のハーネスとも言えるでしょう。
ロ・ジョンソク そうです。会社自体が人間のハーネスで、だから現在、私たちがエージェントハーネスと見なせるものは、ある業務単位のtaskにおいて、そのtoolを使うためのハーネス程度の、非常に低い概念にとどまっていて、その上位概念にもう一段階のハーネスが必要なんです。会社にも組織図があり、権限とアクセス可能なデータがすべて分けられていて、そのうえで何らかのintentionが導入されれば、それがgoalですよね。会社自体のビジョンであれgoalであれ事業目標であれ、それが定まれば、会社の各組織内でactionが起きます。そしてそのactionの結果が生じ、その結果が何らかの形で記録として残り、そこから再びgraphが変わるという形になります。でも、これはそれ自体がnon-deterministicなんじゃないの？当然、そういう疑問が出てくるじゃないですか。そうですね。でも今、私の頭の中で
一つひらめいたことがあって、そうだ、会社という組織体系の中には、完璧に枠組みが整っている部署が一つあります。
何でしょう？どこですか？財務、financeです。Finance部門は非常にしっかりと型が整っています。そして、そのfinance部門の帳簿に記載される、お金を稼いだ、出ていった、誰がいくら使った、何をした、何をしたというようなものが、実質的にはほかのすべてのfunctionの元帳なんです。
パク・ジョンヒョン 最終的なgoalですね。最後のevaluation metric。
ロ・ジョンソク だから大半の会社の経営体系を見ると、そうした財務がbackboneになり、そこにビジネスが付随する形になっているんです。あの財務の枠組みが明確に成り立っている理由は、その下に複式簿記という一つの明確な元帳システムを持っているからなんです。そしてその上に積み上げていくわけで、お金で何を買い、何が入ってきたかが帳簿にきれいに整理され、誰が何をして、なぜしたのか、そうしたことがそこで全部traceできるわけです。でも、今の私のアイデアの出発点は単純です。このエージェントが行うnon-deterministicなことを、あの複式簿記の元帳、ledgerのようにきちんと記録できるようにすればいい。そして、その記録方法は非常に明確ですが、graph方式が適切だろう。ただ、あのgraphを何と呼べばいいのでしょうか？あるいは、もしかするとビットコインのように、元帳はひたすらrawのまま蓄積し、graphは蓄積されたそのlogからreproduceすれば、graphになり、そういう形になって、そのgraphの中にpolicyや行動や、そうしたものをすべて閉じ込めればいい、という上位レベルのアイデアを持っています。
たとえば今、エージェントに何か仕事を頼んでも、そのエージェントが整理されたcontextと明確な権限範囲の中に入れられているわけではありません。人間がそのLLMウィキとの間の権限や、データなどを明確にすべて制御してやらなければ、ただerrorが起きます。だから、なぜエージェントをすべて接続したのに、結局、最終的なactionとdecisionはすべて人間が行っているのか、ということが私のこの考えの出発点でした。
チェ・スンジュン では、答えは半自動化ですか？答えは自動化志向ではなく、半自動化ですか？
ロ・ジョンソク いいえ。人間が介入すべきpointはありますが、エージェントがあるjobを与えられたとき、その中で明確な権限とデータの範囲内でそのまま活動できるようになれば、それで実現できる。では、そのagentic flowをどのような構造、このcontrol planeの中に閉じ込めるのか、という問題なんです。
パク・ジョンヒョン 私なりに整理すると、このオープンウェイトとclosed model、これに関する議論からここまで来ましたが、
ロ・ジョンソク ここで結局、もう一度話を戻して整理し、
オープンウェイト論と組織ハーネスのつながり 94:03
パク・ジョンヒョン ここに当てはめてみるとですね。結局、会社というものは人間のハーネスであり、ここでは人間がLLMに当たるわけです。LLMがオープンウェイトであれclosed modelであれ、それならclosed modelを私たちが外部から呼び出して使うと考えれば、人間にたとえると、外部の業務委託会社を呼んで使うようなものだと考えられそうです。on-premでオープンウェイトモデルを導入して使うなら、社内の従業員にたとえられそうですし。そうしてLLMにハーネスを装着したわけですが、ハーネスで結局何をすべきかというと、会社の究極的な目標である利益創出、つまりお金というこの数字が絶対に狂わないこと。これが最終段階でdeterministicな検査logicとして適用され、結局、最も外側にはdeterministicなものが必要で、このオープンウェイトとclosed modelの議論でも、同じように語られていることの一つが、
ロ・ジョンソク このセキュリティ問題、それからHugging Faceのclaimでも語られているのが、
パク・ジョンヒョン 企業が自分たちのLLMを導入して使うとき、それぞれの目的に合わせつつ、データが外部に出ないようにしたいということです。今、セキュリティ事故の話が出ていますが、セキュリティ事故も結局、LLMがこのハーネスから脱出したということです。つまり会社で言えば、従業員が何かデータを持ち出したり、自社の名前を背負って他社へ行き、悪口を言ったり、そうした悪い行動を取ったということですが、それを防ぐのが非常に難しいということです。on-premに彼らを閉じ込めるしかなく、外部の業務委託スタッフなら、さらに危険ですよね。データを持ち出すのがより簡単ですから。だからオープンウェイトにすべきだ、という話がありますが、結局すべてつながっているように思います。
ロ・ジョンソク はい、そうです。では次のstep、RSIへ移る前に、私も一つ要約すると、そのmemoryの位置が、何かactionを行った後、後ろでLLMウィキの形に整理する、後追いの段階であってはいけない。これが前になければならない。このmemory networkが実質的にハーネスを制御する、そういう構造にならなければならないということです。
そして、このアイデアは会社というシステムの中にすでにすべて存在しているように思います。会社のすべてのaction、そしてSlackやGmailなどで日々起きるactionを、どうすれば会計帳簿のように元帳の形で取り出し、組み合わせられるのか？そうすれば、それ自体が実質的に会社なのでしょう。
そして私は、価値の獲得が上層へ移動すると申し上げましたが、では、その上層で中心的にその価値を収める枠組みは何になるのか？なぜなら、下層の知能はすべて借りてくるものだからです。しかし、優秀な人たちが無限に供給される世界へ向かっていることがひょっとすると、これの本質なのですが、では、彼らと一緒に会社を構成したとき、どうやって顧客に合った価値を届けるのか？結局、それが会社というシステムなのです。
その会社というシステムについて、最近私の頭にあるキーワードがcontrol planeです。どうやってそのcontrol planeを作るかが重要であり、そのcontrol planeの価値が獲得されるのだろう。だから未来の事業はこのような形になるのだろう、そうしたイメージが少しずつ形になってきている、ということをお伝えしたかったのです。ご理解いただかなくても構いません。もし皆さんの考えが違うのであれば、皆さんが正しいです。
パク・ジョンヒョン まとめましょうか？とにかくオープンウェイト、closed-weightの議論から始まり、彼らが人間社会に入ってきたとき、どのように変わっていくのか？結局、これはすべてLLMが登場し、世界が変わっていく流れの中で現れたシグナルや出来事だったように思います。私たちはそれを見ていて、それについて
ロ・ジョンソク それぞれが自分なりの考えを持っているわけです。
知能の価格低下が個人と事業者にもたらす機会 97:44
パク・ジョンヒョン そこで、この出来事を基準にまとめると、当然ながら知能の価格は下がり続け、消費者に有利になるわけです。ですから、私のようにこれを使って何らかの価値を作りたいと考えている、おそらくこれをお聞きの皆さんには、今はこの表現がまさにぴったりだと思います。知能を提供するモデル会社があり、その知能を流通させる、その上のlevelへ行けば、流通させる側になるわけです。ですからLLMを利用して何らかの価値を作り、その価値を売るうえで、さらに有利になったのです。なぜなら、原価が安くなるからです。さらに、それを個人のlevelまで下ろしても同じです。結局、今の私を例に挙げると、この文章でさえ、Twitterであのような議論やツイートをすべて見て、これについての考えが私にも浮かび、それを整理して伝えようと思いました。この整理の元となる考えは私のものですが、整理自体は、これもすべてClaudeがやったものです。ですから、こうしたものを積極的にうまく使えば、以前なら私がこのようなことを整理しようとすると、1日、2日とかかっていた作業が1時間に短縮され、有利になるでしょう。個人がやりたいことを実現できるようになり、生み出す価値が増えるからです。
そして中長期的に社会全体を見た場合にも、結局このような議論が続き、優れたオープンウェイトが次々と登場すればするほど、モデルの配布はますます速くなり、モデルが安くなって変化が加速するところまでは、中長期的にはほぼ確実に決まっている流れだと思います。それは個人のlevelであれ、事業者のlevelであれ、会社のlevelであれ、結局、社会全体、さらに進めば政策や法案などにも大きな影響を及ぼさざるを得ないでしょう。セキュリティ事故のようなものが今、水面上に浮かび始めたわけですが、今後も続くでしょう。そして、そうしたものは政策の変化も含めて、人々の目や世間の視線にすべて焼き付けられ、変化はさらに速まるだろうと予想しています。
DeepSeek V4 Flashの値下げとRSI時代突入のシグナル 99:43
ロ・ジョンソク はい、いいですね。ただ、スンジュンさんが準備されたRSI partを今このタイミングで扱わなければ機会がなくなるので、RSIについて一度お話ししたいと思います。ただ、私たちのポッドキャストをお聴きの方はご存じでしょうが、私たちはいつも後半になるほど良い内容が多いです。
チェ・スンジュン そこで、ジョンヒョンさんのお話から見事につなげてみると、最近DeepSeek V4 Flashが登場して、価格がとてつもなく安かったんです。
ロ・ジョンソク 0.13、V4のことですよね？
チェ・スンジュン はい、Flashです。Flashが登場したのですが、この価格については、これが出る直前にLunaのリリース価格を80％引き下げました。値下げしましたよね。そして、それを可能にしたものについての発表がありました。結局、Solを活用して最適化したということです。TerraとLunaは値下げされましたが、Lunaは劇的に値下げされました。ですから、コミュニティに関する文脈では、これが一つのpointでした。
ただ、それを行うためにはさまざまなissueがありましたが、そこを一気に飛ばすと、私が扱うのはRSI、RSIですね。Recursive Self-Improvementについて今日は少しご紹介しようと思いますが、もう一つ興味深いpointがあります。ハーネスに関するself-improvementについて7月初めに話していたTMLのLilian WengがOpenAIに戻りました。健康上の問題が理由だとはされていますが、人々の推測では、The Informationでは、RSIを研究するために戻ったのではないか？という話が取り沙汰されています。
自己改善ハーネスと敵対的エージェント実験 100:56
パク・ジョンヒョン Lilian WengはOpenAIを出て、Thinking Machinesを立ち上げたコファウンダーですよね。
チェ・スンジュン コファウンダーです。それで再び戻った。ところで、OpenAIでも最近、さまざまな興味深い投稿をしていましたが、ARC-AGI-3では、もともと成績があまり良くなかったものの、基本のハーネスではなく、自社のハーネス、特に記憶を強化したResponses APIを使う方法によって、30％、30点を超えるところまで突破したことがまた面白いポイントでした。それで、そうしたものがハーネスを使って自己改善のニュアンスを帯びていることを示すシグナルがあったのですが、ガントレットループというものも出てきたので調べてみたところ、重要なのはadversarialなエージェントを使うことです。ループを回すことには違いないのですが、二つを互いに絶えず競争させ、戦わせながら検証する方式によって、アセット自体が、3Dアセット自体が見事に仕上がる時代へと戻ったという事例がありました。
パク・ジョンヒョン 今日は会社の話をしたからか、会社の構造でもこういうことが思い浮かぶのですが、研究部門と品質部門が互いに争いながら製品を改善しますよね。
そうですね。それに似た感じもします。互いに批評しながら品質を高めていく。
チェ・スンジュン それでOpenAIのほうではcriticを記憶を維持するという観点で捉えるなら、ガントレットループでは記憶のないサブエージェント、ほかのエージェントたちのcontextがまっさらな状態で批評しなければならないという点がポイントです。一つは
パク・ジョンヒョン 結果だけを見てやるべきだということですね。
チェ・スンジュン はい、そうです。文脈なしでcriticをしなければならず、冷徹にcriticをするには、それが必要で、こちらは記憶を継承させるコンパクションを継続できる方法を使ったときに効果があったもので、ARC-AGI-3でスコアを高める方法があります。
ロ・ジョンソク あのガントレットループは、ぜひ一度調べてみないといけませんね。
公開書簡「Pacing the Frontier」と繰り返される警告の歴史 103:17
チェ・スンジュン 私も一度、一緒に読んでみたほうがよさそうです。出てきた成果物は確かにすごいです。そして、これはRSIの文脈で興味深いのですが、7月末にPacing the Frontier、「私たちも、そろそろ何かしなければならないのではないか」という公開書簡が出ました。それで、おそらくここにはそういう話があり、署名した方々を見るとJohn Schulman, TML, Jakub Pachocki, OpenAI,Jared Kaplan, Anthropic, いずれもシニアサイエンティスト級ですよね。Chief Scientistですね。はい、それからMeta、Google DeepMindのShane Legg、Ilya Sutskever, Mark Chen,Dario Amodei, Jack Clark, といった誰もが知る名前が署名しています。
ロ・ジョンソク これ、全部外交的なジェスチャーなのではないでしょうか。
チェ・スンジュン そうですね。私もそう感じました。
パク・ジョンヒョン 実際にペーシングするとは思えませんけどね。
ロ・ジョンソク 絶対にできませんよ。
チェ・スンジュン でも、これが傍証なのです。RSIの入り口にいるからこそ、そういう話が出てくるのです。自己改善が可能になる段階の入り口。それで、ここを見ると「AI企業はAI研究を自動化できる段階に近づいている可能性があると見ています」とありますが、可能性ではなく先ほど紹介した事例は、まだ人間が制御する自己改善ではあるものの、自己改善はすでに2020年代に行われているのです。それで、その傍証になりました。
ロ・ジョンソク 一週間ずっと悪事を働いて、週末に来て告解しているんですよ。今。
チェ・スンジュン でも、これには既視感があって、2023年3月にもこの書簡があったんですよ。これはたしかFLIでしたね。はい、そこから出たものですが、当時はさらに大御所級の方々、Geoffrey Hinton, Yoshua Bengioなどが署名して公開書簡を送り、「少し自制すべきだ」と。これがGPT-4が出る頃に発表されたんですよ。うまくいきませんでした。
パク・ジョンヒョン もう3年も経ったんですね。
チェ・スンジュン しかし結論は、うまくいかなかった。誰も止まらなかった。ところが、これのプリクエルが2022年2月にありました。AlphaCodeの論文では2月初旬に、「長期的にはコード生成はやがて高度なAIリスクにつながる可能性がある。AIのコーディング能力は、再帰的に自らを改善できるシステムへとつながる可能性があり、それはますます高度なシステムへと急速につながり得る」と述べました。それが実現しました。そして2月末にAnthropicがPredictability and Surprise in Large Generative Modelsという論文を発表し、「単刀直入に言えば、ここで要約した現象は、今後数年間にわたってアクターたちがますます大規模なモデルを構築するようになるのを目にすることになり、こうしたアクターたちは、有害な社会的影響の可能性にもかかわらず、これらのモデルをデプロイする強力な動機を持つようになることを示唆しています」と述べました。あまりにも予言的ですよね。どちらも、今まさにこの状況ですから。
ロ・ジョンソク すべてを歴史的な枠組みに還元して、蒸気機関から印刷術の発展までにあえて対応づけてみるなら、どれも同型の物語が繰り返されているので、起こるべきことは起こるのだと思います。
チェ・スンジュン それで、ペーシングの調整が本当に起きるのかが気になりますし、それが実現したらどうなるのかも、とても気になりますが、私たちのナイーブな見通しでは、これはすべてジェスチャーのように思える、ということです。
遂行的なHypeとAI言説を研究するHype Studies 106:39
チェ・スンジュン ところで、それに関連して私が最近知ったのが、Hype Studiesという研究コレクティブがあるんですよ。これは実際にHypeを研究するものです。それで、ここではAI CEOたちのHypeのようなものを実際に研究しています。それがどのような意図を持って機能するのか。Hypeは単なる誇張や宣伝文句ではない。Hypeは遂行的である。つまり、Hypeを発すること自体がセッティングだということです。
パク・ジョンヒョン ここで言うHypeというのは、
チェ・スンジュン 私たちが普段言っているAI Hype、そのHypeです。人々の
パク・ジョンヒョン ある種の過剰な関心。
チェ・スンジュン 大騒ぎ。こういったものに当たるわけです。技術に対するバラ色の見通しがあり、こうした危険性があるというのも、すべてHypeなのです。しかし、そうしたものは遂行的である。これの面白いところは、特に最後の部分が面白いのですが、hype researcher’s paradoxといって、Hypeを批判するために繰り返し言及すると、かえってその可視性と権威を高める可能性があり、Hypeを追わなければ、研究費を獲得できないというジレンマがある。これ自体が面白いのですが、今日話題に上った技術に関するさまざまな議論、そして中国が登場し、ビッグテックが登場しこうしたものがどのようなメッセージを伝えているのかを総体的に展望することが結局、私たちの日常における株式に対するHype、それもFOMOがあるという、そういうことじゃないですか。
密接なつながりがあるのだろうと思いました。これはHypeがどのように発生するのかをいっそ可視化までした取り組みがあったんです。
パク・ジョンヒョン Hypeというのは結局、大騒ぎしてこそ投資も行われ、関心も集まり、マーケティングも行われ、それによってエコシステム全体が発展し、遂行的だと言ったのは、そういう話だったのだと思います。これを好循環と表現すべきなのかは、よく分かりませんが。
チェ・スンジュン 好循環ではないかもしれません。ただ、それにはある種の自己実現的な側面がありますよね。
パク・ジョンヒョン 促進するということですね。
チェ・スンジュン それを口にすることで実現しようとする。
パク・ジョンヒョン ええ、宣言のようなものですね。「ダイエットするぞ」と言ったほうが、より頑張るようになる、そんな感じです。
チェ・スンジュン そのことを言っているわけです。自らを増幅させる傾向があるということですね。
パク・ジョンヒョン 私は以前は個人的に否定的だったと言うべきでしょうか。うまくいかないだろうとよく考えていたのですが、LLM時代以前には、うまくいくだろうと前向きに考える楽観的な意見もありましたが、私自身も考えがかなり変わってきています。このHypeというものは、見方によっては楽観主義のほとんど極限にあるものとHypeの行動が一致することになるのですが、そうした行動をすることで、知らなかったことをさらに知るようになり、そのとき大騒ぎしていたHypeは実現しないとしても、その周辺にある何かを学ぶことになり、また、実現するものもあるんですよね。だから大騒ぎしながら生きていこう、と数年前に思ったんです。
チェ・スンジュン 私たちのチャンネルがまさにそうしていますよね。今も。
パク・ジョンヒョン そうですよね。社会的にもそうだということです。
チェ・スンジュン だから私たちにも、Hypeに奉仕しているという自己認識があります。
パク・ジョンヒョン それに最近、ポッドキャストでHypeされることもよく記録されます。
ロ・ジョンソク それが理解できませんでした。何ですって？
パク・ジョンヒョン YouTubeではコンテンツがアップされると、Hypeボタンが表示されるようになりました。それでHypeをたくさん獲得すると、AIフロンティアはポッドキャストカテゴリーに入っているので、ポッドキャストで「Hype済み」というタグがぱっと付くんです。だからチャンネルも動画もHypeされている。
予測不可能な地平と偶有性（Contingency）の哲学 110:07
チェ・スンジュン まとめに入ると、Terence TaoはMastodonで自分が話したことを一人でまとめているのか、ほかの人の力を借りているのかは分かりませんが、そうしたものをまとめ、自分の文章をもとにページを作っているんです。ところが、そこに最近のICMLだったか、とにかく、そこで発表した内容を扱った話があります。「2023年に数学について予測していたときの確信は、今では消えた。世界ははるかに予測不可能になり、現時点では、長くても1年先を信頼できる形で予測できる人がいるとは思わない」という話をTerence Taoがしているんです。今は本当に分かりません。一週間、一週間を生きる
ロ・ジョンソク ということですよ。一週間、一週間を生きる。かろうじて生きていく、という言葉が今はぴったりですね。そうでしょう。
チェ・スンジュン そうですね。それで
私が最後に紹介したいのは、最近読んでいるものなのですが、新たに知った用語で、Contingency、偶然性、偶発性と呼ばれる用語です。これは哲学の分野で注目されているYuk Huiという香港出身の哲学者が語っていることなんです。ところで、このContingencyとは何かというと、私が呼んだわけでもないのにやって来て、私に触れるもの。つまり、計算し予測できる領域の外からやって来る偶発性を意味するそうです。外からやって来て触れるもの。今日強調したいのは、先ほどSituational Awarenessのようなものについて話しながら、変動性や不確実性について触れたとき、今、私たちが見ている地平そのものがあまりにも予測不可能だということです。私たちはあらゆる手段を講じて、引き締め、予測し、備えようとしますが、ある部分では謙虚にならなければならないところがあるように思えて、これを持ってきました。
パク・ジョンヒョン 特にRSIによって、さらに不確実になり、より偶発的なことが数多く起きるとお考えなんですよね？
チェ・スンジュン そうですね。RSIがどんな副産物を生み出したり、何を引き出したりするかは分かりません。だからこそ、ペースを調整しようという話も出ているわけです。
ロ・ジョンソク モデル開発組織やフロンティアラボが私たちに見せているハーネスは、モデルが作ったものだと推定すべきです。ただ、私たちも社内でハーネスをたくさん作っていますが、本当に重要なものはこのようにhuman-in-the-loopで一つひとつ確認しながら作ることもありますが、サブシステムは目的だけ設定して、動きさえすれば、私たちもそのまま持ってきて使うことが多いじゃないですか。エラーが起きても、エージェントが作るコミットログを私たちは見ないじゃないですか。「できた？ 一度検証してみて。また探して」と言って、そのまま閉じてしまいますから。
パク・ジョンヒョン 気になることだけを聞いて、ある程度論理的に正しいと思えば、そのまま先に進むことが多いように思います。
チェ・スンジュン そのとおりです。そこでYuk Huiという方は、計画表の外にあるものを呼ぶ用語としてContingencyという用語を使っています。もともと存在する概念です。それを排除することは不可能なので、関係を結ぶ対象にしようと。私が思い浮かべたのは、巨大世界仮説、Suttonの巨大世界仮説が世界は常にエージェントより大きいと説いていることです。限定合理性、つまりすべての情報を知っているわけではないため、エージェントであれ人間であれ、自分が知っている範囲内で限定合理性を取るしかない、というところで締めくくりたいと思います。
不確実性の時代とメモリ圧縮としての対話 113:27
ロ・ジョンソク そのとおりです。ある漫画が思い浮かびます。私が子どもの頃にその漫画を読んだ記憶があるのですが、『アルミアンの四人の娘』。そこに出てくる
チェ・スンジュン シン・イルスク先生でしたっけ？
ロ・ジョンソク そうです。そうです。「人生はいつも予測不可能、それゆえ生はその意味を持つ。」この言葉をよく使われるんですよ。でも、まさに今の時代にぴったりだと思います。だからこそ逆に、このように変動性の高い世界は、何かをやってみたいと考える人々にとってはチャンスです。こうした変化が
パク・ジョンヒョン 面白いです。
チェ・スンジュン ドーパミンは出ますよね。
ロ・ジョンソク さて、久しぶりに長く話しましたね。でも、私たちもジョンヒョンさんもスンジュンさんも私も、資料を持ち寄って、私たち3人で掛け合いながら何かを学び、少なくとも思考のバランスが、来週になればすべて消えてしまうかもしれませんが、今日の思考のバランスは取れるんですよね。だから私は逆に、このプロセスが最近のmemory compactionを行うセッションだと思っているんです。
チェ・スンジュン ひとまずコンパクションしておくと。そうですね。そのキーワードだけを保持するわけですよね。時間が経つにつれて、細部は思い出せなくなりますから。
ロ・ジョンソク そうしながら私たちが話をして、話が終わると、重要なキーワードがいくつか残り、そのコンパクションされた、いくつかのキーワードを持って、少し身軽になった状態で次の週を始めることになるわけです。私たちにとって、このプロセスは私たち自身にとっても非常に重要な学習プロセスなんですよね。
チェ・スンジュン rolloutのプロセスだったんですね。
ロ・ジョンソク そうですね。trajectoryを一つ終えて、私たちのモデルをon-policyでアップデートする…
チェ・スンジュン 今週のpolicyだけでrolloutして、来週にはアップデートされていると。
ロ・ジョンソク そういうことです。だから今日のKimi K3のペーパーの中にも、じっくり見ていると、私たちの人生のマニュアルまですべて詰まっているんです。
パク・ジョンヒョン そうですね。今日の会話に出てきたKimi K3の内容をencodingして、中にすっと入れて、latent spaceにattentionとして入っているわけですよね。
締めくくり 115:29
ロ・ジョンソク 本当に、身内で話していながらも笑ってしまいますね。では、このあたりで今日は締めくくりたいと思います。お二人とも、今日もたくさんのご教示をありがとうございました。