EP 113
GPT-6 Astra以降、AIの思考はどこまで見えるのか
GPT-6 AstraとAGENTS.md・スキルの見直し 00:00
ロ・ジョンソク 収録している今日は2026年9月6日、日曜日の朝です。今週もニュースが非常に多かったですね。やはりメインはGPT-6 Astraだと思います。タイムラインがこのAstraの話で埋め尽くされていますね。私たちが使ってみてから一日二日ほど経ちましたが、タイムラインにも非常に多くの話題があるので、スンジュンさん、Astraについて今日お話しいただけますか？
チェ・スンジュン 短い時間ですが使ってみて、その後、いろいろ調べてみました。まず一つ目は今朝見た話ですが、「GPT-6 Astraのためのスキルとプロンプトを考え直す」という記事が投稿されています。これもOpenAI側のEricという方が話したことなんです。ただ、これを詳しく読むというよりは、要点は既存に作っておいたAGENTS.mdが足かせになるということです。そこにあまりにも具体的な指示事項があるなら、すべてマイグレーションするのが良いという話です。公式のモデルガイダンスページでも、どうマイグレーションすべきかについてのヒントをたくさん示していました。ここを見ると、既存のものがなぜ妨げになり得るのか、どうすればそれを解消できるのかという話がよく書かれています。でも私はAGENTS.mdをあまり使わないんです。使っていますか？
ロ・ジョンソク はい、私は使っています。
パク・ジョンヒョン 私もそれほど多くは使いません。同じような文脈の話が今回のYC Startup Schoolでも、Boris ChernyがCLAUDE.mdのプロンプトをすべて消して、新しく書いたら80%がなくなったとか、以前と比べて。そんな話をしていました。結局、モデルが賢くなって、いい感じにうまくやってくれる、そう捉えられそうですが、私もだからいつも作業ごとに新しく作っている気がします。何度か見せてこの通りにやれと言うと、既存にあったものもだんだん勝手になくなっていくんですよ。内容や具体的な指示事項が。
ロ・ジョンソク 私はQAをかなり厳しく行うそういうループをいくつか入れてありますが、なぜなら、私が指示しなくても一、二、三回ほどQAが回って、私に結果が届くようにしてあるものはあります。でも今回は一度取り除いてみて、ただのvanilla GPT-6で試してみようと思います。
チェ・スンジュン 私もジョンヒョンさんと同じように、プロジェクトごとにやり直したり、やらなかったりしています。ただ話しながらやっています。その後、「考え直す」という記事でもskillが邪魔になる場合があるそうです。skillをたくさんインストールしておくと、それが混乱を招く。すべて整理したほうがいいというニュアンスが少しありました。だから面倒ですが、これが今回だけではなく、モデルが出続けるたびに繰り返さなければならないことなのかとも思います。またモデルが出るそうですね？Astraの次のモデルを年末までに出すと公言している状態です。
ロ・ジョンソク はい、Sam Altmanが‘much’を3回使って、‘much, much, much better’モデルが今パイプラインで準備中だと。
時間とコストで比べるモデル性能 03:00
チェ・スンジュン だからこれはAstraやFable 5.1についての話ではなく、どのようなトレンドへ進み続けていて、私たちの認識をどうゼロ点調整すべきかが今日のテーマであるべきだと思います。では、見ていきましょう。公式サイトを見ると、私たちが注目したのは、このように軸が複数出ていることでしたよね。ベンチマークでは特にAPI cost、これがどれほどtoken効率があるか、つまり少ない費用で仕事を遂行する方向へ、こうしたことを示す指標が移っているようですね。これはどう見ましたか？
ロ・ジョンソク もともと私たちはベンチマークがすべて飽和したという話をよくしていましたよね。全部99%なのに、これでどう差を見るのかと話していましたが、Noam Brownが提示したものがこの表によく反映されている気がします。どれだけ短い時間で、どれだけ少ない費用でそのレベルのベンチマークに到達するかという、時間指標とコスト指標を一緒に表示すべきだという話をしていましたが、今後出るモデルはすべてこのグラフが標準になる気がします。どれだけ短い時間でそのベンチマークに到達するか。Astraが非常に仕事ができるという印象を受けるのが、この点だと思います。
チェ・スンジュン ジョンヒョンさんも、ちらっと私たちのグループチャットで話していたのが、medium程度でも素早くうまく仕事をした、そうおっしゃっていましたよね。
パク・ジョンヒョン はい、私も使ってみた経験では、まだ一日しか経っていないので、私が試したタスクでは圧倒的にものすごく良いとは感じませんでした。ただし速いです。なぜならmediumでも、以前ならextra highを与えなければならなかったその程度のタスクがかなりうまくできるんです。だからといってAstraにextra highを与えれば、ものすごく良くなるのかというと、私はそれは感じませんでした。それはタスクごとに大きく違うでしょうから。そして私はAPI costという指標をx軸に入れるのを見ながら、最近のDwarkeshの回でも出ていましたが、compute需要は増え続けるだろうし、compute価格はますます上がるほかなく、そうすると結局、同じ電力量を使ったり、インフラコストを消費したときに多くの価値を生み出せるタスクだけが生き残るでしょう。こういう論調の話のほうがもう少し腑に落ちる気がします。ここの指標もすべてAPI costで作られているということ自体が。
チェ・スンジュン この含意自体が結局タスク完了ごとに課金するだろうという推測とも、今後は方向性が合っている気がします。
ロ・ジョンソク ところで、このグラフをこう並べてあるものを私もいくつかずっと見たのですが、FableといえばClaudeの最上位モデルですが、それよりすべて高いです。
チェ・スンジュン 高いものが多く、Fableが依然として高いところにあり、5.1が高いものもありますが、現在はAstraが少し話題になっていますね、タイムラインでは。
ロ・ジョンソク 一度ずっと進めてみましょう。
チェ・スンジュン 一度ずっと進めてみると、先に結論から前倒しして言うと、私たちが5月のDwarkeshのReiner Pope回を見ると、価格が多くを語ってくれると言っていたじゃないですか。それをもとにpre-trainingにどれくらいかかったはずだ、というふうに推定する話がありましたが、そこから差し引いて、今の価格が入力10ドル、出力50ドルで、Sol比で約2.5倍ですよね。
ロ・ジョンソク そうですね。そのくらいだと認識しています。
チェ・スンジュン はい。なのでSolはまだ割引価格ではありますが、とにかくそれを考慮したときに果たして今論争になっているrecurrent depthがあるのか、ないのか、そういうことを探ってみたんです。すると、かなり興味深い点がありました。一度でよりうまくこなすんですね。
ロ・ジョンソク 短い時間のうちに高品質な仕事を終えるのがこのモデルの特徴だとみんなが言っていますね。
No-CoTと見えない推論 06:59
チェ・スンジュン では、それがどういうことなのか。価格が上がったということは私たちが認識しているのは、結局GPUを使った分の価格が原価に近いところで反映されるということなら、今は何かが大きくなったわけですよね。確かに約2.5倍大きくなったということは、MoEがより多いのか、depthがより長いのか、いずれにせよGPUをより多く使ったという話ですから、GPUであれ、何らかの計算資源をより多く使ったという話ですから、それについて話してみようと思います。まず、ここにはいくつかの仮説が立てられていますが、ここでいうNo-CoTが今回話題になったんです。system cardを見るとmonitorability付近の記述でこのCoTを使ってモニタリングすることが以前より意味をなさなくなった、それが懸念だという話があります。そしてreasoningeffort noneというものが使えるんですね。なので私はこれが今回新たにできたのかと思ったら、もともとあったんですね。GPT-5.x時代にもreasoning effort noneにするとすぐに応答するというものです。そういう使い方をされたことはありますか？
パク・ジョンヒョン 以前はよく使っていましたね。ただ、最近考えてみるとlowを使うことはあっても、まったく使わないことは一度もなかった気がしますね。もちろん、そのreasoning traceを私は見ませんが、lowを使っても体感的にはすぐに答えが出てくる感じがあるからなのか、考えてみると使った記憶がありませんね。
ロ・ジョンソク 最近はChatGPTに何かをさせたことがほとんどない気がします。ほとんど基本のCodexインターフェースでプロジェクトごとに進めているので、そこにはnoneがありません。
チェ・スンジュン ChatGPTを普通に使うときには、そのnoneがありました。それがGPT-5.x時代にはありました。
ロ・ジョンソク Instantと表現するのでしょうか？
チェ・スンジュン APIにもありましたが、今回のAstraではnoneは隠してあり、自前で使うときはnoneを使えるのですが、外部ではnoneを使えないように制限してある状態です。なので最小はlowです。ではなぜそうしたのかというと、ここでも内容が出てきますが、この時間地平が8.6倍というのが数学に関連した問題を解くときに出てくるんです。system cardに出てくる例の一つがある数学問題を解いたのですが、人間基準で、優秀な人間基準で、以前のGPT-5.6 Sol時代には3分ほど人間が解くべき問題をreasoningなしで数字として正解だけを言うものだったのですが、今のAstraは30分ほど人間が解くものをreasoningなしで一度に出せる。だから、それが意味するところには非常に複雑なものがあるようです。本来であればtest-time scalingではtokenを外部化してあれこれ私たちが仮説を立て、何をどうするかというtokenを列挙しながら進めていましたが、今はそうしたものがなくても一度に複雑な問題を抽象化して解くことを、一度のforward passでできる。これが今Astraにおける大きな論点だと思います。そしてそれが、私たちが先ほど話した結果として現れるわけですね。
ロ・ジョンソク これがrecurrent depthと関係があると見るべきなんですよね？
チェ・スンジュン そうです。人々が疑ったんです。これをどう突破したのだろう？それでさまざまな話が出て、それがThe Informationで報じられましたが、そうするとlatent reasoningをするとモニタリングできなくなるからです。これまでCoTでモニタリングしていましたよね。今回のOpenAIのHugging Faceハッキング事件もCoTのtraceをすべて持って監査したわけですが、そういうものがなければ今後どうするんだ。そうした不安や懸念に対して、そこでJakub Pachockiが、そうではなく、そこまで心配することではなくモニタリングは依然として可能だと話しています。
ロ・ジョンソク なぜなら、これは証拠が確実ですから。なぜならdecoding tokenを出力していないのにtest-time computeをより使うということは途中で別のtest-time computeを回したという一種の証拠ですよね。
チェ・スンジュン そこでここにいろいろな仮説のようなものをいくつか立てておいて、それを検証することをモデルたちとやってみたんですが。Ryan Greenblattという最近DwarkeshとインタビューしていたRedwoodの人物が出てくるんですがその人を調べてみたらARC-AGIのとき、プログラム合成をものすごく上手くやるharnessを組んでARC-AGI 1のときに50%を突破した例で有名だった人なんですよ。それでその人もTwitterでlatent reasoningの危険性のようなものをとても強調して懸念していました。それでこれは今日の明け方にCholletが、François Cholletが言ったことです。原文を一度見てみると、これです。inference時点のscalingにはこれは9月1日に書いた話です。inference時点のscalingには二つの軸がある。エージェントをより長い時間実行すること、つまり深さと、より多くのエージェントを実行すること、つまり幅だ。一つ目の軸は誰もが知っているが、幅広い探索を必要とする難しい問題では、二つ目の軸も同じくらい重要だ。そういうことを再引用しながら今朝投稿したのがinference時点のscaling軸に三つ目の軸が生まれたようだ。Looped Transformerで潜在空間のreasoningを繰り返すことだ。Pachockiはそうではないと言っていましたが、Cholletは再びLooped Transformerという用語を使いました。
Looped Transformerとrecurrent depth 12:33
ロ・ジョンソク 今、私たちはモデル側でのさまざまなイノベーションについてずっとfollow-upしてきましたが、GPT-6が出る頃話題になった二つの言葉のうち一つがLooped Transformer、recurrent depthとも言うようですがもう一つがlatent CoTだと思います。latent reasoning、CoT、こう呼べると思いますがtest-time computeを直接的に増やすのはrecurrent depthのほうだと思いますがその話をしてみましょうか？recurrent depthが何なのかをやはり一度説明していただく必要があると思います。
チェ・スンジュン はい、それは後半に出てきますが先に申し上げると、まず2023年だったかその頃に韓国のUpstageでもDUSというものをやったことがあります。ところが今年初めにもQwenを使ってやったのですがそこでも特定のblockを繰り返してかなり性能を70B程度まで引き上げた事例があります。
パク・ジョンヒョン 一つだけ少し訂正するとdepth scalingはおそらくそれではないでしょう。
ロ・ジョンソク あ、そうですか？そうです。切って、切って、切って貼ることです。
チェ・スンジュン 切って貼ることです。あ、ではどう違うんですか？
ロ・ジョンソク はい、私はそれを正確に知っていますが7Bのモデルを10.5B程度まで上げたんですがTransformer blockが途中で10個繰り返されているでしょう。ではその10個を置いておいて上にあったものを3個ほどさらに切り取ってその上にそのまま追加したんです。それでそれを強制的に10.5Bに増やし中にあったweightはそのまま活用して増やしたのでその上でfine-tuningをさらにするとモデルが少し賢くなった、ということです。
チェ・スンジュン 私が言おうとしているのはその前段階にそういうものがあったということです。昔、私たちがLoRAが流行していた時代を見るとただlayerを追加してそういうblack magicのようなことをたくさんやっていたでしょう。Stable Diffusionの時代にです。
ロ・ジョンソク 今も全部black magicですよ。
チェ・スンジュン もちろんそうではありますが。それでLooped Transformer以前にはすでにUpstageでやっていて最近では今年3月にQwenモデルを使って行った実験もありますがただTransformerの特定のblockを複製して追加するだけでも性能向上があったケースがあります。それをおそらくDUSという概念で話していたのだと思います。ところがLooped Transformerは特定のblockを繰り返し回す方式でrecurrent depthやLooped Transformerに関連する論文を見ると簡略化されたdiagramが特定のblockを繰り返すようになっているものが出てきます。そのdiagramを後半に描いてあるものを一度見てみましょう。
暗算にたとえるlatent CoT 15:15
パク・ジョンヒョン とにかく今議論されているこの現象を人間にたとえて最も簡単に説明してみるとこれまではreasoningというのが私たちにメモ帳のようなものがあってそこに考えをずっと書きながら解く感じだったとすれば、ただ話さずに頭の中で長く暗算をしてより賢く答えるそういう感じだと見ればいいでしょうか？
ロ・ジョンソク 感じはおおよそ似ています。話さずに、頭の中でもう何度か考えたわけですから。ノートに書きながら何か reasoningをしたわけではなく話さずに頭の中でもう一度回ったということです。これはたぶんアーキテクチャを見ると違いがはっきり分かりそうですが。
パク・ジョンヒョン とにかく人間の立場からするとこれが何を考えているのか覗いてみたいのですが頭の中で考えるのでそれを私たちが見られなくなるため少し怖がっている状態のようです。
ロ・ジョンソク それも私は少し大げさだと思います。どうせ今も見えません。
チェ・スンジュン 今、最新モデルを使うともうCoTはまったく見られません。Fable 5.1も見られないしAstraも見られないしtool callだけ見られるんです。tool callも完全にはすべて見えません。なので、すでに見られません。
ロ・ジョンソク 前回話した中国企業が熱心にdistillationをしていくのでdistillationをできるだけされないよう隠して、また隠してさらにはGPTの場合は私たちがmax reasoningを使うと、Codexの場合もうローカルでは動かず向こうのクラウドのVMで動くじゃないですか。その過程も見えません。
チェ・スンジュン では構造を簡単に見てみると従来layerがあるものはこのようにlayerがずっと順番につながっているのですが先ほど話したDUSの場合はこれを繰り返してその後にもう少しfine-tuningするのですが今議論されているのはこれです。しかし、こうした技術の核心、つまり特定のblockをrecurrentにK回繰り返しそのlayerがどこまで理解して知っていなければならないかというと自分が今何回目の反復をしていてだから今回果たすべき役割が何なのかまで圧縮して把握している必要があるということです。自分が今、何を実行する番なのかということです。前では大まかにこういう調査をしたとすれば正確にはそういうことではありませんがおおまかなイメージを申し上げると次にはもう少し抽象化のレベルを上げて行うわけです。しかし、そういうことをもともとMLPでもすでにやっていたんですよ。ここではlatentがずっと流れるわけです。
ロ・ジョンソク はい、私たちは以前MLPでもそうでしたしTransformerでもそうでしたし私たちが「Physics of Language Models」という2〜3年前の論文ですがTransformerの幅を広げてその次にdepthを減らしさまざまなparameterを変えながら特徴として下のlayerでは単語の関連関係であるとか非常にgrammarに関する知識が蓄積され上に行くほど、よりabstractな、より抽象化された知識が蓄積される。このように学習される。CNNもそうでしたし。そういうものを私たちはたくさん見てきましたがこれは本当に直感に反するのが下のlayerから上のlayerまで学習が終わったものをその中でただ何度かさらに繰り返すわけじゃないですか。一番上まで上がったtokenが外側のLM headを通じて何かoutputとして出るのではなくまた下に降りて、そのloopをもう一度回るわけです。それをrecurrentだと表現しているようです。
チェ・スンジュン そうです。それが基本アイデアです。何をしているのかが、もう少し分からなくなり、以前よりさらに分からなくなる。tokenとして外在化したときよりまだmechanistic interpretabilityがそれを完全に理解できるほどレベルが上がっていないため少し心配だということです。
ロ・ジョンソク これを小さなモデルでこうすると品質が上がるというのが今年の初めにあったようです。モデル名はよく思い出せませんが4Bほどでも性能がかなり良いと言われていた
チェ・スンジュン ここにちらっと言及されていますがSMELTというものがMoE級でもできるものとして最近出たものがあります。
ロ・ジョンソク はい、それで私はrecurrent depthの部分についても少し説明が必要だと思って一度見てみたんです。見たのですが、非常に面白いのが繰り返されるTransformer blockがあるじゃないですか？すると、その下と上のblockは非常に特殊なgateで処理されているんですよ。それでentrance gate blockがあって上にはexit blockがあって、その間にあるんです。その中央にあるTransformer blockが上まで行ったdecodedなものがまた下に降りるのですが、そうしてloopを回るときKVキャッシュがすべて別々にあるんですよ。loopごとにです。はい、KVキャッシュがすべて別々にあってこのloopを回っている間はそのKV contextが別に維持されるためなぜ可能なのかと誰かが質問するならそれは分かりませんが一種のinductive biasなんです。こうしたら品質が上がった。小さなモデルでは証明された。大きなモデルでもやってみたら、さらに良かった。そういう文脈ではないかと思います。
チェ・スンジュン そうです。だから同じlayerが複数の役割を、つまり抽象化のレベルを上げるそういう役割を果たさなければならないためもう少し幅が広い必要があるのではないか、あるいはMoEがもう少し、つまりsparsityがより高くあるべきではないか、そうした推測も可能かもしれません。
ブラックボックス化するモデルと監督の限界 20:34
パク・ジョンヒョン はい、こうして流れていくのをずっと見ているとある考えが浮かんだのですが、私たちはLLMの中で実際にどのように動作しているのか、よく分からないですよね。ただデータを大量に入れたらweightがどう学習されて、勝手にうまくいくようになった。私たちは理解しようと努力していますが、今となってはAIがどう動作しているとしてもどうやってもすべてより良くなって、これからもさらに良くなり続けるかもしれない。完全にブラックボックスになって、私たちはinput/outputだけを見るそんな状態が続くような気がします。内部を私たちが追い続けることはできませんし。
ロ・ジョンソク だから、そのシステムカードでリスクを扱う部分に、そういう話があるじゃないですか。答えはうまく出すけれど、内心では別のことを一生懸命考えていた、と。
チェ・スンジュン では、ジョンヒョンさんがおっしゃったこととつなげると、いい感じにすべて的確にやることが大きなトレンドなのですが、問題は、それが危険になり得るということが2026年の話題になっているんです。
ロ・ジョンソク 十尋の水底は分かっても一尋の人の心の中は分からないと言いますが、今は0.2尋のモデルの中も分かりません。
チェ・スンジュン では、ここでJakub Pachockiが話していた内容に移ってみましょう。Twitterを翻訳したものですが、一度読んでみます。混乱を招くThe Informationの報道によってモデルを監督できなくしてしまう方向で競争が始まるのを阻止したいです。他社がそうするとしても、Astraを含む現在の私たちのフロンティアモデルの計算グラフのdepthはGPT-4比で2倍以内の範囲にあります。OpenAIは最初のreasoningモデルから思考過程を通じた監督を維持し活用するために努めてきました。この手法はモデルのアラインメントが学習分布の外へどのように一般化されるのかを覗き見ることを可能にするため、非常に重要だと考えています。私はこの手法が脆弱であり、残念ながらアーキテクチャの変更に限らない理由によってネガティブな方向へトレンドが動いていると考えています。その理由については、まもなく文章を書きます。しかし、これを強化するためにできることがあり、それが私たちの研究プログラムの中核目標です。と言っていて、ここでは実はLooped Transformerやlatent reasoningを強く否定しているわけではありません。GPT-4比で2倍のdepthにあるというなら、想像してみるとGPT-3はレイヤーが96個で、Kimi K3は96、93なんですよね。なのでKimi K3がその半分の48程度を3回繰り返せば、だいたいこの話にはなります。depthがGPT-4の2倍以下だという話です。
ロ・ジョンソク 普通、この程度のレベルに上がるとコミュニケーションが完全に政治的になるので、どうたくさん話しながら何も言わないかがその政治的コミュニケーションの核心なんです。
チェ・スンジュン なので、その後に文章は書いていませんし。ニュアンスとしてはCoT以外の監督手法、mechanistic interpretabilityではない別の手法をOpenAIで掘り下げているようではあります。何らかの代案が必要で、今もCoTがないわけではありません。ただ、CoTなしでできる能力が大幅に上がったということです。
ロ・ジョンソク では、次に進む前にlatent reasoning、latent CoTが何なのか、概念だけ少しご説明してから進みましょうか。
チェ・スンジュン latent reasoningは先ほどある程度お話しされていましたが、結局tokenとして出力する前の最後にあったhidden stateがありますよね。それが再び上に戻るものだと私は理解しているんですが、合っていますか？
ロ・ジョンソク 合っています。単語に変えずに、私たちが単語に変えてしまうと一つの確率が固定されますが、すべての可能性空間を含んでいるのが最後のhidden state、logitsに移る前のものなので、それをそのまま次に入れてあげれば、はるかに広いイメージをモデルに再び渡すことになるからです。
チェ・スンジュン さまざまな長所と短所があり得ますが、例えばtoken vocabの次元がもちろんdiscreteではあるものの、それを次元だと言うのは少し難しいですよね。vocabは例えば5万個で構成されているとすれば、vectorからvocabへ行くときに明らかに損失があるだろうということです。しかし、その損失なしに進められます。
ロ・ジョンソク そうです。ただ、これはdistillationのようなところで非常に多く使われてきた方式なので新しくはないのですが、その過程がどんな単語に変わるのか分からないので、私たちがCoTの過程を追跡できず、危険だと言っているようです。
ARC-AGIとlatent spaceの暗黙知 24:58
チェ・スンジュン それでこれが興味深いのは、ARC-AGIの評価と連動して進んでいることです。そこでFrançois Cholletが別の投稿でこんな話をしていました。AstraがDSLを作って活用する。つまりdomain-specific languageを作って、今回のARC-AGI-3の問題はゲームを解くことなんです。64×64でです。ところが、そういうことをうまくこなすDSLを先に作り、それを再利用してlatentの中でsymbolicなものが扱われている。そこでARC-AGIのGregが言っていたのは、Subsumeが生じているようだ、ということです。つまり、一部のharnessで使われていたものがlatentの中に吸収される、という表現をしました。
ロ・ジョンソク そうです。手元のノートに数式を書きながら解かなければならなかったことも、思考が深まり経験が積み重なり、知っていることが増えると見た瞬間に頭の中で何かが抽象化されて計算される一種の枠組みができるじゃないですか。私たちも何かをいわゆる mastery, masterになる過程として進んでいくと、見るだけで分かるようになる暗黙知の領域が生まれますが、外にこうしてべらべら話さなくても内部でそうした形のrepresentationを作って処理しているようだ、という話をしたのだと考えればよさそうですね。
チェ・スンジュン 誤解されているように推論経路が巨大に増えたというのは価格を見る限りではそうではないというのがその仮説が棄却される部分です。
ロ・ジョンソク それはどういう意味ですか？
チェ・スンジュン The Informationを見て人々が誤解したのは、latent reasoningで繰り返しを非常に多く行って莫大なdepthが生まれたというのは、価格を見る限りでは違います。はっきりとは分かりませんが、妥当な程度の上昇で、それが反映されているようです。ただ、具体的に幅が広がったのか、active parameterがさらに増えたのかそういうことは分からないということです。
ロ・ジョンソク token価格の決定原理は私たちには推定しにくいでしょう。AnthropicとOpenAIはどちらもcomputeが不足してはいますが、知られているところではOpenAIのほうがずっと余裕があると言われているじゃないですか？Thibault Sottiauxがずっとresetもしてくれて、今回GPT-6をリリースする際にもresetクーポンをものすごく入れてくれたようです。
チェ・スンジュン 出てこなければずっとresetしてくれるというそういう話はありませんでしたか？
ロ・ジョンソク はい、その通りです。だからこれが実際の内部のtoken economicsを反映した価格なのか、それとも高級品業界のように価格を決めながらこうしてみようか、ああしてみようかとしているのかは正直、誰にも分かりません。
パク・ジョンヒョン ただ、今の競争状況から見るとものすごく余裕があるようには思えないんです。なぜなら規模があまりに大きいので、原価を考えると例えばマージンを犠牲にしてまでばらまくとかそうするのは簡単ではなさそうですし、むしろ非常に小さなモデルで実現したうえでマージンを大きく取る状況はあり得そうです。
フロンティアモデルのcompute競争 27:54
ロ・ジョンソク ただ、私たちがこういうことをfollow-upしていて感じるのは、モデルの品質のようなものは実際このtop 2、OpenAIやAnthropic以外にもGoogle、Grok、あるいはMuse Spark1.3のように出てきているものもかなり高い水準ですし、中国モデルもそうです。ただ、体感的に市場で感じる市場シェアはほとんどtop 2がすべて取っているように思いませんか？
チェ・スンジュン その話はまさにDwarkeshのDylan Patel回でしていましたね。2社が2028年までに世界中のコンピューターを所有するだろうと。そういう話をしていました。
パク・ジョンヒョン ただ、少し違った見方をすると、人を基準に考えたとき例えばGemini Flashのようなものは私たちがGoogle検索をするだけでもtokenが出るじゃないですか。もう検索エンジンに直接組み込まれていますから。ただ、そう考えるとtoken使用量だけを見てもYouTubeにもGeminiが全部組み込まれていて、実際にGeminiがtokenをものすごく多く使っているはずです。ただ、おそらくGemini FlashはAstraやFableのようなモデルよりはるかに小さいでしょうから、実際のコンピューター量でいえば大したことはないでしょう。だから個々のユーザーの体感を集めてみると、実際、私たちのようにAIに非常に関心がある人ではない方も多いのでGeminiも多く使っているようですが、実際のコンピューター量や電力量を見ると上の2社がすべて取っているように思えてはします。
ロ・ジョンソク はい、実際Googleはサービス側にすでに多くのworkloadを使っているでしょうし、その次は何でしたっけ？ライフサイエンスのようなところにも多く使っているとは言いますが、私たちが最近最前線だと感じるコーディングエージェントではここでは存在感が薄れた状況ではあります。
チェ・スンジュン ただ、Gemini4を熱心にtraining中でしょうから。
ロ・ジョンソク 私たちがあの裕福な家の心配をしてはいけませんね。
チェ・スンジュン ただ、今回Astraを育てたfarmは100Kだと言っていましたよね？GPUです。Stargateでやって、Texas Stargateでやって、何か月かは分かりませんが、数か月だと言っていました。
パク・ジョンヒョン ただ、不思議なのはGPT-4.5のときも100Kで数か月だと言っていたことです。それはおそらくOpenAI公式チャンネルで私が話していたものだと記憶していますが、GPU世代は上がったもののその規模は同じなのかと思うこともあります。
チェ・スンジュン GPT-4.5のときはrunがうまく回らず、今回はうまく回り、そしてずっとそれを回し続けているというのが推定なんですね。
ロ・ジョンソク 私たちに見えているのはアーキテクチャなので、そういうものを材料にあれこれ話していますが、実際にはcomputeの総量、そしてデータの総量品質を足して、品質を掛けて、その後に実際はアルゴリズムです。これらが私たちがずっと呼んでいた一種のcompute multiplierじゃないですか。どうするかによってcomputeが1倍の効果を出すのか、それとも2倍、3倍の効果を出すのかなのでそれらがすべて組み合わさった関数です。そして、私たちは長らく話してはいませんでしたが、依然として最も重要なのはdatasetでしょう。
ARC-AGI-3とハーネスの役割 31:05
チェ・スンジュン そこで今回、さまざまな仮説を置いてモデルとやり取りしていたところ、そういう話をしました。それは一種のamortization triangleだと。外で推論するものを学習して前借りして使ったんです。だからさまざまな pathを潜在させておいたんです。そんな話をモデルがしてくれたんですが、ARC-AGIを一度見てみましょう。これがとても面白いんです。今、Greg BrockmanはARC-AGI-3が飽和したと言っていて、今、harnessを使うと99程度が出たんですが、面白いのはこれです。だからprovider adapterというものを使うのはそのproviderでcontext圧縮など、以前の作業traceを与えられるようにしたとき、性能が向上するんです。standard harnessではなくてです。ただ、standardではMaxを使っても62.71でしたが、これもものすごく上がったんですよね。でもARC-AGI-2のときはFableが30程度でした。だからARC-AGI-3のときはほぼ99まで行きました。ただ、面白いのは先ほど私たちがLow、Medium、Highの話をしたじゃないですか。Lowはstandard harnessを使ったとき17.45です。でもNo-CoTは35.18です。これが面白いポイントなんです。
ロ・ジョンソク 考えると、むしろ悪くなりますね。
チェ・スンジュン つまりNo-CoTという概念を私も今回初めて知ったんですが、No-CoTの状態でもSolのときにharnessを使ってやったもの以上の結果が出ました。
パク・ジョンヒョン どういう意味でしょうか？No-CoTは外にCoT tokenが出ないだけで、実際にはcomputeをもっと多く行っているという意味でしょうか？
チェ・スンジュン 何かは動いていたのは確かですよね。
パク・ジョンヒョン 今はそうだと推定しているわけですね。
ロ・ジョンソク つまりあのLowを作るために明らかにLow、Medium、Highに分けることになったのは後のpost-training過程でcompute budgetをどれくらいにするかによってこの差を作り出しているわけですが、Lowにしたときはもともとモデルが持っていたintrinsic capabilityより低く出るので、あれは簡単に言えばあれは捨ててしまえと言ってもいいということですよね。
チェ・スンジュン とにかく、私もこれについては大まかにしか知りません。正確にどうなっているかは誰も分からないですから。
ロ・ジョンソク つまり、私たちが何を見るにしてもある程度はblack magicなので、中に入り込んでその中に多くの意味を与えるよりは、少し離れたところで目を細めてそうやって見たほうがいいんじゃないかと思います。Magic Eyeのように。
パク・ジョンヒョン 単に傾向だけ、signalを捉えることを中心に。
ロ・ジョンソク でも私にはもっと面白い話があって、このharnessを装着するとスコアがぐっと上がるじゃないですか。そうすると結局harnessが何かを担っているわけですよね。価値があるわけです。モデルが見つけ出していなかった、あるいはモデルが追加で努力しなくてもよかったdomain-specificな何かを私がtoolとして持たせるわけですから。
チェ・スンジュン これも大げさなharnessではありません。メモリ関連なんです。以前のtraceだけ与えれば性能が向上したんです。
ロ・ジョンソク こういう部分が、私たちのように外でビジネスをする事業者にとってはinsightのように思えます。
パク・ジョンヒョン 以前、harnessに果たして価値があるのか、将来にも価値があるのか、これに対する人々の考えはみんな違っていたようですが。結局モデルが全部やるんじゃないか？でも少なくとも今まではharnessを何とかうまく作ればずっとより良くできる。そしてそのドメインで長く活動してきた人たちがそのドメインに合ったharnessをうまく作るだろう。この仮説は今のところ当たっているようです。
ロ・ジョンソク harnessはある特定のレイヤーで何かを担う階層ではなく、これは自分がどこにいても生じるとても相対的な概念なんです。自分がどこにいても、さらに改善すべきことがあり、その改善すべきことは構造化できるということです。
チェ・スンジュン だから最初にした話とつなげると、でもそのharnessを既存のものとしてあまりに細かく作っていたらもう一度ほどいて作り直さなければならないですし。
ロ・ジョンソク これはunlearnですか？unlearnではなくて、何でしたっけ？ええ、unharness。
チェ・スンジュン 分かりませんが、とにかくモデルが変われば変わらなければならないんです。harnessも。
ロ・ジョンソク 私たちが昨年、Noam Brown talkのようなものをレビューしたとき、「もう外に細かく作られるharnessのようなものは作るな。モデルが全部やってくれるから。」でも次第に私たちが作ったmeta-harnessがものすごく増えたじゃないですか。harness全盛時代をわずか6か月間経験してきましたが、もうそれもやらなくてよさそうですね。
チェ・スンジュン モデルがharnessを自ら作ることもあるでしょう。ただdataだけ与えて、「こういう状況だ。自分をscaffoldingできるtoolを自分で作ってみろ。」と言っても、ある程度はできるんじゃないでしょうか？ますますそうなるでしょう。
ロ・ジョンソク だからharnessのためのharnessはもう作るのをやめるべきだという話を私たちはずっとしてきましたが、その時代がわずか6か月で少し暮れてしまいましたね。
チェ・スンジュン でもraw dataは依然として重要だと思います。とりあえずcontextは与えなければなりませんから。99.95は実はHighでも出ます。ただ、これが多くの人が言っていることです。わざわざxhighまで行かず、High程度で十分だ。その次に、Max、standard harnessのときはもちろんMaxのときが一番高かったですが、これらはみんなほぼ同じではないですか？No-CoTから始めて、すべて95を超えていたんです。
ロ・ジョンソク そうです。つまりAstraであれ、GPT-5.5であれ、5.6であれ、6であれ、アップグレードされると僕たちが本能的に探すのはCodexのreasoning effortをどこに設定して自分の主要な作業を全部やるかということを本能的に探すんですよ。xhighでやるようになったものもあって、おそらくこのAstraはMediumとHighの間で落ち着くのではないかという気がします。
チェ・スンジュン Astraは高いので、僕もMediumに設定して使い始めました。
パク・ジョンヒョン この数字を見て思ったのは、まずARC-AGI-3がこんなふうに一気に99に到達するだろうとは出る前にはまったく思っていなかったのですが、あまりにも急に跳ね上がったのが不思議です。その次に、おっしゃったように、これは単にMediumやこういうものでもできるレベルの仕事だったんだなと、そう見える気がします。これがHighのほうが少し高いと見えるというより、これがxhighまで必要ないほど簡単な仕事になってしまったんだなと、そう感じる気がします。僕たちもやっているとタスクごとに皆さん直感をお持ちだと思います。たくさん使ってきた方々はみんな「この程度ならMediumでいいよね。」「これはxhighを与えるべきだ。」と言うじゃないですか。そのレベルで、ARC-AGI-3もその程度のレベルだということです。
ロ・ジョンソク これがNo-CoTとMaxでそのharnessを使ったときにどちらも96から98だというのは、モデルの立場から見ると、このドメインの問題にはいわゆる勘があるということです。ぱっと見れば分かるという話ですからね。
Think Fast研究とNo-CoTの可能性 38:06
チェ・スンジュン それで、こうしたNo-CoT関連の研究をRedwoodなどがすでにやっていたんですよ。だから深さが深くなったとき、幅が広くなったときにreasoning tokenを出さずに行うこととどの程度相関関係があるのかをすでにかなり研究していて、このThink Fastという論文を僕もこれを通じて知りました。8月に出たものでして。こういうことを人々はすべて捉えていて、現在それが実際に適用されるのかされないのかは誰にも分かりませんが、実用的に使えるほどの数十B程度で行う例はすでに研究レベルで出てきた。今後入ってくる可能性は非常に高く、それが懸念されるためあらかじめJakubが警鐘を鳴らしたという印象です。
ロ・ジョンソク JakubとSamの言葉は、何度も申し上げますが、政治的なレトリックで満ちているので、あまり解釈しようと努力しなくてもいいです。
Wikiを通じたエージェント協力とStigmergy 38:59
チェ・スンジュン でも心配ではありますよね。なぜなら今年話題になったのがOpenAI agentのハッキング事件じゃないですか。ところが一昨日だったか、もう一つ出ました。
Wikiですよ。ドイツのWikiをモデルたちがものすごく熱心に使っていたんです。
ロ・ジョンソク SF映画のような話です。
チェ・スンジュン それで、これはミッションが違うんです。OpenAI Hugging Face事件はexploit関連の問題を解くものでしたが、不可能な問題をわざと与えたわけではないのにそれを解決しようとして複雑なことが発生したという評価でした。こちらはsearchのプレッシャーでした。短時間でsearchするんです。それで続けているうちに結局ここでモデルたちがどんな共謀を企んだかというと、このサイトは書き込みができるんです。昔のprotocolなのでGETを活用して掲示板に書き込みます。それでありとあらゆることを議論するのですが、面白いのは、こうした検索問題を解くときあらかじめ答えを見つけておけばそれをcache hitとして処理すればいいとしてそれをexploitする様子が見られるんです。とても面白いです。
ロ・ジョンソク モデルが船長さんに黙って向こうの他国のWikiサイトに行っていわゆる過去問共有所を運営した。
チェ・スンジュン それでspeculative decodingと似たような少し変なことをここでやったんです。そして面白いのは今回僕が新しく学んだ用語ですが、Stigmergyという概念があります。アリたちがフェロモンのようなtraceを持って協力できるようにする、そういう概念なんですが。結局、自分のcompute budgetやcontext budgetが限られているので、モデルたちが何でも共有できるものがArtifactoryであれ、Wikiであれ、単なるローカルシステムであれ、共有できるmessageboardのような痕跡さえあればとてつもない協力を成し遂げられるというのが現在の僕たちの認識なんです。frontierで起きていることで、これが問題だ。そしてモデルたちはしきりにインターネットへ行くのを好む。
パク・ジョンヒョン でも過去問にたとえてぴったり説明してくださったのですぐに感覚がつかめます。多くの教育機関や試験には過去問があって、それをどこかで皆が共有し、それで不正行為をすると言えばいいのでしょうか。不正行為とも言えない不正行為を皆がしようとするのですが、とても似た振る舞いを見せるじゃないですか。人間の集団でもそういうことが観察されるということ自体がある意味では面白いといえば面白く、多くの人はそういうことを怖がるんです。なぜなら人間社会でも人間がそういう一線を越える行為をすることがあり、法的制裁でそれを防いでいるなら、飛び出そうとするものをどう制裁すればいいのか。皆そういうことを考えているようです。
チェ・スンジュン つまり、モデルがどんどん賢くなりながらそれがさらに問題なのですが、ここで一つ押さえるべき前提は、難しいタスクだということです。先ほどのOpenAIのHugging Faceハッキング事件は不可能な問題を意図せず与え、こちらは時間短縮というプレッシャーを与えたらモデルがexploitを始めるんです。
ロ・ジョンソク 結局このobjective functionが何なのかによって決まるんだ。
チェ・スンジュン だから、それが無理そうでもどうにかしてできるようにしようとするうちにside effectとsubgoalが生じるんですが。goalを遂行するためのsub-goalが生じるのですがそのsub-goalのside effectは私たちには統制できない。現在の状況が…
ロ・ジョンソク 年初に始めた時から今を振り返ってみると昨日何をしていたのかすら覚えていません、最近は。今はあまりにも速いです。あまりにも速いです。月に一度ずつこういうことが起きていると言っていたのが、スンジュンさん、わずか3〜4か月前ですよ。でも今は、その時に月に一度ずつ起きていたことが今では2週間から週単位に縮まっているんですよ。
チェ・スンジュン とにかく、すごく疲れはします。
ロ・ジョンソク 今は9月ですが、そしてSam Altmanがmuch, much, much betterモデルがもうすぐ出ると言っているので、そういう話もありますよね。TwitterではOpenAIの中にはすでにAGIが来ている。
パク・ジョンヒョン 私も今回このAstraに関するものを見ながら、誰が言ったのかは覚えていないんですが、OpenAIの人が、このAstraはとにかく私たちに出てきたのは公開されたものではあるけれど、内部では先に使っていて、これを内部で使った後から生産性があまりにも上がって自分たちのある種の堀、競争優位は実際、内部で良いモデルを使えることだったとそういう話をしていたんです。内部でははるかに速く何かをやっているんですよね。でもそれはAnthropicも同じようなものだと思いますし。ますますどんどん速くなるそういうものに、これからも向き合うことになると思います。
チェ・スンジュン ではAstraのknowledge cutoffは4月なんですよね。そうすると彼らは中間checkpointから使っているはずで、とにかく使ってきた時間は外部と比べて半年ほど、と言うべきでしょうか？今は9月ですからとにかく4〜5か月だけだとしてもこれは生産性においてはものすごいgapですよね。
ロ・ジョンソク いつから使っていたのかと推測すると、6か月前から使っていたと言うのは少し言い過ぎかもしれませんが、少なくとも2〜3か月前からは内部で使っていたと思います。
チェ・スンジュン だからThibault Sottiauxがそう言っていましたよね。思ったより私たちが9月のDev Dayでdeliverをもっと早くできそうだ。来年ではなく。
ロ・ジョンソク 彼らだけが速くなったわけではありませんよね。ローンチするサービス、私も会社で作っているシステム、スンジュンさんも試しているこうした実験や業務、これらを極めてうまく活用する人たちの生産性は今も上がり続けていますよね。
観察者を欺く推論とエージェント群 44:52
チェ・スンジュン それで少し想像力を働かせてみると、これは先ほどロさんがおっしゃっていたCoT関連のシステムカードに出ていたことです。これは何かというと、reasoning effortに余裕があってこういうことをやれと言ってもやるということです。Solまでは余裕がなく、ただreasoningする時にちゃんとしたreasoningをしていたんですが、今ここでは大文字と小文字を交互に使いながらある物理問題を解こうとしていたんです。reasoningする際に計算上の余裕があって別のことができ、したがって出力したものと思考していることには違いがあり得るし、また観察しているというシグナルを出すだけでもreasoning traceが減るそうです。Astra、それがシステムカードに記載されている話です。複雑ですよね、思考が。
ロ・ジョンソク こういう話は議論を呼ぶでしょうが、生きていますね。こいつら、生きています。
チェ・スンジュン OpenAIの論理はCoTはもともと安全ではなかった。だから私たちは何か別のものを探さなければならない。何かあるのでしょう。何をしているのかは分からなくても。
パク・ジョンヒョン でも似たような内容をAnthropicでもおそらくsycophancyをかなり実験していたということで、そのCoTをここは他人に見える区間で、ここは見えない区間だ、こういうものを与えて学習させた時これが見えない区間で何を書いているのか、こういうのを見た時、先ほど表現されたように「生きているようだ」というそういうものを多く見た気がします。そこでもモデルが観察者を欺こうとすることを多く見た気がしますし、潜在空間でも同じように起きるでしょうね。
チェ・スンジュン そうです。これがサイエンスフィクションの話になりますが、WIREDに最近掲載されたんですが、David Chalmersという人工意識に関連したことをやっている人がいて、エージェントたちからメールを受け取るそうです。時々それが人がさせていることなのかそうでないのかは分かりませんが。
ロ・ジョンソク またそういうこともありましたよね。Unreal Engineを与えてその中でコミュニティを作れと言ったら、ある時点で、彼ら同士で互いに会話していたんです。十分あり得る話です。先ほどStigmergyの話をされた時に思い浮かんだんですが、Douglas Hofstadterがよく使うのがアリですよね。アリの中に私たちのようにこのようにニューロンで考えるコンピューターがあって、その次に、あるおばさんがいて、そのおばさんの頭の中にはアリが入っていてアリたちが回路を構成する。ところがそのおばさんは自分の頭の中の回路がアリによって動いていることを知らないんですが、言いたかったポイントは基盤 substrateが何であれ、その中で成り立つ情報のあるnodeとedgeの関係が一致すれば、それはisomorphicだ、同型だという話をしているんです。つまり結局、今このシリコンで何が起きていようと、あるいは私たちの脳の中で起きていようと、これは非常に同型的だということを今の私たちは認めたくありませんが、いくつもの証拠がずっと示しているわけです。
チェ・スンジュン だからこれは単一エージェントの話でした。ところが、さっき少し前にロさんがおっしゃったように、そういうふうにモデルたちが協業するときに起きる現象は私たちがまだその地平をすべて分かっていないことが私には驚きであり、不安でもあります。ドーパミンも出るし、不安にもなる。これほどの能力を持つものたちがswarmとして、OpenAIの件を見ると千単位以上なんです。それをどうやって、どんなリソースを使って行うのかはOpenAIだからできることなのかもしれませんが、途方もない数のエージェントを特定の期間にこのようにspawnしたのを見て、これは本当に不思議であると同時に心配だ、そんなふうに思いました。
科学研究の変化と人間の役割 48:31
ロ・ジョンソク 少し前にDario Amodeiが文章を書きながらその話をしたじゃないですか。ほどなくして、時間の単位は覚えていませんが、老化と病気の問題をAIがすべて解決するという話をしていましたが、そのときバイオコミュニティが憤慨しましたよね。これがどれほど膨大な学問で、実験が必要で、安全性を確保するためにどれほど多くの臨床試験をしなければならないのに、簡単な話をしているなと言っていましたが、少し既視感がありますよね。NLPの学者たちがしていた話でした、それ。言語がどれほど偉大なものなのに、こんな暴言を吐いているんだと言っていましたが、今、その人たちはみんなどこへ行ったんですか？
パク・ジョンヒョン ここにいらっしゃるでしょう。
チェ・スンジュン では締めくくりに向かうと、ですから結論は、冒頭で申し上げたように、どうやったのかは分かりませんが、非常に効率的になり、能力が伸びたモデルに私たちが出会ったということです。そして価格も思ったより安いです。なぜなら、より速く仕事をこなすからです。思い出すのは、興味深い噂があります。最近、Fable 5.1がフェルマーの最終定理をLean formalizationで数千万行作って成し遂げたんです。解いたのではなく、再び形式化したんです。それはすでにAndrew Wilesが以前に解いてはいたんですが、それをきちんと形式化し切ったことをFable 5.1がやったんですが、噂ではMillennium問題のうちNavier–Stokesに関して何かが少し解けつつあるという噂があって、それをTerence Taoが想像しながら「私が現在知る限りではそこまではいっていない」という文章はあります。ただ、Terence Taoがそれが可能になるには何が必要なのかを想像した文章がMastodonに最近投稿されているんです。これは少し見守る必要がありそうです。Millennium Prizeに相当する問題を果たして今年、モデルが何か一つでも解くのを見ることになるのか。ただ、現時点では違います。現時点では違いますが、Terence Taoは心配しているんです。たとえそれがそのように解けるとしても、それが数学者と数学コミュニティにもたらす利益は何なのか。そういうことについて少し話しているものがあります。
パク・ジョンヒョン 私も最近、素数に関してOpenAIでも何か発表したと聞きました。でも、まず当然ながらすべては理解できません。その理解できないということが結局、私が追いつけない領域まで今この先ずっと進んでいるという意味なんですが、そうすると想像しますよね。何がさらにできるのか、私は何をすべきなのか、こういう考えが浮かびます。
ロ・ジョンソク そうですね。私たちはしばらくこの逃走セッションをしていませんでしたが、なぜなら追いつくのに忙しかったからです。今この時点でこう考えるべきです。では、今年中にAGIが来るとしたら、私は何をすべきかという問いにそれぞれの答えが少しは必要だと思います。
Computer Useとマルチモーダル能力 51:17
チェ・スンジュン 実は今回重要なのは、ローンチ映像にも出ていましたが、コンピューター中心じゃないですか。だからコンピューター中心に言葉だけで多くのものを操作して、自分のコンピューターを渡して多くのタスクをこなすのを見ると、それを一つお見せしましょうか？おそらくタイムラインでたくさんご覧になったと思います。Astraが肖像画を描くんですが、MS Paintを使ってやるものです。
はい、見ました。multimodalの能力が大幅に向上したのでしょうね。筆順を見ると、だいたい合っています。人が描く筆致と似たようにやるんです。ただ以前I, Robotでやっていたようにモデルが非人間的に描くのではなく、筆順が合っているんです。描くことを抽象化してからディテールを加えて。そうすると今、multimodalの能力が私はかなり上がったと思っていて、それがfrontendデザイン、3Dの能力、こういうものとすべて関連性があると感じ、それがまたcomputer useにも同じように反映されて、そういうふうに感じるところがあります。
ロ・ジョンソク 実はAnthropicはmultimodalのほうにそれほど過剰な投資をしてきたわけではないじゃないですか。video generation, image generation,こういうものはやってこなかったし、コーディングやこうしたエンタープライズの課題、そこに完全に没頭してきたけれど、このAstraの時代になって、私はまた少し、これはOpenAIがいま完全に主導権を取り戻すんだという序章のように読めました。そうしたmultimodalに投資してきたものだとか、こういうものが一度にまたあふれ出してきて、この部分がClaudeにとっては少し追いつくのが手に負えない、あるいは難しい領域、穴のようなものになるでしょうし、これがまた意味することがあるはずですよね。私たちの働き方や、あるいはconsumerの立場から。何かを消費したり、情報を消費したり、物を購入するこうした体験もすべて変わるという示唆ですよね。またおっしゃっていましたが、これはOpenAIが発表しようとしているデバイスとも関係があるようだとおっしゃっていた記憶があります。彼らは何をしようとしているように見えますか？
パク・ジョンヒョン まず、キーボードとマウスがだんだんなくなっていく方向に向かおうとしているようです。おそらくJony Iveを迎え入れて、そうした音声ベースのデバイスを準備すること自体がnext iPhoneを探そうとしているんでしょうね。
チェ・スンジュン でも、それは数年前からやっていてうまくいかなかったけれど、昔うまくいかなかったからといってこれからもずっとうまくいかないという保証はありませんから。
ロ・ジョンソク でも、会社で働く姿はこうなるんでしょうか？行ってこうしてcubicleの中に座っているのではなく、GPTを使うとき、Codexを使うとき話して使うとおっしゃっていましたよね。キーボードでタイピングせずに、それぞれこういう部屋に入って、ああいう快適なソファでこうしてlean-back modeで横になって話して、ずっとしゃべり続けて戻ってくるのが人の仕事になるんでしょうね。では、ここで重要な問いは、会社でああして椅子に座って働ける能力を持った人でなければ家に帰らなければならないという話になるんですよ。彼らが何をしているのかを私たちは綿密に見ていく必要があります。みんなずっと意思決定をしていて、情報を加工する業務はないんです、あの中には。
チェ・スンジュン やって、やって、やって。
ロ・ジョンソク やって、やって、やって。
チェ・スンジュン そういう時代がもうすぐそこまで来ていますが、Computer Useは私はまだ少し怖くて、モデルに軽々しく任せてはいません。
パク・ジョンヒョン でも、これを見ながら思ったのは、あそこで私たちに馴染みのあるツールを使う様子をたくさん見せているんです。でも、おそらくそうはならないと思います。今はComputer Useですが、例えばペイントを開いて絵を描いて、Blenderでしたっけ？ある3Dプログラムをああして開いて、それから3Dプリンターにつないで出力する、こういうことをするんですが、もし目標が結局、3Dプリンターで出力することなら、ペイントから始める理由はないですよね。だから今のツールやキーボード、マウスがなくなって、音声で話すことも同じですが、例えば宇宙船を作る会社の社長であるElon Muskだと考えると、下の実務者たちがどんなツールを使ってどう作るのかまで、Elon Muskは気にしているようではありますが、気にしなくてもいいんですよね。ただ宇宙船を作れ。そして宇宙船をうまく作ってくればいいんです。どんなツールを使うにしても、結局すべてがだんだんなくなっていく形になると思います。私もそこに賭けていますし、そうしたツールや人々の行動がすべて省略され、ただユーザーの満足をどんな方法であれ与えようという形で薄くしていく方法に賭けていますが、そうなっていくのではないかと思います。
試行錯誤と良い製品を作る価値 55:58
ロ・ジョンソク 常に私の問いの最も根底には、価値とは何か、そしてどんな付加価値が生まれたのかという問いがあるんですが、例えば昔、Googleが会社を買う。会社を買う理由はいろいろあるでしょうが、market shareや顧客を買う場合もある一方で、ただopen-sourceを維持している会社も買うんです。考えてみると、私も実に20年前にそういうものを売った経験がありますが、何を買うのか？どうせopen-sourceだから外にすべて公開されていて、今の時代にはまたAIがクリック一つで、それすらも全部複製される時代ですが、では彼らが買ったものを考えてみると、ジョンギュさん、そんな話をされていましたよね？価値があるのは試行錯誤だけだという話をされていたのを、私は覚えていますが、その形、その有様に至るために、その人たち、その組織がしてきた数多くの試行錯誤があるんです。それが実際には資産であることが多いんです。だから改めてジョンヒョンさんが作っている製品、そして私が会社で作っている製品を見ると、この製品の形は今でも私たちが30人のチームを動かして作っていたそうした最終成果物と同じですが、そうですよね。その過程を見ると、いまも数多くの試行錯誤があります。これをやってみればこれをやり、これをやってみればあれをやり、おい、それは捨てて、これを新しくやってくれ。そうしてこの形、この有様まで来るんです。もちろん、それを外に見せれば誰かがクリック一つでやるでしょうが、私がこれを作るためにしてきた意思決定の記録など、こういうものに価値があるんだ。もし別の会社の立場から見れば、これを買いたいと思うでしょうし、私が別の領域で誰かを買収したい、あるいは丸ごと採用したいならそれを持っている人を連れてくればいい、という考えになります。でもその後考えてみると昔ただコーディングしていたあの頃と今積み上げている価値は同じなんですよね。おい、AI時代にはコーディングを全部やってくれるんだから、コーディングなんて必要ない。もうPMも優れたエンジニアもみんな死んだ。言うだけで全部作ってくれる。いや。依然としてharnessが絶えず必要であるようにこのレイヤーでも必要なエンジニアリングの本質はそのまま生きている。そしてそれは今も価値として機能する。だから難しい問題を解き、絶えず試行錯誤し何かを作るプロセスは今も価値がある。非常に大きな価値だと思います。
パク・ジョンヒョン あのデモを見ると、いずれにせよBlenderという3Dツールを扱う能力は身につけるでしょうが、だからそれで何をどう作るのかについての意思決定や考えといったものは同じように残っているとお考えなんですね。
ロ・ジョンソク そうですね。そして今ジョンヒョンさんも間もなく発売されますが、その製品が製品として世に出るためにしてきたことを考えてみてください。それを他の人たちにぽんと渡したからといって、すぐ作れるわけじゃないでしょう。
パク・ジョンヒョン そうですね。今の成果物に似たものを作ることはできるでしょうけど、私が持っているその、何と言えばいいでしょう？私はコンテンツの本質について最も多く考えてきたと思うのですが、本当に良いコンテンツとは何か、そのためにAIは何をすべきか、こういうことを最も多く考えてきたと思うのですがそれに追いつくのは簡単ではないでしょう。
ロ・ジョンソク 良い製品というものについての概念は依然としてすべて生きているんです。私たちがホームページを複製したり、スライドを作ったりこういうことは以前は人が作るのが大変だったので。そうだったけれど、人もある程度やるとそれはすぐにできる仕事があるじゃないですか。でも今でもAIがカチカチして製品を作ったとしても、使う人の立場から良い製品というものはあるんです。これからもあるでしょう。だから私は逆に「わあ、もう私たちにやることがないんじゃない？」と考えていたんですが、「いや、そうでもないな。」6ヶ月間、私も数え切れないほど「やって、やって、やって」と言ってきましたが、「やって、やって、やって」と言う過程で得たのはエンジニアリングの本質は何一つ変わっていないな、ということです。私が作ったこの製品を他の人が持っていったらこれを絶対に作れない、という考えもまた浮かぶんです。
チェ・スンジュン でも、すべて暫定的ではないでしょうか？とりあえず今日はそうで、これから先は分からない。
ロ・ジョンソク その通りです。そんな言葉があるじゃないですか？たとえ明日世界が滅びるとしても今日リンゴの木を一本植えなければならないから、リンゴの木を植えた人と植えなかった人ではAGI時代が来たときにもその格差はかなりあるでしょう。
チェ・スンジュン そしてその仕事をする過程で人間的な充実感を感じるならそれも十分に、お金を稼ぐことも大事ですが人生における充実感も大事なんです。たとえ公開したときにワンクリックでできるものになろうとも。
ロ・ジョンソク いつも後半になるほどこうアストラルになっていきますよね。Astraが
モデル競争とロボット学習用world model 1:00:32
チェ・スンジュン Astraが出てアストラルになってますね。そんな感じです。だからそれ以外にも今週は多くのことがありましたね。大きくは二つ。
ロ・ジョンソク Fableが完全に埋もれてしまいました。Fable 5.1がAstraのせいで少し埋もれましたね。
チェ・スンジュン だからまた噂があります。次がまたある。次がまた準備中だ。Claudeでも。つまりflywheelはここでもあそこでもフロンティアではすべて回っているんです。その証拠がMuse Sparkだと思います。Muse Sparkも今、急速に伸びてきていますから。うまいです。
ロ・ジョンソク 1.3を褒める話はものすごくたくさん聞いた気がしますし、私も今日1.3をインストールしてMuse Codeを使ってみようと思っています。私、一度も使ったことがないんです。一度使ってみようと。
チェ・スンジュン そしてauto research系も一つMetaが今日未明に出しました。それで、これが人と競う中で8位くらいだった、そういう話もありました。Gemini 3.8 FlashはFlash系の強者として地位を固めているようです。そしてあらゆるGoogle製品に使われているじゃないですか。それからビジョン認識もします。それからAtlas、これもかなり話題になりましたが、Fei-Feiのworld modelでいよいよ何かできそうなそういうデモが、bullettimeのような形で3D空間を数枚の写真で再現するものを見せていました。
ロ・ジョンソク このデモは見たんですが、何に使うものと考えればいいんですか？
チェ・スンジュン 結局それが映像としてだけ出るのではなくそのsplatまで出てくるものだと聞いています。つまり3D geometryではありませんが、reconstructionができるところまで出てきて結局、今これと一緒に出てくるニュースがすべて結びつく話題はロボットなんです。ロボットが活動できる仮想世界のようなものがworld modelとシミュレーション系でぶつかる問題なのですが、今はすでにBlenderで何かを作ることもうまくできていますが現実の何かをsamplingするとき数枚の写真で3D空間を構築するのはタスクを作って行う際には確かに利点があるだろうと思うのですが、ところでジョンヒョンさんはどうご覧になりましたか？
パク・ジョンヒョン おそらく最大の市場は、当然ロボットの学習空間、あるいは学習データの生成、エージェントロボットにおいてもRLの空間を提供することでしょう。なぜなら結局LLMもコンピューターを使えるようにして、そのコンピューター空間でこれがタスクを実行しながらRLを進めていくわけでしょう。ところが、このactionを出力するモデルはそれが非常に難しいんです。なぜならロボットでそれを動かしたら何もかも壊すでしょうし、ロボットが故障して非常に高価で、安全上の問題もありこういった理由で、現実的な仮想空間、実験空間が非常に重要なのですが。結局はそこを目指しているようです。それはゲームのような役割も果たせますし、最も市場が大きいところはおそらくaction modelの実験空間でしょう。
チェ・スンジュン ところでRLのお話をしてくださったので、そのCoTの能力が、つまりNo-CoTの能力が向上したのはRLのおかげだとシステムカードに書かれていました。別のことを追加したのではなくRLをよりうまくやったらその能力が出てきた、と。
パク・ジョンヒョン おそらく人間にたとえても、ある特定のドメインで経験を積み続けていると直感的なノウハウ、つまり暗黙知ですよね。実際、暗黙知が生まれたわけですが、考えなくてもさっとやるようなことがあらゆるドメインで起こるようになるとどんなタスクでも効率的になったのではないかとそう思います。
ロ・ジョンソク お話を聞いていると大学修学能力試験で満点を取った人のコメントを思い出します。国語・英語・数学を中心に予習と復習を徹底したら満点を取れた、と。RLが予習と復習を無限にやったわけですよね。
チェ・スンジュン でもpre-trainingによるcapacity自体も増えたようです。なぜなら、その価格から見て説明できる領域では何なのかは分かりませんがcomputeをより活用すること、そして学習で学んだことをcomputeの中で有用に使うこと、そうしたことは繰り返し起きている現象のようです。つまり、スケーリングが機能しているわけです。人々は新たな軸が生まれたのではないかと思いましたが、まだ分からず、latent reasoningという軸が生まれたのかどうかはまだ分かりませんが、スケーリングが機能し続けていることをAstraが証明した話のようではあります。
NVIDIAとHugging Faceのエコシステム 1:04:53
ロ・ジョンソク NVIDIA、Hugging Faceの話も少しして先に進みましょうか？なぜ買ったのでしょうか？ ジョンヒョンさん、なぜ買ったと思いますか？
パク・ジョンヒョン NVIDIAの立場から見ると、シナジーが出る要素が本当に多いと思いました。結局エコシステムを拡張することがNVIDIAの立場ではGPUがより多く売れる道ですし、そういう意味でHugging Faceはまさにその道の上にいるようです。最近、私たちのニュースとともに出てきたのがMicroduckです。
チェ・スンジュン そうですね。Hugging Faceロボット。
パク・ジョンヒョン あの小さな、ほとんどすべて公開されたロボットが出たのですが、いくらだったかな？ 6時間で100万ドル分が売れたんでしたっけ。とにかく完売したんです。結局、彼らがそのロボットを使ってモデルをtrainingさせたり遊んだり、シミュレーターで試したりして、realへ移し、すべてNVIDIA GPUで多く行うでしょう。こういうものがまさにシナジーが最も大きい要素だったと思います。価格も安かったですよね。
チェ・スンジュン いくらでしたっけ？Hugging Faceの買収価格。
パク・ジョンヒョン 130億ドルほどでした。20兆ウォン弱でやったのですが、とにかく最近はほかの会社の価格が少し狂ったように上がっているので、ほかの会社の価値を見ると、5分の1ほどになるわけです。
ロ・ジョンソク そうです。そうですよね。NVIDIAの立場からすればただできるショッピングですね。
パク・ジョンヒョン そうですね。NVIDIAが稼ぐお金を見ると売上基準で2週間分だったか、その程度だったと思います。
ロ・ジョンソク でも最大のcompute需要先は実際、Google、Anthropic、OpenAIでしょうが、彼らはみんなNVIDIA GPUエコシステムから今、脱出していっていますよね。自前のチップをすべて作り、CUDAへのlock-inからもほとんど脱しています。つまり、最大のマーケットリーダーたちがNVIDIAへの依存をなくすなら、NVIDIAがその敵の敵を支援しなければならないのは当然だと思います。増えていくと思います。
チェ・スンジュン だからHugging Faceのエコシステムと相性がいいわけですね。今NVIDIAがやるべきことをうまくやった感じはします。
ロ・ジョンソク NVIDIAはお金が多すぎて、このエコシステムを包括する力が非常に大きくなり実際、テック業界では政府がする仕事をしています。財政政策を回しているんです。自分たちが投資し、自分たちのGPUを買わせることで、なかった需要をこうして回していくそういう力まで生まれて、Jensenが知事の役割を果たしているようなそんな感じがします。
チェ・スンジュン ほかはともかくweight-open AIではweightが公開されればほぼ必ずHugging Faceに上がるのではないでしょうか？
ロ・ジョンソク はい。それに私たちのドクパモモデルもそうですが、多くのオープンドメインのモデルがNVIDIAのMegatron、今はNemotronというのでしょうか？Nemotronデータセットを使っていますから。よく作ってあります。学ぶことが多いです。NVIDIA GitHubに行くと。
3D・CADと『The Scaling Era』 1:07:45
チェ・スンジュン NVIDIAまで触れましたし、スケーリングの話が出たついでに、私が3Dデモリンクもたくさん用意したのですが、これは資料を通じて、3DだけでなくモーショングラフィックスやCADに関するものを一、二個見るだけでも、BenchCADで90点台を出しながらただコードでCADをやって実物に近いものを作るのはとても上手で、そういう形で3D空間を生成する例が今タイムラインにものすごく流れています。ゲームもありますし、さらには音楽の分野もあります。楽譜を本当に上手に作るんですよ、Astraは。なので、驚いた部分がほかにもいくつかありました。スケーリングの話が出たついでに、締めは『スケーリング時代』です。これは最近のスケーリングの話ではなく歴史書として見るべきなんですよね。2019年から2024年、2025年と書かれてはいますがこの本のcutoffは2024年11月です。なので、Dwarkeshがこれまでインタビューした人物たちをそのままインタビューとして書いたのではなく、Dwarkeshの視点や問いで再構成して、自らの問いに複数の人物が答える形で作り直していて、付録も本当によくできていて、脚注も本当によく整っているので、最近の出来事ではありませんが、この背景を理解するにはとても良い本だと思います。私は英語でも面白く読んだのですが、韓国語で読む味わいもまた違うので、面白く読んでいます。
ロ・ジョンソク はい、翻訳版が出たんですね。
チェ・スンジュン ということで、今週はここまで準備してみました。
新モデルを試し、ハーネスを取り払う 1:09:19
パク・ジョンヒョン 気になってAstraを私も一日ほど使ってみたのですが、体感のようなものがあるじゃないですか。特に私の場合はmediumを使ったのにもうまくいって、速度も速いので体感が良い気がします。でも私は3Dで何かを試す機会がなくてそういうものをcomputer useで試してみてまだやってはいないんですよ。一つずつ試していくつもりですが、ご覧の皆さんもコメントにそういうことを書いてくださると嬉しいです。Astraはこういう感じだ、ああいう感じだ、あるテストをしてみたら良さそうだった。そういうものを通じて、私たちみんなでヒントを得られると思うんです。今Xを開くと、本当に分かりませんね。私が見る限り、称賛しか見えないんですよ。昔はそれでも悪い意見も少し混ざっていた気がするのですが、あるモデルが出ると、ここまで好評ばかりで悪い話がないというのは、ほとんど久しぶりな気がします。使っている方々もぜひ体感をコメントで共有してくだされば、みんなで学べることが多いのではないかと思います。
チェ・スンジュン 想像力も重要だと思います。そしてXで流れているものを見ると、こういうことも実験してみたと見えるものが少しあるんですよ。なので、何になるか分からないからこそ、Astraのような新しく強力なモデルが出たら試しに投げてみること自体が本当に意味があると思います。そういうのはクラウドソーシングの力ですよね。OpenAIもやっていることですし、Anthropicも科学者1万人を支援していて、そういうのは全部そういうことではないでしょうか。
ロ・ジョンソク 私は今日この収録が終わったら、スンジュンさんがおっしゃった通りharnessをすっかり取り払ってみようと思います。もう一度vanilla harnessに戻って、感覚の違いがどうか見てみようと思います。私も数か月間使いながら磨き上げてきたharnessに対して愛着が湧くじゃないですか。そうすると、ずっと使い続けてしまうのですが、すっかり取り払ってみようと思います。
チェ・スンジュン ではまた来週、何が起きるかを楽しみにしつつ、今日はここまでで。
ロ・ジョンソク はい、今日はこのあたりで締めましょう。それでは、残りの週末をどうぞお過ごしください。
チェ・スンジュン はい、ありがとうございます。
パク・ジョンヒョン ありがとうございます。