EP 104
GPT-5.6の発表からICMLの現場まで
ICMLウィークとGPT-5.6電撃発表のイントロ 0:00
ロ・ジョンソク 収録している今日は2026年7月11日、土曜日の朝です。今週はICML週間だったので、みんな本当に慌ただしくしていました。そんな中、GPT-5.6も電撃的に発表されたので、今日はGPT-5.6に関する話として、どのような出来事があったのか一度振り返り、そしてICMLについても、私たちがさまざまなイベントを開催し、多くの方々にお会いしたので、その感想を簡単にお伝えしたいと思います。それでは、まずGPT-5.6の話から始めてみましょうか？慌ただしい一週間でしたね。まず、周辺でもこれが出るということで、
GPT-5.6リリース前後の雰囲気とアーリーユーザーの反応 0:31
チェ・スンジュン やはり大きなイベントには、いつも便乗する面々が現れるじゃないですか。それで、みんな存在感をアピールしようと、SpaceX xAIもGrok 4.5を紹介し、Muse Sparkも0.1上げて1.1として紹介しました。ところがGemini 3.5 Proは夏に出ると言っていたのに、7月上旬が過ぎつつある現在も、まだ出ていませんよね。それでツイートのタイムラインを見ると、いつもGemini関連でGoogle AI Studioを担当している方々や、Loganの表情が悲しそうに見える、そんな印象がありました。
それで面白かった点は、Sam AltmanとOpenAI公式アカウントが木曜日に発表するという噂がずっとあったことです。火曜日だ、水曜日だという話がずっとありましたが、木曜日に発表すると決まると、ようやく人々が実際に使った感想を一斉に投稿し始めました。それで、著名な方々の反応を
私がTwitterで一通り探してみたのですが、興味深かったのは、長い人では2か月ほど前から使っていたことです。もちろん、これは輸出規制ではありませんでしたし、政府が規制するとは言っていましたが、かなり多くの人に配っていたのだと分かりました。ただ、共通していた反応は、
Fable 5ほどの大規模モデルらしさは感じないものの、非常に良い、新たなデイリードライバーだ、という表現が共通して見られました。ですから、コーディングの部分では確かに性能が向上したようです。皆さん、使ってみましたか？私はCodexで少し使ってみました。
Codexの細分化されたeffortレベルとコスト消費の実感 2:14
パク・ジョンヒョン 使ってみたのですが、ちょうど新たなデイリードライバーだとおっしゃいましたけれど、そう呼ぶには、これもサブスクリプションで使っているにもかかわらず、利用枠の減りがかなり速いと感じました。
チェ・スンジュン effortは何に設定したんですか？effortはSol、一番大きなモデルでは
パク・ジョンヒョン High、Max、Ultraと、新しくできましたよね。とにかくClaudeのように上位の選択肢ができたのですが、上から順番に一度ずつ押しながら、全部試してみました。
チェ・スンジュン そうなんですね。私はHighくらいでしか使ってみていません。
ロ・ジョンソク そうですよね。6段階くらいできて、何を選べばいいのか、非常に複雑な心境です。OpenAIは確かにtest-time computeにかなり力を入れている印象です。そうした細分化もしっかりしていますし。そうですね。ですから、そういうものを理解していく必要がありますし、
チェ・スンジュン どのeffortが自分の仕事に合うのかという感覚も人間が身につけなければ、コストを効率よく使えない時代になったように思います。今のところは。さらに、GPT-Liveも抜き打ちで紹介しました。その前日には、GPT-Liveを活用したものがGPT-5.6 Solの発表時に、ライブ配信の最後で同時通訳としても活用されていました。それでfull duplex形式のGPT-Liveが登場したのですが、これも使ってみたところ、今後も使い続けるかは分かりませんが、確かに以前より良くなっていました。つまり、会話しながら同時通訳が可能になるもので、もちろん一度、GPT-5.6のライブ配信ではミスが一度ありました。それも面白いポイントではありましたが、とにかくこれが登場しました。そのため、スタートアップ界隈では、このような開発をしていた方々がわずか一日で挫折したという話もちらほら見かけました。そうした課題を突破しようとしていたのに、full duplex形式で出てしまったので、少し困った状況になったところもあったようです。それが本当に問題ですよね。それで、GPT-5.6に関するニュースについては、私も今ではグラフなどを
full duplexで登場したGPT-Liveと同時通訳 3:17
ChatGPT Workの分離と再帰的自己改善の兆候 4:10
チェ・スンジュン 詳しく確認することはありません。一つ面白かったのは、ウェブインターフェースに入ると、ChatとChatGPT Workに分かれていることです。それで従来のようにeffortを使い、エージェントを複数動かして調査などを行う場合には、ChatGPT Workが適していて、Chatは非常に速く応答していました。アプリをアップデートしたところ、アプリではeffortの調整やモデルを変更する項目がすぐには見当たりませんでした。おそらく方法はあるのかもしれませんが、応答は非常に速かったです。ですから、おそらくInstantを以前のように使う仕組みになっているようで、少しずつ理解していく必要がありそうです。今のところ、ライブ配信で興味深かった部分として、
再帰的自己改善に関するエピソードがありました。それで、私たちが何度もご紹介した、昨年10月31日、いえ、30日ですね。30日にautomated AI research internを紹介する。9月に、2020年9月に、そして2028年3月には、完全自律型のAI researcherを作る、AIであるAI researcherを作る、としていたのですが、今回の発表では、Solが最も小さなモデルであるLunaをpost-trainしていました。どのようなpost-trainなのかはよく分かりません。SFTをしたということなのか、それともRLをしたということなのかはよく分かりませんが、重要な何らかの資産が出てくる部分や、数字が出てくる部分は伏せた上で、プロンプトも一部公開されましたが、内容は平凡です。ところが、そのプロンプトを使って、実際の業務で使えるLunaをSolがpost-trainingする様子を紹介しました。ですから、RSIに関しては引き続きさまざまな兆候が出ていますが、今はThinking Machines Labに共同創業者として移りましたよね。OpenAIにいたLilian Wengが、自己改善のためのharness engineeringという、現在起きている多くのことを整理したharness engineeringプラス自己改善に関する、つまり、とにかく自己改善にはweightをアップデートする自己改善もありますが、ハーネス自体を改善するAutoresearch系の自己改善も可能ですよね。そこで、そうしたものを網羅した投稿をしてくれたのですが、読んでみる価値があります。今は詳しく掘り下げず、紹介だけさせていただきます。
ロ・ジョンソク 核心的なメッセージはweightを改善すべきということですか、それともハーネスを改善するほうが速いということですか？現在はハーネスを改善する方向ですが、
チェ・スンジュン 今のOpenAIのシグナルでは、weightを改善することも自己改善ループで行っているそうです。Lunaをpost-trainしたわけですから。なので、両方とも起きているようです。そして、そうしたことをAnthropicでもちょうど1カ月ほど前に紹介していました。自己改善のためのAIが自らを作る時だ、という投稿をしていましたね。それで価格と速度をざっと見てみると、まさにOpusクラスの価格でした。現在Opus 4.8は入力100万トークン当たり5ドル、出力25ドルですが、出力は少し高いですね。出力がさらに5ドルほど高く、このような価格設定になっています。ですからOpusクラスの価格ですが、私たちが注目しているのはこれがサブスクリプションプランに含まれているという点です。なので、今のところはまだサブスクリプションです。幸いにも。ただ、噂があります。
GPT-5.6の価格体系とGPT-6サブスクリプションの注目ポイント 7:04
チェ・スンジュン GPT-6の噂です。もう登場してから、使い始めてから2カ月ということは、実際にはそれよりずっと前にできていたということですよね。ですからタイミング的に、Claude側のモデルのリリース間隔を見ると、2カ月以下になりつつあるというシグナルがありましたよね。それで今、GPT-6もかなり準備が整った状態だという噂があり、GPT-6は大規模モデル、Mythosクラスになるという雰囲気があるんです。
その場合、OpenAIがそれをサブスクリプションに含めてくれるのか、それとも従量課金にするのかが注目点になりそうです。しかも、それは思ったより遠くないように感じます。そうですね。Fable 5も
パク・ジョンヒョン すでに期限を少し延長してくれましたが、サブスクリプションプランをこれ以上続けないというシグナルが見えていたように思います。OpenAIも収益改善のために当然そうするのではないかと、恐怖で震えています。そうですね。これまでと同じ感覚で使うと、
チェ・スンジュン 1日10万円でも簡単に飛んでいくという話があるそうです。ですから、今おっしゃったように、本来は7月7日に終了する予定だったので、みんな様子をうかがいながら、これをどのタイミングで使うべきか迷っていたところ、7月7日に延長してくれたんです。それで「これのために徹夜したのに」と。そんな反応もありました。それで12日まで使えるようになった、ということがありました。
それからもう一つ面白いのが、Solが出た後に一度リセットしてくれたことです。5-hourとweekly rate limitをリセットしたところ、Thibaultが今回ライブに登場したんです。「I smell fear. 怖いのか？」それで人々がGPT-5.6へエクソダスしてしまうと困るから。ただ、実際にそういう感じはあるんです。
12日にまた様子を見る必要がありますが、GPT-5.6が十分によければ、人々は当然エクソダスするでしょう。なので、これはまだバトルグラウンドなのだと思います。市場がどう反応するのか、GPT-6はどうなるのか。そこが注目点でした。今、スンジュンさんがお話ししている間にCodexアプリがアップデートされたのですが、
Codexアプリ統合とRTSゲームのようなエージェント管理の感覚 9:35
ロ・ジョンソク CodexアプリとChatGPTアプリが統合されましたね。これでもう、単一のChatGPTアプリになりましたね。Codexアプリは別には存在しなくなりましたね。
チェ・スンジュン アイコンをCodexのままにするかどうかは尋ねられましたね。
ロ・ジョンソク 尋ねられたのはそれだけでしたね。それで私も周囲の反応を見ていたのですが、みんなゲームをしているように思えます。
チェ・スンジュン どのタイミングでどのリソースを投入し、どのエージェントを使って何をさせるのかをゲームのように管理していると感じたので、それについて調べてみると、すでに2025年初めからこれはRTSをやっているようだ、StarCraftをやっているようだという話が少なからず出ていたんです。それで、どのタイミングでタンクを投入するか、今の世代はStarCraftをよく知らないかもしれませんが、そういったことを戦略シミュレーションする感覚でやるわけです。それで私も一度それを生成してみたのですが、プロンプトを書くことにはnear-hitやmissが生じるので、ドーパミンが出ますよね。そのためスロットマシンに例えられることは非常に多いのですが、それに加えて今は、これをどう進めるか、管理して、どうやってこの目標を達成するかという話になっていて、rate limitのリセットなどのタイミングを見計らうことも、何かしら戦略を持って行うようになるんです。残量を見て、これを使うか、あれを使うか、effortを上げるか、下げるか。そして、一発勝負に向けてこのくらい準備が整ったら、Fable 5に大きなタスクを一度投げよう、という具合に戦略を立てるようになるそんな感覚があるように思います。ただ、そうしているうちに正気を失うんですよね。
AtCoderで全人間を追い越し、数学的予想を1時間で証明 11:21
チェ・スンジュン 私も経験しています。そして、もう一つ興味深いのが、7月9日にAtCoderというヒューリスティックとアルゴリズムを使った競技大会があります。昨年、話題になったことがありました。なぜならsaihoは、知っている人なら誰でも知っている方のようですが、その分野ではそれでも「自分が1位になった」ということだったんです。昨年の今頃、7月に。そしてこの夏は、IMOでOpenAIがブレークスルーを達成したと発表された時期でした。つまりAtCoder、IMO、すなわち国際数学オリンピック、そうしたもののブレークスルーが起きたのが昨年の夏頃で、それで「Good job, saiho.」とSam Altmanが一度、こうしてshout-outしてくれたことがありましたが、1年後、saihoがまた投稿しました。それでAtCoderが終わったのですが、今のOpenAI、もちろん賞は人間に授与されますが、OpenAIのスコアが人間のスコアよりも桁違いに高くなりました。それでアルゴリズム部門とヒューリスティック部門でOpenAIエージェントは満点の8,300点を取り、どの問題をどう解いたのかは私にもよく分かりません。見ても、おそらく難しくて分からないかもしれませんが。それで、とにかく大差で勝ち、その次にOpenAIがヒューリスティック部門でも人間の参加者全員を上回ったということです。つまり、これがわずか1年で、コーディングでも最高峰の問題を解くということが、昨年にはできていなかったのに、実現したということです。そして数学でも、モデルが出るたびに
OpenAIのSébastien Bubeckなどがいるので数学に関する話をするのですが、別の方から入ったニュースでは、CDNにこっそりこのようなものをアップしていました。これはCycle Double Cover Conjecture、訳すとおそらくサイクル二重被覆予想というものも、また成し遂げた。それで数学コミュニティでは、まだきちんと検証されたわけではありませんが、また数学モデルが性能を示したのですが、これにものすごく長い時間をかけたわけではなく、1時間ほどだったそうです。公開モデルで行ったわけではありません。プロンプトも公開したようです。それで64個のサブエージェントを活用し、グラフ分解、フロー理論、代数的表現、帰納法、埋め込みなどによって、そうしたものをagentic workflowで、わずか1時間で、ある予想を数学に関して解決したという話なので、これも少し調べてみなければなりません。よく分かりませんが、調べてみる必要があるという状況です。関連してジョンヒョンさんと話しているのですが、
Dwarkeshが3Blue1Brownでしたっけ？それでGrant Sandersonにインタビューした内容には、数学に関する興味深い話がたくさんあり、各論として取り上げながら伝えようとしているメッセージにも、興味深いものがありました。ですから、そういうものを一度、次回、私たちが取り上げてみるとよいと思います。それで、こうしたことが自動で行われる時代に、人間の理解などはどうあるべきなのか、といった話を予告編として残しておきます。最近の私の悩みは、前回、私がループの外とループの中という二つのスクールがあるとお話ししましたが、それは二者択一ではなく、こちらも経験し、あちらも経験すべきだということです。理解したうえで行うこと、そして理解はしていなくても、とにかく成し遂げること、その両方を経験することについて考えてみましたが、それもやはり次回、取り上げてみるとよいと思います。
AI 2040の翻訳実験と次回議論の予告 14:29
チェ・スンジュン 最後に、7月9日にAI 2027という有名な予測があったじゃないですか。将来を展望したものです。それでDaniel KokotajloがOpenAIに在籍した後、退社して、Scott Alexanderと一緒に2027というものを作りましたが、AI 2040というものを昨日の未明に発表しました。つまり、GPT-5.6が出る1時間ほど前に発表したんですね。それで私も読んでみなければなりませんが、かなりの分量なんです。しかも英語なので、そのままGPT-5.6 Solに、Codexでこのリンクを渡してローカルにクローンし、韓国語に翻訳したいとだけ伝えました。すると15分後、このように出来上がりました。それで、ずっとこのように、これはLLMが直接翻訳したのではなく、LLMが何らかのツールを使って翻訳したようです。Pythonが動いたりしていました。それで全内容をこのようにすべて韓国語に翻訳しておいたので、読んでみます。どのような内容なのかは、まだよく分かりません。ですが、また興味深い展望があるのでしょう。ひとまず、私が準備したのはここまでです。そうですよね。私たちはICMLの期間中、世界中のトップフロンティアラボにいる
AGI-pilledが主流となったICML会場の雰囲気 16:00
ロ・ジョンソク 研究者たちが来て、さらに各種メディアや企業も来て、本当に多くの人たちに会いましたが、広く共通していた見方があるとすれば、ほぼ全員がAGI-pilledなんです。これはもうほぼ勝負がついたゲームだと考える人たちが主流を占めていました。そして多くの研究が、前回、たしか私がNikhilとインタビューを、シリコンバレーから来た、あるベンチャーキャピタリストとインタビューをして、その人も「ICMLで新たに感じたことは何？」と聞かれたところ、ほとんどの人がAGI-pilledであり、多くの研究がモデルのアルゴリズムなどよりも、どうすればよりうまくevaluationできるか、evaluation metricをどうさらに前進させるか、そうした研究が多かったと話していたことを思い出します。
そしてまた、その中でもLLMを研究している方々はほぼ全員がスケーリング主義者なのですが、LLMに後続するドメインがあるんです。代表的なものとしてAI for Scienceが、最近また大きな注目を集めていますよね。LLMの次にPhysical AIへ移り、Physical AIの次にはAI for Scienceというトレンドを打ち立てようと、皆が努力していますが、そこはまだ二つの派に分かれているようです。スケーリング主義者と、「あんなものでは無理だ。バイオはそんなやり方では解けない」と言う人たちにはっきり二分されているため、集まりでその二つの層が出くわすと、お互いに居心地が悪そうなんです。当分の間は水と油のように、
AI for Scienceをめぐるスケール主義とドメイン主義の衝突 17:03
ロ・ジョンソク そこは混ざらないのだろうと思いますが、スケーリング主義者たちの見方は非常に明確です。この分野では、データとモデルと、より多くのコンピューターに投資することで、Bitter Lessonが支配し続けることになるという事例をあまりにも多く見てきたので、それを支持する集団がいます。また、もう一方の方々の特徴は、そのドメインに長く携わった後に来た方々で、AIの世界に来てからはまだ日が浅いため、Bitter Lessonをこの3、4年間、コミュニティがどれほど強烈に経験してきたかという実感が、まだそれほど湧いていないんです。ところが、自分たちが解決してきた問題や、行ってきた実験があるから、「何も知らない連中がやって来て、どこかのしがないIT屋がやって来て、コンピューターのキーボードを少し叩けば済む問題だと思っているが、ここはそういう場所じゃない」というニュアンス、この二つがはっきり分かれていました。どちらが勝つかは、まだ分かりません。
本当にdomain-specificな何かがあるのか。分からないんですか？
チェ・スンジュン もうほとんど決めたんじゃないですか？ロさん？ 私は決めましたよ。私はスケール主義者ですが、観察者の視点からは、
ロ・ジョンソク どちらが勝つかについて軽々しく語ることはできません。私は個人的にスケール主義に賭けたので、ああしてこうすれば、「それは解ける問題だけど」という感覚はあります。
チェ・スンジュン でも、今年はAI for Scienceの年だと言われていた割には、シグナルはそれほど多くありませんでした。ところが、調べてみたらPeriodic Labsができてからもう1年近く経とうとしているのですが、一生懸命、工場を建てていました。ループを閉じるには実験までつなげる必要がありますが、まだそこまではできていない状態です。でも、RLのほうにも非常に力を入れていました。Periodic Labsもです。ええ、現実世界では時間がかかるでしょうね。
ビッグテックのブースツアーと採用中心の展示会場 19:38
ロ・ジョンソク それでは、ICMLの話をそろそろ本格的に始めましょうか？ジョンヒョンさんはICMLのブースをたくさん回られたので、その辺りのお話を一度聞いてみましょう。私も行くべきだったのですが、
チェ・スンジュン 海外で開かれる学会が韓国に来たときに参加するチャンスだったのに、行けませんでした。
ロ・ジョンソク COEX周辺は大変な騒ぎになりました。本当に人が多かったです。まず、私もICMLに行ってきました。
パク・ジョンヒョン 基本的には学会なので、論文発表が中心ですが、中でも特に最近は業界の影響力が強いようなので、まずスポンサー企業のブースを回り、どのような企業が多く来て、こうした動向を注視しているのか、貢献しているのか、そういった点を見ていきたいと思います。
チェ・スンジュン ところで、申し込み自体はどうされたんですか？私はプレスでした。
パク・ジョンヒョン 私はプレス枠で事前にプレス申請をして、誓約のようなものも行い、登録して参加しました。それで、まず人がものすごく多かったです。ノベルティもたくさん配っていて、パーカーをもらおうと大勢の人が長い列を作っていました。大きなところでは、当然ビッグテックが勢ぞろいしていました。OpenAI、Google、Apple、Meta、Amazon、Microsoftのような企業がすべて来ていて、ほとんどが似たような運営方式でしたが、lightning talkのセッションを開き、社内の研究者たちが来て、自分たちが取り組んでいることを紹介する場や、交代しながら常に研究者たちが常駐し、聞きたいことがあれば、人が訪れた際に答えるという、そういう形で運営していました。私たちのスターの一人であるNoam Brownも来て、写真を撮られているのを見たのですが、残念ながら私はその時間にはいなかったので、会えませんでした。そして実際に行っていろいろ話してみると、
疑問にはある程度答えてくれますが、最大の目的は、どこも採用でした。やはり世界的に大きな学会なので、特に卒業を控えた大学院生が多く、その学生たちを採用することが最大の目的なのだと感じました。そのため、GoogleやMicrosoftのブース、OpenAIなどでは、ブースで「現在はQ&Aを受け付けるセッションです」というような形で、どこも運営していました。Metaもあり、Metaはグラスを出していたので、そのグラスを実際に一緒に使ってみられるセッション、そういったものも運営していました。それから、同様に
韓国でビッグテックに近い立ち位置の企業としてNaverがありましたが、Naverもほぼ同じように運営していました。そのため、Naverの各分野の研究者が皆ブースに常駐していて、「私はこういうことが知りたいです」と言うと、関連研究をしている研究者にできるだけつないで、話ができるようにしていました。それで私もNaverでは、ロボティクスに取り組んでいる方にお会いして、どのように進めているのかなどを伺い、いろいろなお話を聞くことができました。それから、ビッグテック以外にも、それなりにフロンティアラボと呼べる企業がありましたが、特にMistralの場合はフランス系の企業で、現在、韓国で創業メンバーを採用していました。韓国に支社を開こうとしているようでした。
中国系企業のブースと中国人研究者の存在感 22:27
パク・ジョンヒョン それから、中国系企業も数多くありましたが、ByteDanceの場合は、最近、Seedanceが多くの人に好評のようです。Seedanceは動画生成の出来が非常に良いので、それでこの期間中に新しいモデルも公開していました。AlibabaやXiaomiもあり、Xiaomiも最近、大規模なLLMモデルの出来が良く、人々に好評なので出展していましたが、ここも同様に、ビッグテックとほぼ同じように運営していました。興味深かったのは、私が中国系のブースを回りながら見ていたことですが、やはりICMLに論文を投稿し、発表しに来た方の中に中国人学生が非常に多いため、中国語がものすごく聞こえてきました。中国で中国人を採用するために、ICMLにブースを出したような印象を強く受けました。実際、中国人の割合は本当に高いです。
ロ・ジョンソク AI業界は、アメリカにいる中国人と中国にいる中国人が進歩させている、という冗談があるほどじゃないですか？でも、それは統計的にも正しいんです。不思議なことに、インドの方はあまりいません。この分野には。私も同じように感じたのですが、
パク・ジョンヒョン 何といってもICMLという学会なので、論文を発表するセッションが最もメインのセッションですが、そのセッションに行ってみると、本当に半数以上が中国系の名前を持つ発表者で、発表していました。国籍までは分かりませんが、それで「本当に中国系の方々が活躍されているんだな」と感じました。そのあと、ブースをずっと見て回ったのですが、
ネオクラウドとinferenceサービング企業の台頭 24:07
パク・ジョンヒョン 会社が本当に多く、すべてを見ることはできませんでした。大きく分類すると、目立っていたのはネオクラウド企業、GPUを貸し出して販売する企業、inferenceを販売する企業が多く見られたことで、本当にinferenceがビジネスレベルでいよいよ本格的に事業モデルを構築しているんだな、ということを感じました。有名なところではRunPod、Together AI、Nebiusなどの企業がありますが、私も個人的にRunPodをものすごく愛用しているんです。GPUを借りて使っているのですが、こうした企業がありました。その次に、少しだけ注目してみると、その中でも韓国人の方々が、おそらく本社はどこもサンフランシスコに置いているようなのですが、関わっている会社を二つだけ挙げて簡単にご説明すると、VESSL AIという会社がありました。ここも同じようにGPUを買いそろえて、
VESSL AIやFriendliAIなど韓国系インフラプレイヤー 24:56
パク・ジョンヒョン GPUを貸し出して販売する企業でした。私もよく知らなかったんです。ですが、B2Bで積極的に営業されているようでした。ですからLambda LabsのようにフロンティアラボへGPUを丸ごとこのように提供するクラスター提供企業が一つあり、その次に、似たような同じエコシステムの企業としては、FriendliAIという、inferenceを販売する企業があります。ですから、おそらくOpenRouterでLLMモデルをサービングするAPIを利用していれば、このFriendliAIを見たことがある方もかなりいると思いますが、私も直接使ったことはありませんが、一覧に載っていたことは覚えていたんです。
それで、GPUを借りてそこでモデルをサービングし、APIとして販売するうえで、どのような技術的な堀があるのかと尋ねたところ、inferenceをどれだけ効率的に行えるか、latencyや帯域幅の要件をしっかり満たしながら、uptimeを可能な限り99.9%に維持し、さらにinferenceの価格を下げること、これを実現するのが堀だとおっしゃっていました。おそらく、このようなinferenceサービングで最も有名なプロジェクトがvLLMというプロジェクトです。私もこれをよく活用していますが、このvLLMというサービスを作った方に、共同創業者のクォン・ウソク博士がいます。UC Berkeleyで博士がこれを研究しながら作った方だということまで
私は知っていたのですが、尋ねてみたところ、FriendliAIはソウル大学のチョン・ビョンゴン教授がこのラボでこうした研究を行い、そこで生み出した手法を基に創業した会社だそうです。それで、ではvLLMとは何が違うのかと尋ねたところ、クォン・ウソク博士がvLLMを始める前、UC Berkeleyへ行く前に、ここで一緒に論文を書いていたそうです。ですから、ある意味では同じような系統からこのように派生して生まれたプロジェクトだと見ることができそうです。ちなみに、このFriendliAIはオープンソースではないため、私たちは料金を払って使うことしかできません。vLLMとSGLang、この二つが
ロ・ジョンソク inference分野では最も有名だと思いますし、vLLMはPagedAttentionで本当にそうですね。一時代を画した会社ですよね。
最近では、ほとんどのinferenceがvLLMかSGLangを使って行われているようです。
パク・ジョンヒョン そうですね。PagedAttention、それがクォン・ウソク博士の書いたペーパーで、それを基にオープンソースプロジェクトになり、さらに会社にまで発展したケースだと言えそうです。
チェ・スンジュン ところで、ジョンヒョンさんはそれをどのような文脈で使っているんですか？
パク・ジョンヒョン vLLMをですか。私はオープンモデルを入手してサービングし、それでinferenceを実行するとき、普段は先ほど話したRunPodからGPUを借りてvLLMを載せ、そこでモデルをサービングして使用しました。
そこでモデルをサービングして使用しました。
パク・ジョンヒョン ご自身で使うときですか？はい。普段、私たちがプロジェクトを進めていると、自分たちで直接サービングして、inferenceしたデータだけを使ったプロジェクトがかなりあるんです。セキュリティ上の問題など、さまざまな事情から、そうした場合に主に使っていました。最近のAI業界は
総合芸術になりつつあるAIインフラスタック 28:11
ロ・ジョンソク ほとんど総合芸術になりつつあるじゃないですか。以前はfine-tuningをするだの、何かをするだのという話があり、その後は単にフロンティアモデルにRAGをするのがよいとなり、ハーネスのブームが起きて、みんな一斉にそちらへ押し寄せましたが、そちらもあまりに重くなってきたので、小さなtaskはもう一度まとめて、単体の小型モデルに入れ、それをinferenceに使うほうがよい、というトレンドへ向かっているため、RAG、ハーネス、fine-tuning、post-train、データセット、こうしたものがすべて一つに結び付いて動いているように思います。そうなると、inferenceもモデルのサイズや、workloadの種類、prefillが適しているのかdecodeが適しているのかによって、戦略を完全に変えなければならないので、この分野の方々の話を聞いていると、詳しい方々はほとんど総合芸術をやらなければならないんです。
それで先日もNikhilの収録をしていたのですが、シン・ジョンギュ代表が率いるLablupで収録したんです。それが終わったあと、ご紹介も兼ねてNikhilとシン・ジョンギュ代表をご紹介したのですが、Nikhilが、私は後ろで片付けをしていてミーティングには同席していなかったのですが、1時間ほどして出てきながら、「うわ、あの人は何者なんだ」と言ったんです。シン・ジョンギュ代表を褒めながら、自分はICMLに来て数日間、数え切れないほど多くの人に会ったけれど、たった今ジョンギュさんと1時間ミーティングしたことに比べたら、得るものがなかったと言っていました。それで、下層のチップからデータセンター、inference、アプリケーションのworkloadに至るまで、ほぼ基礎からすべてを知り尽くしている人だと評し、「なぜあの会社はデータセンター事業に参入しないんですか？取り組むのに最も適した会社のように思うのですが」と質問したので、「あの方は忙しすぎてできないから、私たちがやってみようか？」なんて冗談を言ったのを覚えています。そのように各社が参入してきているのですが、
今になって参入した方々がこれを一度に理解するには、勉強すべき前提科目が非常に多いという印象です。しかし、それを理解しているプレイヤー同士では、その総合芸術ともいえる、あるレベルでこの業界について議論しているというのが、今回、私が感じたことの一つでした。
チェ・スンジュン それは「やって、やって」では済まないティアだということですね。
ロ・ジョンソク 「やって、やって」が完璧に成り立つようにするには、その下にさらに多くのものが必要だということなのだと思います。総合芸術からもう一歩先へ進むと、
専用アクセラレーターとハードウェア最適化エコシステムの拡大 30:45
パク・ジョンヒョン ここまではNVIDIA GPUをベースにしたクラスターを貸し出す事業や、あるいはそこでinferenceを最適化する事業でしたが、もう一つあるのが、本当に新しいチップを作ることです。アクセラレーターです。こちらはご要望により写真を載せていませんが、私たちのAIフロンティアチャンネルにも出演されたイ・ジヌォンさんがCTOを務めるHyperAccelもブースを出していました。それで、専用アクセラレーターを近く発表する予定だそうですし、OpenAIも最近ここにかなり注力しているようです。それで、Cerebrasという専用チップ上で実際にGPTが動いていて、その次にBroadcomと共同でinference専用チップをおそらく設計し、近く発表するという話も聞こえてきているようです。そのため、同様にアクセラレーターを実際に作る会社、そして、さまざまなアクセラレーター上でどうすればLLMをうまく動かせるかを最適化するNota AIという会社など、このようにエコシステムが、ハードウェアとそれに最適化してLLMをサービングするところまで、ビジネスモデルとして確立されたようです。先ほどGPT-5.6について私たちが話しながら、
サブスクリプション制から外れることを少し怖がっている、私も個人的に怖いと話しましたが、そうであれば、私たちにとって価格面での選択肢は、おそらくGLMやオープンソースの中国モデルをこうしたところでサービングし、それを私たちがもう少し安く利用することが選択肢になり得るのではないか。そう思いました。
チェ・スンジュン Nota AIが最適化するというのは、何を最適化するのですか？私もあそこについて正確にはよく分かりませんが、簡単に説明を聞いたところでは、
パク・ジョンヒョン 例えばQualcommのチップの場合、内部にNPUがあります。そうしたところにLLMを載せて動かさなければならないニーズがあり、それを支援する役割だと理解しています。
チェ・スンジュン スケジューリングなどの分野かもしれませんね。よく分かりませんが。おそらくポーティングの話だと思います。
パク・ジョンヒョン ハードウェアがそれぞれ異なるので、そのハードウェアに合わせて、例えばそこでサポートされるquantizationやALUなどに合わせてquantizationを行ったり、あるいはメモリを分割してTransformerをどのように組み上げるか調整したりする、そういう話だったと思います。おそらくNota AIはもう少し幅広い事業を手がけているのでしょうが、私が聞いたところでは、そうした仕事もしているとのことでした。
チェ・スンジュン HyperAccelはBから始まるチップの話でしたよね？
パク・ジョンヒョン そうです。おそらく近く公開されると思います。その次はA、B、Cを中心に、このように
ロ・ジョンソク チップをA、B、C、Dというコードで展開しているようでした。そういう展開なのですか？
パク・ジョンヒョン 昔のAndroidのようなネーミングですね。次の企業群を分類すると、データ関連のブースもかなりありました。その中で最も有名なのは、やはりScale AIです。つまり、私たちはどのようにデータを作って販売するのか。ただ、ここも学会なので、自社事業の宣伝よりも、学生の採用を主な目的として、研究成果をアピールするようなブースだと私も感じました。それから私も初めて聞いたのですが、今回はVoxel51やTolokaといった会社があり、特にPhysical AI向けのデータを収集して販売していました。というのも、先ほどScale AIのお話がありましたが、ロボット分野には、Scale AIがデータの段階で対応するのが難しい部分があるからです。そのため、関連データを収集する企業がかなりありました。このように企業のブースがあり、その中で少し印象深かったのは、私は存在を知らなかったのですが、ブースがものすごく大きかった会社です。Handshake AIという会社で、ここは主に学部生や大学院生に連絡を取り、それぞれが専攻する分野があると思いますが、例えば数学科の学生なら、かなりの数学分野の専門家、あるいは特定の言語が得意な学生なら、その言語の専門家として、このように学生を集めて、その学生たちに「このようなデータを作ってください」と依頼します。そして、そのデータを集めてフロンティアラボに販売するというビジネスモデルを展開しているのですが、規模は思っていたよりも非常に大きいようでした。そのため、米国ではかなり有名だそうです。
Scale AIとHandshake AIから見る専門家データ市場 33:28
ロ・ジョンソク MercorやAfterQueryのような会社がデータセットを作る方法も大きくは変わらないので、これはむしろ、よりオープンソーシング的な方法で拡張したようですね。
チェ・スンジュン いずれにせよ、専門家のデータを集めているのですね。
ロ・ジョンソク ドメインがfinanceであれlegalであれ、physicsやchemistryであれ、このように決まった後、そのドメイン内にどのような領域が存在するのかは、AIであれフロンティアラボであれ、知る方法がないので、今のああした会社は、かつての検索時代における一種のクローラーの役割を果たします。ドメインの奥深くに入り込み、そのドメインを広げていきながら、その中にある数多くの細分化された分野について、何らかのintent、つまり意図を人間が設定し、そうするとデータセットの形成は、モデルが再構成して持ってくるのです。人が直接書いているデータセットは、私が見る限り、存在しないように思います。ただ、その中でモデルがデータセットを作り、
一つの完成されたpost-trainセットに仕上げるには、最終的には、それをよく理解している人がevaluateしなければならないので、かなり多くの人手が必要です。非常に高度な領域には報酬の高い方々に入ってもらう必要があり、そうではないコーディングや、数学、物理、いわゆる国語・英語・数学のような領域は学部生レベルでもできます。つまり、あれがHandshake AIなど、あるいは私たちにもなじみのあるデータセット企業が採っている方式なのですが、その方式の実に面白いところは、そうやって新たなデータ領域を創出した後、それをフロンティアラボに持っていって売るということです。
彼らもいずれにせよ、データのカバレッジを広げなければなりませんから。それで、あるラボがある程度買ってくれれば、ほかのラボにもそれをまったく同じようにすべて売ることができ、そういう市場なのだと思います。そして依然として、データセットが増えれば増えるほど、それがモデルの性能向上につながるということもあり、フロンティアラボはあのデータセットに莫大なお金を使っていると認識しています。
チェ・スンジュン 名前が意味深ですね。Handshake AI、少し不吉です。このように分類すると、ネオクラウド企業がかなりあり、
パク・ジョンヒョン データコレクター企業もありました。モデルを研究するラボ以外では、これが大きな分類、私が感じた大きな分類でした。その次に、いくつかのブースの中から私が取り上げたいところを持ってきました。General Intuitionという会社です。これは私の個人的な友人であり、私たちのsudoremoveチャンネルで共同ホストを務めているJCがぜひ行ってみてと勧めてくれたので、行ってみたのですが、ここにはMedalというゲームプラットフォームがあります。これはゲーマーがゲームをしながら、今回は本当にうまくできたと思う場面をクリップとして切り出し、共有できるプラットフォームなんです。そのため、ゲーム映像データが膨大にあるプラットフォームです。しかも、重要な点の一つとして、ゲーマーのinputも一緒に取得しているんです。そのため、どのキーを入力したときにゲームがどう変わるのか、通常、映像だけだとそのinputキーがないため、アクションに該当するinputデータがないんです。ですから、このようなデータがあり、最近私たちが話しているworld modelにまさに有利なデータを持っているところです。
ゲームデータでworld model「MIRA」を作るGeneral Intuition 37:24
パク・ジョンヒョン そこからGeneral Intuitionという会社を立ち上げ、そこから生まれたMIRAというworld modelがあるのですが、このモデルをここでデモしていました。それで、私たちはこれについて気になって尋ねてみたのですが、Rocket Leagueという、欧米では有名な、ミニカーのようなものでサッカーをするゲームがあるんです。私も正確にはよく分かりません。ただ、そのゲームは通常、私たちがキーを押すとgame engineとプログラムが動作してrenderingし、私たちがその画面を見るわけですが、そうではなく、単にworld modelが私たちに画面を送ってくれるんです。従来の方式は完全になくなり、ゲームを物理シミュレーションだと考えるなら、world modelがシミュレーションしてくれるわけです。そんな感じのモデルを作ってデモしていました。
それで、technical blogもかなり公開されていました。私はこれが公開されているとはよく知らなかったのですが、現地のブースで尋ねながら、どれほどのデータで学習したのか、model sizeはどのくらいかと聞いたところ、そういった情報がかなり多くありました。まず、5Bパラメータで、現在の一般的なvideo modelと構造が大きく異なるわけではありません。5Bである理由は、LLMと比べるとモデルが非常に小さいのですが、このくらいでなければ、リアルタイムで私たちがinputを入れたときにフレームが次々と出てきて、interactionが可能にならないと考えているようです。そのため、多くのvideo modelも14Bや5B、7B、このくらいのサイズになっているようです。
それから、ここではRocket Leagueの1万時間分で学習されている、というデータがあのtechnical reportに載っているようです。これはエージェントに調査させたものですが、私が現地でどれほどのデータを学習したのかと尋ねたところ、「詳しく話すことはできないが、YouTube scaleだ。」と答えていました。本当に大量のデータを使ってvideoを学習したと話していて、それから、ここは投資、ここも非常に多くの投資を受けていることで有名です。Seedと、少し前にはSeries Aまで受けたそうです。ただ、私が感じるには、ここのビジネスモデルの一つとして大きく成功し得るのは、データを大量に持っていることなので、データをフロンティアラボに販売しているのかと尋ねてみたところ、それは自分たちの堀なので、できる限り販売しないようにしているとのことでした。投資を受けたのなら販売してもよさそうですが、おそらくそうさせるために、上で挙げたところがみんな投資したのだと思います。しかし、投資を受けても販売せず、今は販売していない、自分たちでworld modelを作って販売するつもりだと話していました。そのため、これは少し印象に残りました。あの会社が初めて投資を受けたとき、
ロ・ジョンソク 私も非常に興味深く見ていた記憶があります。まだあまり知られてはいませんが、あの会社が持っているデータセットは非常にユニークなようでした。
パク・ジョンヒョン ゲームのkey logも一緒に収集したという点は、アクションドメインではかなり価値が高いだろうと思います。General IntuitionのMIRAというworld modelの話でした。次はElevenLabsです。これは私が個人的に最近かなりよく使っていて、関心があったので尋ねてみたのですが、ElevenLabsからも担当者の方が来て、特にScribe、音声をテキストに変換するSTTあるいはASR、speech recognitionと呼ばれるものですね。その担当者の方が来て、「私たちはこのように作っている。」といった話をたくさんしてくださいました。それから、特に気になっていたことの一つとして、METRのブースがあったのですが、
ElevenLabs ScribeとMETRのブーススケッチ 41:17
パク・ジョンヒョン METRのブースにはずっと人がいなかったので、話をすることができませんでした。これがとても残念でした。
ロ・ジョンソク あのブース一つで3万ドルだと聞きましたが、なぜ来なかったのでしょうか？はい。私もそう聞きました。私は4万ドルだと聞きましたが、
パク・ジョンヒョン おそらくこの場所が4万ドルだったのだと思います。隣にシンガポール政府から来た方々がいたのですが、自分たちは期間中、一度も見かけなかったとおっしゃっていました。何か事情があったのだと思います。そして、さまざまな研究を行っている
別の企業もいくつかありました。ここは手短に済ませて、次に、もう一つ分類すると、クオンツやトレーディング企業が非常に多くありました。
ブースも非常に大きかったです。ただ、その企業については、私が個人的に行っても会話できるほどのレベルではなかったので、詳しく見ることはできませんでしたが、とにかく、このような大きなカテゴリーもありました。どこも採用を目的に出展していたようです。このような感じです。
ロ・ジョンソク 本当にexhibitionブースがものすごく大きかったようですね。大勢の人が入っていっていました。私は中が人でいっぱいだったので、入る勇気が出ませんでした。
パク・ジョンヒョン ブースにも長い列ができていて、人気のあるブースでは一度話をするだけでも少し大変でした。そのため、私も半日以上いましたが、すべてを見ることはできませんでした。
サイドイベントとRobotics Nightの現場の熱気 43:00
ロ・ジョンソク そうですよね。それで周辺ではミーティングも多く、毎日の昼食時には、あちこちからフロンティアラボの研究者たちが集まって昼食を取る部屋があり、私もそこに入って、いろいろな昼食会について回りましたが、皆若く、Google DeepMind、それからOpenAI、そのあたりでした。OpenAIとGoogle DeepMindの人たちはよく一緒に集まって行動していましたが、Anthropicの人たちは一緒に固まって行動していませんでした。それが少し特徴的な点でした。来ていた人数が少なかったからか、あまり目立ちませんでした。これはスポンサーのブースや公式行事とは別に
パク・ジョンヒョン サイドイベントがたくさんあり、そのサイドイベントに行って私が撮影したものの一つです。ロさんもサイドイベントをたくさん主催されていますし、参加もされているようです。それから私は、その中でもRealWorldが開催するRobotics Nightというイベントに行き、このようなデモを見ました。そこにも非常に多くの人が来ていて、百数十人ほど来ていたと思います。そのため、ロボティクス関連の研究をしている方々に非常に多くお会いし、話をすることができました。ロボティクスは、やはり特定のドメインなので、分野自体の密度がやや高いと強く感じました。その中にはToyota Research Instituteのような業界から来た方々もいましたし、あるいは学界の大学院生や、特に研究に取り組んでいる研究者の方々もかなり多くいました。そこでは大半の人が、先ほどお話しされたように、scaleが正解だ、あるいはdomain knowledgeをいかにうまく活用するかが正解だ、と意見が分かれていて、RLをどう行うべきか、RLもここでは行わないほうがよいのではないか、など、非常に多様な話が出ていて、人々が互いにとても活発に議論していました。
そのようなイベントに参加しました。
それからロさんのイベントにも、予定が重なっていたため少しだけ立ち寄り、長くはいられませんでしたが、そこで私が個人的に感じたのは、密度が非常に高いということでした。また、サンフランシスコから来た方々が非常に多かったのですが、最近話題のtoken maxxingをすべきだ、そんなものは無駄で、効率的に行うことが重要だ、といった話が多くある中で、その方々の会話を私が聞いてみると、あるスタートアップでは、一人当たりper weekで1万ドル分のトークンを使うとおっしゃっていました。すると別の方が、「どうしてそれしか使わないのですか？なぜそのように制限しているのですか？」といった具合に話していました。「私は一日に2万ドル分のトークンを使うこともありますよ。」その話を聞いて、本当に今、同じ世界に生きているのだろうか、と思いました。どうすれば、それほどのトークンを使いながらROIを生み出せるのだろう？ビジネスをさらにうまく進めるためにトークンを使い、価値を生み出せるものがあるのだろう。そのようなことを感じました。何を作ったのかも、一度きちんと聞く必要があります。
1日2万ドルのtoken maxxing目撃談 45:02
ロ・ジョンソク token maxxingと何らかの成果物の品質、それらのevaluationがすべてpairとして連動してこそ評価が可能なのであって、「私はトークンをこれだけ使った」ということだけで何かを評価してはいけないというのが、私の考えです。token maxxingの時代は少し過ぎたのではないかという話も、多くの人がしていたと記憶しています。私もそれが気になって尋ねてみたのですが、
パク・ジョンヒョン 詳しく話すのは難しいようでした。膨大な数値を扱い、データを集約するため、それほど使う必要がある、とだけおっしゃるのを聞いて、そのような仕事なら大量に使うこともあるのかと思いました。
ロ・ジョンソク それはあり得ますね。
チェ・スンジュン はい。2万ドルなら、一日約330万円ということですか？
ロ・ジョンソク そうです。それは本人のサブスクリプション料金プランから逆算したものですか？それとも、実際にそれだけ使ったということですか？
パク・ジョンヒョン はい、それを尋ねたのですが、すべてenterpriseで使っているそうです。enterpriseではサブスクリプション料金プランを使うことが、おそらくTerms of Serviceに違反するようです。そして、そうなるとフロンティアラボの立場から見て、Anthropicのような企業の立場から見て、個人がサブスクリプションで使う量が多いのか、それともenterpriseで使われるトークンが多いのかと尋ねたところ、enterpriseで消費されるトークンの量が圧倒的に多いとおっしゃっていました。ひとまず、私からの共有はここまでにして、イベントは今日が土曜日の午前で、
土曜日と日曜日の二日間がまだ残っているので、機会があれば来週もう一度、続きをご紹介したいと思います。
チェ・スンジュン ところでジョンヒョンさん、先ほど見せてくださった資料はAIフロンティアのサイトになっていましたね。
パク・ジョンヒョン はい、今回は資料をAIフロンティアのサイトに追加する形で作りました。おそらく今後、私たちが共有する資料があれば、そこに引き続き、できる限り追加していこうと思います。ありがとうございます。それがいいと思います。
ICMLの真のメインイベントとなったネットワーキングとパーティー 47:50
ロ・ジョンソク ICMLのメインイベントもメインイベントですが、周辺の飲食店やコーヒーショップ、それから夜に開かれるパーティーをあちこち行き来するのに慌ただしいじゃないですか。だからメインカンファレンスより、そちらのほうがメインなのではないかと思います。それに、フロンティアラボの方々はそこで論文を読んだり勉強したりするために来るというより、遊びに来る目的も半分以上を占めるので、たいてい以前に済州島へ行っていたり、そうでなければ終わってから済州島へ行ったり、あるいは釜山へ行ってきていたり、釜山へ行ったりします。韓国という国自体の人気も高いので、今回のICML参加者数はほぼ過去最多だと聞きました。そのため、あるところでは1万人と言い、あるところでは1万4千人、1万5千人と言っていますが、私は毎日COEX周辺を行き来しながら暮らしていて、そこが私の主な仕事の拠点であるにもかかわらず、COEXにこれほど人が多かったことはないように思います。しかも、そこにいる人たちも、洗練された外国人というより、私たちと似たようなエンジニアで埋め尽くされていて、その人たちが行き来しているので、「おい、これはちょっと変だぞ？」何だかサンフランシスコに戻ってきたような気分、そんなふうに少し思いました。女性の比率はそれほど高くなく、理系男子の比率が高かった、理系男子の密度が圧倒的だった一週間だったように思います。それで私たちも複数のサイドイベントを主催し、
私自身も参加したのですが、今週の月曜日からほぼ今日の夜まで数えると、月、火、水、木、金、土、日の夜をすべてパーティーで過ごしているところです。火曜日の夜からお話しすると、火曜日はDelta InstituteとStriker VC、Recursive Intelligence、そしてIllorianという会社が、すべてポートフォリオでつながっている会社です。Striker VCが投資した会社で、Strikerは、私たちが少し前に収録したNikhilがパートナーを務めているベンチャーキャピタルなのですが、この会社も非常に面白く、そこに来ていたエンジニアたちの密度も非常に高かったです。それで私の記憶に残っているのは、Mistralから来たリサーチャーと話しながら、いろいろな話をしたことですが、内容は大きく異なるものではなく、自分たちは米国市場で何らかのpresenceを作ることを多少重視している、と。それから、社内にある機密データについて尋ねると、当然、このように手を振りながら教えてくれない、ということもありました。会った人の中に、Flapping Airplanesという会社があって、
Flapping Airplanesと次世代モデル・パラダイムへの賭け 49:26
ロ・ジョンソク 私はFlapping Airplanesと聞いて、これはflapping、つまり鳥がこう羽ばたくことだけど、何をしているんだろう？何かの航空シミュレーション会社なのかと思い、人が多すぎて騒がしかったので、耳を澄ませて聞いてみたのですが、私が前回もエピソードでお話ししたように、新しいモデルを作ろうとしている会社があるじゃないですか。SSIレベルで、何かトランスフォーマリズムは間違っている。はるかにdata-efficientに、はるかに速くfew-shotでlearningできるモデルが登場しなければならない、と主張する集団があるのですが、そうした集団の特徴は、非常に頭のいい人たちで構成され、10人から20人、多くても30人で構成されていて、スタート時のvaluationも1,000億円単位で、調達する金額も数百億円単位なのですが、Flapping Airplanesも設立から1年も経っていないと思います。数か月前に最初のシードラウンドを行ったのですが、1.5B valuationなので、日本円で約2,300億円ほどのvaluationで、約200億～300億円ほどの資金をシードファイナンスで調達した会社なのですが、その彼とは昨日の昼にも再び会って、天才の匂いがじわじわ漂ってきたので、「もう一度だけ会おう」と言って、昨日ランチをごちそうしながら、いろいろなことを尋ねてみたのですが、
最近Twitterで流れている、ああいう話があるじゃないですか。フロンティアモデルを作るレシピには、実のところ特別なものはない。すべて公開されていて、互いに知られているレシピであり、ただ、それをそのスケールで、資本のリスクを負いながら実行できる会社が数社しかないだけだ、と公然と語られていますが、そうした点については当然だ、と。お互いのレシピをすべて知っているのは事実で、それから、どのようなアルゴリズムが進歩しているのか、どのポイントに足場を築いて進んでいるのか、そういった点について話した記憶があります。
チェ・スンジュン 20代ですか、30代ですか？20代だと思います。その彼もStanfordを卒業して、
ロ・ジョンソク Citadelという金融会社があるんです。その会社にいた後、そちらへ移った人でした。
パク・ジョンヒョン どうすればそれほど高いvaluationを得られたのでしょうか？
ロ・ジョンソク さあ。それは聞きませんでしたし、彼はその会社の社長ではないので、おそらく、それに対する価値を市場が非常に高く評価しているのでしょう。その程度のvaluationで、それほどの金額を投じられるベンチャーキャピタルは、非常に有名な会社です。どれもSequoiaやa16z、あるいはIndex Venturesのように、シリコンバレーでも小規模なファームではなく、超大手のファームなんです。それで、その超大手のファームが、以前、SoftBankのMasayoshi Sonが新しい会社に目をつけ、他社がどこも10億円、20億円を資金提供していたときに、数百億円単位の資金を1,000億円単位のvaluationで投じ、その会社を資本面で圧倒的に優位にし、マーケットリーダーシップのポジションを確立させることで、ある市場で優位に立たせる戦略をよく使っていたじゃないですか。
ところが今では、Bay Areaでも先を行くファームがその戦略をベンチマークしたのだと思います。その会社は、「ここは非常に有名で優良な会社であり、人材面でも、行っている研究の面でも、「これほどの価値がある」と彼らが一種のdeclareをするわけです。宣言しているのだと思いますし、そしてBay Areaにあるフロンティア企業の資本規模が非常に大きいため、それほどのvaluationは、先行するベンチャーキャピタルがその水準を認めたのであれば、そのまま認めて受け入れる雰囲気が多少あるんです。彼らにも後から受け入れてくれる人たちがいて、頼れる当てがあるから、それほどのvaluationを付けるのだと思います。それに、私たちより多くの情報を知っているでしょう。もちろん、そうしたトレンドは非常にリスクが大きいですが、もしトランスフォーマーではない、トランスフォーマーの本当の次のcandidateを作ることさえできれば、莫大なreturnが期待できるという期待がそこに織り込まれているように思います。やはり何かあるようですね。
チェ・スンジュン つまりJerry TworekもOpenAIを出て、スタートアップを立ち上げたじゃないですか。まだstealthなのかどうかは分かりませんね。時折そういう話が、新しいことをしているという話が聞こえてくるところを見ると、やはり何かあるようです。そうですね。でも、彼らに聞いても絶対に何一つ話してくれません。「これが問題だ。
ロ・ジョンソク 非常に大きな問題だ」ということだけを曖昧に話して、あれこれ言いながら話をそらすのですが、やろうとしているのは、next transformer paradigmのモデルが必要だということです。その人が印象に残りましたし、私たちは水曜日にAIフロンティア・コリア、私たちのポッドキャストですね。私たちと米国のSemiAnalysisの両者が共同主催するAI Industry Nightを開きました。そこで当初はLablupに20人ほどだけお招きして、軽く食事をしながら話すつもりだったのですが、とても素晴らしい方々から多数のお申し込みがあったので、予約金を諦めてキャンセルし、急きょ前日にvenueを広い場所へ変更しました。それで幸いにも、Lablupのシン・ジョンギュ代表が会社を貸してくださり、その会社のロビーに40～50人ほどをお招きして、来ていただいて話をしました。ジョンヒョンさんが先ほどおっしゃったように、
AI Industry Nightとデータセンターのバリューチェーンをめぐる対話 55:35
ロ・ジョンソク サンフランシスコから来たベンチャーキャピタルやOpenAIの研究者、あるいはネオクラウド、AMD関連の仕事をするTensorWaveを含め、非常に興味深い方々が大勢いらっしゃいました。また韓国側からはSK Squareや、HyperAccelのイ・ジヌォンさん、それからイ・ドンス博士もいらっしゃいましたし、LG電子からも多くの方が、暁星重工業からもいらっしゃり、主にデータセンターからチップサイドまで関心をお持ちの方々に集まっていただき、主にいろいろな話をしました。話したことのほとんどは、データセンターのバリューチェーンで現在どこがボトルネックで、どの企業が何をしているのか、それから韓国にはどんな機会があるのかということで、意外にも韓国についてあまりご存じないんです。SKハイニックスとサムスン電子とBTSくらいが、外国人から見た韓国のすべてなんです。そこで、メモリ以外のその前段にあるバリューチェーンで、韓国のデータセンター事業はどのように構成されているのか、電力事情はどうなのか、そこに参加している事業者には、SKのような大手事業者のほかに小規模事業者もいるのか、どのように準備しているのか、こうしたことを一通り尋ねられたと思います。それで非常に多様な話が交わされ、またOpenAIのロボティクスやpost-trainingに携わる人、それからGLMからもエンジニアの方がいらっしゃって、GLMの話をして、「韓国ですごく人気があるけど、知ってる？」と聞いたら、「いや、全然知らなかった」と。そんな話もしたのを覚えています。木曜日は私とMatthew Kim代表がAfterQueryという
バイオAIミートアップとvirtual cell論争 58:01
ロ・ジョンソク 会社と共同主催してYacht Nightを開いたのですが、この日は大雨のせいで道路も渋滞し、あれこれあって少し大変でした。それでも会場へ行き、そこに来ていた研究者の方々と話をしました。そして金曜日は、私が最近事業をAIとバイオのサイドへ転換しようとしているため、金曜日、土曜日、そして今日まで、私もこれが終わったらまたワークショップへ行ってみるつもりなのですが、ICMLのメインチュートリアルセッション、何でしたっけ？メインカンファレンスが終わると、その後にワークショップセッションがあるのですが、ワークショップセッションには面白いものがたくさんあります。それで私は主にバイオやAI for Science関連のセッションを聴いているのですが、昨日GenBioのセッションが一つあったので、そのGenBioに来ていた参加者を対象に、私たちが口コミで告知し、バイオとAIの交差点にいる方々だけをお招きして、一度ミートアップを開きました。そこで食事をしながら、いろいろな話をしました。Arc Institute、それからNVIDIA、そしてAnthropicからもいらっしゃいましたし、主にバイオとAIのサイドで活動している方々、Harvardにいる方もいらっしゃるなど、そうした方々が、先ほどお話しした議論が起きた現場にいた方々でもあります。マキシマル・スケーリストと、
「おい、そんなやり方では駄目だ」と言う人たちに少し分かれていて、面白い話なのですが、私は自分たちのテーブルでNVIDIAの方と、Arc Instituteから来た方々、そしてHarvardで博士課程を途中で辞め、起業したある面白い人と一緒に座っていたのですが、一人が私たちのテーブルにいたものの、別のテーブルへ逃げていきました。それで後から話を聞いてみると、別のテーブルへ行って、「あのテーブルは危険なテーブルだ。スケーリストの理想主義者たちが集まっていて、バイオに対して非常に危険なアプローチを取っている。あんなふうに解ける問題ではないのに」と言っていたそうです。ただ、私がたくさん話した方は、Arc InstituteでEvo 3モデルを作っている方だったのですが、現在のDNAファウンデーションモデルの問題は何なのか、いずれもvirtual cellを作るにあたって、すべてのラボがvirtual cellについて語っていますが、そのvirtual cellに対する概念が、どれも全部違うんですよ。それからバイオ分野については、私も少しずつ分かってきたんですが、まず、データがLLMほど多くはありません。インターネット上にあふれているテキストや、Videoデータがあるわけではありませんから。ラボごとにデータがかなり細分化されていて、そのデータ量が多いからといって、すべてが決定的なデータというわけではないんです。例えば、実験をする際に実験を準備するなどのプロセスがずっと続き、最後に何らかの反応を起こさせた瞬間に反応が現れ、時系列で得られるデータがあるとすると、有益なデータの区間は後半の数分から数時間にすべて集中していて、前半部分は一つに圧縮することもできるデータなんです。ところが、現在バイオデータというと、前半のデータまで含まれており、製薬会社を例にすれば、非常に多くのデータを持っていて、私たちは数百万件の実験データがあると言いますが、多くの方がその不都合な真実として語るのは、実際、そのデータの中で本当にtrainingに使えるデータとしての価値を持つものは、ごく短い瞬間である場合が多いということです。そのため、まだ全般的に現実的な限界はあります。
このスケールを追求するためのcomputeは用意できても、それをtrainingできるだけのデータセットはまだ足りないという認識はありますが、現実を超えた楽観論もそれぞれ少しずつあるように思います。それはこう解決すればいいのではないか、と。それで、前回もお話ししましたが、従来のバイオパイプラインから来た方々は、そのドメインから出発し、それを実現するために先に満たすべき条件などがあるので、本当にdomain-specificな形で問題がすべて具体的に定義されています。一方、コンピューターサイエンスから出発した方々は、スーパー・ジェネラリストです。そこで、こちらの人たちの見下した表現を少し借りるなら、どこでもまともに学んでこなかったコンピューター屋がやって来て、あれを何度かやればできると思っているが、この世界はそんな世界ではない、というニュアンスでお話しされていた記憶があります。でも、このカンファレンスの良さはそこだと思います。それぞれの分野で最先端を走る方々が集まり、短い時間でコミュニケーションを取らなければならないので、お互いにある程度分かっているという前提で一気に踏み込み、本質的な話を投げかけるんです。そして、それについてやり取りがかみ合わなければ「無理なんだな」とさっと別れ、かみ合えば互いの前提を確認してから、いくつかの核心的な質問を交わします。そういうときに、本当に有益な会話がたくさん生まれ、私もその中で、フロンティアにいる人々が感じている問題の難易度の分布が頭の中にずらりと並ぶんです。それがとても良いと思うんですが、一つ確かなのは、LLMサイドでは先ほどもお話ししたように、みんなAGI-pilledになったようだということです。これは実現できるゲームであり、実現したことをどう測定するかという方向へ論文が多く向かっている、という話はしたと思います。実現できるという信念があるからこそ、それをどううまく測定すれば、より優れたものを測定できるのか。今はモデルが出ると、良いモデルも駄目なモデルも関係なく、どれもベンチマークがmaxxingされていて、こうしたことが探究テーマになっているので、そこは私たちが知っているトレンドの延長線上にあるように思います。一方、こちらのAI for Scienceは確実に次のトレンドとして定着しようとしているんだな、と。まだ非常に先を行く一部のベンチャーキャピタリストを除き、一般的なベンチャーキャピタリストにはこのトレンドが届いていません。そして、資本市場と大衆については言うまでもなく、まだ届いていませんが、これが次のトレンドとして秋か来年の春ごろまでには確実に定着し、Physical AIの後を引き継ぐのだろうという思いを強く抱きました。これくらいです。いやあ、水・木・金はものすごくハードでしたね。
AGIへの確信と次のトレンドに浮上したAI for Science 63:07
チェ・スンジュン ええ。ものすごく駆け抜けましたね。今、喉がかれているじゃないですか。あまりにもたくさん話しましたし、
ロ・ジョンソク それに、人々が騒がしい場所に集まって話すと、この研究テーマもあるじゃないですか。source separationをしなければならないんです。自分に向けられた音だけを聞かなければならないのに、全部が混ざって聞こえてくるので、単語、単語、単語を聞き取りながら、文脈で互いに会話しているような感じです。そういうところが少し面白かったです。
圧縮される進歩のスピードと、まだ始まってすらいないエージェント市場 65:45
チェ・スンジュン では、今日の話をすべてwrap-upすると、何でしょうか？
ロ・ジョンソク 今日の話をすべてwrap-upすると、進歩のスピードがさらに圧縮されている、ということです。私たちがひと月に何度かに分けてしていたはずの話、以前なら四半期ごとに分けてしていたはずの話を、今、私たちは1週目、2週目、3週目と、ジョンヒョンさんと3回ほど収録していますが、そのたびに似たような話をしているようでいて、変化のスピードはさらに速まっているという焦りを抱えながら、勢い込んで話していること。私は、それこそが今感じている核心的なメッセージではないかと思います。
そして、私が感じたもう一つの興味深い点は、AIアプリケーションについての話です。私たちはYouTubeやharnessなど、どこのハッカソンでも、みんなエージェントの話をするじゃないですか。エージェントを使って何を作った、どうすれば業務が改善する、何をするといった話をまったくしていないんです。今回ICMLに来た人たちも、ほとんどが研究者出身ではありますが、ベンチャーキャピタリストなども、そうしたことについてまったく質問せず、話題にすらしないことが、私には新鮮に感じられたんですが、それについて私が質問してみると二つのシグナルを感じます。一つは、「それはCodexが全部やり終えるんじゃないの？」という一般的な見方があって、アプリケーションレイヤーはCodexやコーディングハーネスのようなもののスーパーアプリがプロンプトでgenerativeUIとgenerative serviceの形で何もかもできるんじゃないか、というのが一つあり、二つ目の側面としては、「これはまだ始まってすらいないんだな」と思います。私はそういう話を聞いていて、
「この分野はまだ始まってすらいないんだな」それに対する私の見方は、もちろんCodexやClaudeや何やら、こういうものは頼めば全部作ってくれるでしょうけど、頼むことすら人々はしないでしょうから、それを代わりに頼む会社が現れて、B2B SaaSが登場したように、数多くのAIエージェント企業が出始めるはずなのに、それはまだ始まっていないんだなと。なぜなら、基盤があまりにも揺れ動いていて、基盤がまだ緻密に定着していない状態だからです。ただ、そこはindustry-wideでとてつもなく大きなビジネスになると私は考えているので、注視すべきではないかと思います。その後者の話ですが、そういう話をしない一方で、
チェ・スンジュン それでも、とてつもない市場が開けるのにやらないというのが、どうも前後のつながりを私が正確に理解できなくて……
ロ・ジョンソク まだ彼らの関心事として取り上げるタイミングではないんですよ。市場のタイミングがまだ、資金を動かすベンチャーキャピタリストだとか、フロンティアラボにいる人……資本がまだそうしたエージェントワークフローについて
チェ・スンジュン 語らない理由は、市場のタイミングではないからだ。
ロ・ジョンソク 簡単に言えば、ICMLの特性かもしれません。来ている人たち自体の特徴がそうなのであって、Y Combinatorのデモデイのようなところへ行けば、こういう話ばかりしているでしょうけど。
チェ・スンジュン ICMLだから、少し文脈が違った可能性はありますね。私は今週、とにかくICMLをモニタリングしながら、
産業と一体化した研究の地形 69:02
パク・ジョンヒョン 私たちは今日も、何らかのペーパーの研究成果だとか、そういう話はほとんどしませんでしたし、私も個人的にはスポンサーブースなど、そういうもののほうが印象的だったんですよ。これが何を意味するのかじっくり考えてみると、過去と変わった点は、研究というものが産業界とずっと密接になったことです。なぜなら、スケールが非常に重要だということもありますし、それから私自身も、特にロさんのイベントへ行ったとき、例えばフロンティアラボで実際にモデルを研究している方々、そういう方々がいらしたので、尋ねてみたんです。今回のICMLで注目すべきペーパーは何か、何を見ればよいかと、そういうことをひたすら聞いて回りました。皆さんに。私も研究があまりにも多いので、その中で何に集中して見ればいいのかと。でも、ほとんどの方が言っていたのは、最近はペーパーよりも、産業界で話題になっていることのほうが価値があるようだということです。なぜなら、そこを中心に研究も行われるからです。
そういう話を聞きながら、「少し密接になったんだな。産業界と学界が密接になったんだな」と、そんなことを思いました。そうですね。これが以前のようなレイヤー構造なら、
ロ・ジョンソク アセンブラがあり、Cがあり、その上にPythonがあり、Pythonの上にDjangoがあれば、一番上でアプリケーションを作る人たちは、Djangoだけうまく使えればよいというそういう役割分担がありましたが、これはアセンブラから一番上のDjangoまでがただ一つにべったりくっついているような感覚です。そのため、そのスタックはかなり深くて幅も広いのですが、そのスタックのすべてを知っているある種の万能選手にならなければ、上にあるアプリケーションであれ、どんな話であれ、話に加われる参加資格が得られないような、そんな感じが私はするんですよ。そうでなければ、いわゆる産業界側へ行っても、話せることが少しなくなってしまいます。「Codexはいいですよ。
Claude Codeもいいですよ。loop engineeringで何かハーネスを動かしてみました」といった話から、さらに下へ掘り下げる話、つまり「では、これはこうして、モデルを切り離してこのように変えて、こちらはCodexのものを使います。ここは当社のproprietary dataがあまりにも多いので、こちらはこのモデルを使わなければなりません」といったところまで話してこそ、やり取りが成り立つような感じがします。それから、耳にした興味深い話がもう一つあって、
フロンティアラボへの依存リスクと中国のオープンソースモデルbanの見通し 71:39
ロ・ジョンソク 先週公開したポッドキャストの内容でもあったのですが、私たちは何らかの仕事をしているじゃないですか。ところが何も考えず、Codexに「やって、やって」と言いながら、どんどん投入しているものは、会社の中核資産ではありませんか？しかもauto-compactingまで使いながら、一つのスレッドにきちんと整理された形で会社のワークフローをすべて投入しているわけですから、フロンティアラボの立場からすれば、ある会社の事業そのものが自分たちのところへそのまま渡ってくるそういうきっかけになるわけです。そしてその後、AnthropicやOpenAIなど、これらの会社も自社のvaluationをjustifyするには、かつてMicrosoftなどがそうしたように、数多くの中核産業を自分たちが丸ごと取り込んで所有しなければなりません。MicrosoftもOfficeですべて取り込みましたし、Googleも非常に多くのものを取り込みました。とはいえ、AIの場合は単純に、ストレージを売るとかfunctionを売るとか、あるいはdistribution channelを売るといったことではなく、intelligenceを売るものなので、レイヤーを区分するのが難しいというそういう話が多いじゃないですか。そういうわけで、フロンティアラボにこうしたものをすべて差し出すのは極めて危険だということに、エンタープライズ企業が気づき始めているため、オープンソースモデルを使って、自社のハーネスと自社のファームを構築することの重要度が、予想以上の速さで急激に高まっているようです。オンプレミスモデルの重要性。そして、ここでもう一つのポイントとして、興味深いのは、米国のエンタープライズ企業が現在頼っているオープンソースモデルは、ほぼすべて中国のモデルだということです。QwenやKimiなど、そういうものをベースにしていますが、SemiAnalysisから来た人、と言えば誰なのかみんな分かりますね。とにかく、その人が言うには、来年あたりには、米国政府が米国籍のエンタープライズにおいて中国のオープンソースモデルの使用もbanするのではないか、禁止するのではないかという予測をしているそうです。そうなれば、西側諸国と親しい国々が供給できるいわゆる準フロンティアモデル、オープンソースのフロンティアモデルの価値が一気に上がるだろう。自分たちはそう考えているという話を聞いて、私も、それはあり得るな、ビジネス的にも大きな意味を持つだろうなと思いました。今は中国以外にはないですからね。
チェ・スンジュン AI 2040にも似たような話があったような気がします。詳しくは見ていませんが、いずれにせよ中国が重要なキーワードで。そうですね。そのように完全にbanしてしまう。オープンソースモデルそのものを。
パク・ジョンヒョン はい、オンプレミスで動かすこともbanするだろうと予想しているわけです。
チェ・スンジュン それが現実的に可能なのかはよく分かりませんが、いずれにせよ、そうした政策を打ち出すことはできるでしょう。私たちも少し慌ただしくはあります。
情報過多の時代に求められる整理とエンディング 74:44
ロ・ジョンソク もう少しじっくり整理して、何かについて話し合い、議論し、その一つのテーマを深く掘り下げられる余裕を今の世の中は与えてくれません。私も会社で、あまりのことに、今週までは慌ただしく情報を吸収して、来週の月曜日からは「仕事をするぞ」と、そんなふうに言った記憶があります。GPT-5.6が出ましたし、そして私はモデルサイズに関する推測もいろいろ聞きましたが、それは彼らからも話さないでほしいと言われていますし、話したことがあまりにも多いので、彼らも後になれば全部分かるでしょう。それでは、このあたりで今日の収録を締めくくりたいと思います。ジョンヒョンさん、スンジュンさん、今日もありがとうございました。
パク・ジョンヒョン お疲れさまでした。
チェ・スンジュン 楽しかったです。