EP 109
今は推論の時代: Sionicトークンファクトリーとモデル推論の話
Sionic AIトークンファクトリー データセンターツアー 0:03
パク・ジョンヒョン 収録している今日は8月10日、月曜日です。今週のエピソードでは、代表のソクヒョンさんをお招きしてインファレンスサーバーについてお話ししました。ここはサイオニック AIの、最近の流行語で言うトークンファクトリー、NVIDIA GPUでトークンを生成している施設を見学しに来ました。ご紹介をお願いします。
コ・ソクヒョン ここは全体で約10億円となっていまして。ここでは、実際の産業特化モデルのトークン、そしてトークンを非常に高速に提供する特化モデルとシステムが構成されています。
パク・ジョンヒョン それでは、さっそく見に行きましょう。
B300データセンターと空冷の冷却構造 0:33
コ・ソクヒョン ここはGPUセンター内の高温の空気が集まるhot aisleゾーンです。そのため、こちらには50度、60度以上の空気が集まります。それがすべて最上階にある冷却塔へ移動する構造になっています。GPUがある部分は非常に熱いことがお分かりいただけると思います。メインGPUは、B300というNVIDIAの最新機器で構成されています。この機器は約100枚規模となっていて、この発熱を解消することが非常に重要なのですが、この建物の構造上、熱い空気だけを集めて冷却するhot aisle containment方式になっており、比較的小さなスペースと小規模な設備でも安定してGPUを運用しています。
パク・ジョンヒョン やはり空冷だからなのか、今ものすごくうるさいですね。
コ・ソクヒョン そうですね。
パク・ジョンヒョン 見たところ、何か冷媒が上がっていくような感じですが、これが冷却装置ですよね？
コ・ソクヒョン これが冷却装置で、屋上にある冷却塔とつながっています。高温の熱気だけをできる限り排出する構造を……
パク・ジョンヒョン B300が搭載されているノードは
コ・ソクヒョン 約1億円ほどだといわれています。
パク・ジョンヒョン 約1億円。こうしてずらっと並べて一式構築されていて……ここで実際にインファレンスサービスが稼働しているわけですね。冷却塔まで上がってきました。ご説明をお願いします。
コ・ソクヒョン まず、この4台が実際にGPUの熱を冷ます冷却塔の室外機です。規模は約200kWで、空冷方式と水冷式のスプレーミストを併用しています。当社はデータセンターと冷却塔の距離が近いため、冷媒による完全な直接冷却を行っており、最近はこの形態が多くなっています。
パク・ジョンヒョン 建物のすぐ下にありますからね。
コ・ソクヒョン そうです。
パク・ジョンヒョン 確かに、そこにメリットがありそうですね。
コ・ソクヒョン 通常、この冷媒は15m以上になると、少しうまく機能しない構造なんです。そのため、この冷却設備とGPUが近いほど全体の効率も向上します。
オンプレミス推論時代の幕開けとコ・ソクヒョン代表の紹介 2:08
ロ・ジョンソク 収録をしている今日は2026年8月8日、土曜日の朝です。私たちの予想以上に、モデルの発表サイクルが本当に速いようです。今朝だけでも、次世代GPTがMythos級モデルだという話も出ていました。またGoogleのニュース、中国関連のニュースなど、非常に多くのニュースがありますが、モデルのリリースに関するニュースは非常に大きなテーマなので、今日のエピソードの後半で私たちの掛け合いモードでお話ししたいと思います。ぜひ最後までご覧ください。モデルのリリースがこのようにますます速くなっている今、能力も向上しており、さらにオープンソース、オープンウェイトモデルの性能はわずか数か月前のfrontier model級以上になっています。そして最近、私たちが繰り返しお伝えしているように、米国政府がこのようなfrontier modelの輸出を規制する中で、企業であれ個人であれ、自分だけのデータ、自分だけのworkflowは自社内にしっかり閉じ込めておくべきだという必要性から、オンプレミスインファレンスへの関心が高まり続けています。そこで今日は、サイオニックのソクヒョンさんをお迎えしました。最近、KimiやGLMを自社のデータセンターで動かす取り組みを数多く紹介されていますが、関連するお話を伺いながら学んでいきたいと思います。ソクヒョンさん、ようこそお越しくださいました。
コ・ソクヒョン こんにちは。このような素晴らしい場にお招きいただき、ありがとうございます。まず、動画を一本お見せします。私たちが撮影した動画ですが、これはDeepSeek V4 Flashモデルです。だいたい280Bほどで、以前の基準なら非常に大きなモデルですね。しかし、このようなモデルをprovider経由でservingした場合、毎秒50 TPS程度だと通常は予想されていたと思います。ところが、これを少し新しいハードウェアと、そして
DeepSeek V4 Flash 1,000 TPSデモ 3:37
ロ・ジョンソク 左側が今、インファレンスが進行しているところですよね？
コ・ソクヒョン はい、インファレンス速度です。人間が読める速度は毎秒100から200トークンには達しません。そのため、200 TPS以上のモデルを使うと不思議な感覚になります。通常、人々はAIを対話形式で使っていますが、会話しているというより、本当に人間ではない存在と話しているように感じるわけです。しかし、これは単にチャットとして使うだけでなく、文書を作成したり、社内業務を自動化したりと、さまざまなユースケースがあるではないですか。そのようなとき、速度が10倍というのはものすごい違いとして実感され、私たちから見るとただ押せばすぐに出てくるということが業務全体で見られるようになります。それが非常に大きな違いになります。ただ、これは実はDeepSeekが発表したDSparkという投機的デコーディング手法を使用しています。では、それが今になってなぜ重要なのかというと、さまざまな技術的変化があるようです。
チェ・スンジュン 先ほどの場面で、その動画に出てきた用語を一つずつ簡単に取り上げていただけると、好奇心も湧いて良いのではないかと思います。
ロ・ジョンソク 先ほどの場面に出てきた動画がどのようなものなのか、一度ご説明いただけますか？
チェ・スンジュン TPSもありますし、stepもありますね。
TPSの定義とHBMメモリのボトルネック 5:17
コ・ソクヒョン ご説明します。まず、TPSは毎秒生成されるトークン数です。ただ、このトークン数がどうであれ、現在のLLMは原理的に言えば、モデルが持っているすべてのweightを一度は読み込まなければなりません。そして、それを読み込むにはその速度は、よく知られているGPUのメモリ、HBMの速度にboundされています。そのため、現在のHBM技術では最新のものだとしても、すべて読み込むのにどれだけ速くても100msほどかかるわけです。ところが、先ほど申し上げたようにGPUの速度がどれだけ速くてもメモリを一度読み込むのにかかる時間が100msほどになってしまうので1トークンの生成がそこにboundされるのです。そして、例えば、極端な例として、本当に最適化がうまくできたモデルが10msほどですべてのparameterを読み込めるとすると、1秒は1,000msじゃないですか。ですから、ちょうど100個しか生成できないわけです。
パク・ジョンヒョン では、ここで先ほどおっしゃっていた、人が普通に読む速度についてですが。というのも、あのトークンというものがあのように数字で見ても、どれほど速いのかいまひとつピンとこないんですよね。人が普通に本を読む速度は、毎秒200トークンほどだとおっしゃったんですよね？
コ・ソクヒョン いいえ。人が読めるのは毎秒20～30トークンほどだと考えていただければよいと思います。それも速く読む場合で、ゆっくり読む場合はさらにずっと遅いです。
ロ・ジョンソク ということは、1,000 TPSというのはこれほどの速度なんですね。
コ・ソクヒョン 1,000 TPSほどなら、新しいDBを作るのに10分、15分以内、つまりDBというのはMySQLやPostgresのようなものを作るのにそれくらいしかかからず、小説を1冊書くのには1分ほどかかります。
チェ・スンジュン でも、これには変動がありますね。最大が1,480で、500前後を行き来していますね。
投機的デコーディングの原理とaccept rate 7:07
コ・ソクヒョン これは非常に面白いポイントです。ここを見るとacceptとstepがあります。右側を見ると、このような高速なdecodeは先ほど申し上げたようにメモリのため、実際には不可能です。HBM4が登場するか、次世代メモリがなければ、GPUがどれだけ優れていても不可能なのです。ところが、投機的デコーディング、つまりコンピューターでも高速化できるのは分岐予測やキャッシュのような技術しかありませんが、モデルもまったく同じことをするのです。複数のトークンをあらかじめ推測して生成しておき、GPUの演算能力には余裕があるので並列で処理した後に合っているかどうかを検査するのです。そのため、あらかじめ生成しておいたトークンを検査して予測が受け入れられる確率が高いほどこの速度が大幅に上がるわけです。
パク・ジョンヒョン では、その投機的デコーディング、つまりspeculative decodingと呼ばれるのを、私はよく聞いた気がするのですが、その技術を簡単に要約するともう少し速くて頭の悪いモデルを1つ用意してそのモデルに、例えばトークンをすべて生成させた後、賢いモデルの結果が出る前にあらかじめ一通り生成しておき、合っていればそれを使い、違っていれば、再び大きくて賢いモデルで処理するという技術だと理解しています。そこでいうacceptは、速くて少し頭の悪いモデルがトークンを次々と並べたものが、どれだけacceptされたか、予測がどれだけ当たったか、という意味だと理解すればよいでしょうか？
量子化と投機的デコーディングのトレードオフ 8:30
コ・ソクヒョン はい、そのとおりです。そして、ここで面白い点が1つ出てきます。通常、量子化と呼ばれる技術は速度を上げることもでき、メモリ使用量を減らすこともできますが、私たちが最近見た研究や実際に使った結果を見ると、量子化を行うことでこの賢いモデルと少し頭の悪いモデルとの差がさらに広がる現象が見られます。そのため、量子化した分だけspeculative decodingの採択率が下がるわけです。ですから、中途半端な量子化をすると速度がさらに遅くなるわけです。それが非常に面白いポイントで、このモデルは、ある意味採択率が高いモデルに属します。これが低いものでは採択率、平均acceptと呼ばれるものが2～3ほどで、大きい場合は7～10まで行くことがありますが、その採択率が、結局そのまま倍率として増加するわけです。また、これが何を示唆しているかというと、生成する種類ごとに採択率が異なります。例えば、コードの採択率は高く、英文も高く、一方でハングルは低かったり、小説のような複雑な論理構造は難しいため、採択率が低かったりして、こうしたことが起こる中で、以前は、こんな話がありました。fine-tuningはもう、ほとんど行う必要がない。ところが、トークンの生成速度とコストがDSparkやMTPのような投機的デコーディングによって左右されるため、fine-tuningをすればコストも下がるという面白い仕組みが生まれたわけです。
チェ・スンジュン 気になるのですが、MTPは現在のトークンがtなら、t+1、t+2と次のものをあらかじめ予測するものですよね。でも、投機的デコーディングは少し違うものではないですか？同じなのですか？
コ・ソクヒョン 同じです。ただ、これを+1ずつ行うのか、ブロック単位で、より多く生成しておいて候補を検討するのか、という違いだと考えればよいです。
チェ・スンジュン でも、1つの局面でこのトークン、あのトークンと複数の候補を試すのではなく、次のトークン群をあらかじめ生成するというニュアンスですよね？
コ・ソクヒョン そのように考えてよいと思います。
prefillとdecodeを分離する必要性 10:21
ロ・ジョンソク これは、このあとすぐにお話しするprefillとdecodeの違いと強く関連しているわけですね。なぜなら、複数のトークンを投機的デコーディングして後ろのブロックが長くなると、それは1トークンずつ見るのではなく複数のトークンをそのまま prefill モードに入れて一度に予測できるということと関係があると考えればいいのでしょうか？
コ・ソクヒョン まったくその通りです。ですから、現代のエージェントAIがうまく機能するのはキャッシュがうまく hit することもありますが、prefill が本当に速いことにあります。なぜなら、先ほど申し上げたように最新のモデルでもメモリのために毎秒50トークン、30トークン以上を出すのは難しい、これはその通りですがprefill は数万トークンずつ処理できるからです。ですから、たとえば、テキストを読む過程において Transformer は順序が重要ではありません。そのため、すべてのトークンを並列に入力して読み取れるのですが、それを最も得意とするのが GPU なのです。ですから最近、NVIDIA が Vera Rubin とGroq を紹介した際も、どのような構造になっているかというと、prefill と呼ばれるものはVera Rubin で、次世代のもので、すべて処理します。ものすごい量を読むでしょう。毎秒20万トークンずつ読むはずですが、これを decode するときは Groq に渡すのです。ところで、decode するときに Groq に渡すというのはこれを処理した hidden state とKV キャッシュを渡すということです。つまり NVIDIA もすでに、ほぼ1年前ですね、この構造が最も速いということを事実上公表したわけで、これが非常に大きな話題になるわけです。
トレーニングから推論へ移った重心 11:47
ロ・ジョンソク 私たちは、ほんの1年ほど前まではtraining に関する話を非常にたくさんしてきましたが、最近はモデルが急速に高い水準で均質化し、モデルが研究の段階から完全に産業の段階へ移ってしまったじゃないですか。需要も爆発的に増え続けています。そのため、training よりもインファレンスのほうに関心がはるかに高まったのは確かです。同じ GPU と同じ電力というリソースがある中で、これをどうすればより速く、より多くの人に提供できるかという部分が非常に重要なエンジニアリング上の課題として、なぜなら、これはそのままお金だからです、浮上しており、それに関する話が今日ソクヒョンさんがお話しくださる内容の最も核心的な部分ですから、今後、このデータセンターやモデル、そして、どの企業が利益を上げ、どの企業が利益を上げられないのかという力学 を理解したいのであれば、こうしたものがだいたいどこにどのように組み込まれているのかを理解しておくと、話がはるかに理解しやすくなります。
パク・ジョンヒョン 私も一度整理しておくと、今日のメインの話はインファレンスについての話ですよね。ですから、インファレンスが重要だ。結局、これが最も大きな要点だと思いますし、先ほどお話しいただいた内容からも、二つの観点でそれが見えてきます。一つ目は、チップ自体も以前は training 用チップ、インファレンス用チップ、という話をしていたとすれば、今はインファレンスの中でも prefill 用チップ、decode 用チップ、つまり、インファレンスの中でもチップの特化した構造がさらに生まれているという話です。先ほどの fine-tuning も、以前は fine-tuning をモデルを賢くするために行っていたとすれば、今は speculative decoding をうまく行うための優れたアシスタントを作る用途でfine-tuning を使うこと自体がインファレンスのための tuning をするという意味ですから、今はあらゆるものの焦点が、インファレンスをどうすれば効率的に行えるか、ということに多方面から合わせられているように思います。
コ・ソクヒョン すでに上回っている可能性もありますが、学習に投入された GPU よりもトークンをインファレンスする GPU のほうがはるかに多く必要になるはずです。これは極めて自明な事実になると思いますし、より速くするためのものという意味では、ある意味トークンファクトリーという言葉もこれをまさに象徴する言葉だと思います。
ロ・ジョンソク こういうものを見ていると本当に engineering beauty です。考え得るあらゆる裏技やそういったものがすべて盛り込まれているんですよ。
チェ・スンジュン 技術はさておき、あれほど1,000 TPSが出ると仕事のあり方はどのようになるのですか？
1,000 TPSで会社をまるごとシミュレーションするデモ 14:17
コ・ソクヒョン 1,000 TPSが出るようになって、私たちが何を試したかというと、これは一般に言う AI slop です。あまり深刻に受け止めないでください。これは何かというと、粗雑なものです。これは私たちが社内で作ったSecond Brain のようなものです。会社にあるすべてのデータを入れて会社をもう一つ作ったのです。ですから、ここで働く人たちもいて、仕事もできますし、少し変に聞こえるかもしれませんが、退職した人に仕事をさせることさえできます。その人の context だからです。ただ、これは100トークン、200トークンではできず、私たちが数千トークンを使えるものを並列で10個、20個のセッションとして立ち上げれば、会社をリアルタイムで複製して動かせます。ちょっとあり得ない話のように思いますよね？
チェ・スンジュン ライブストリームのような感じなのですね。
コ・ソクヒョン そういう感じです。会社を同時にシミュレーションできる。そして特に、コーディングのような仕事やマーケティングのような仕事は、ここで実行できます。
チェ・スンジュン つまり、コードを素早く生成するのではなく、仕事そのものの trajectory をシミュレーションすることがリアルタイムでできるということですね。
コ・ソクヒョン ここにいる人たちは全員仮想ですが、そのままリアルタイムで会社をシミュレーションできます。実際に動作する、とてつもないことなのです。
ロ・ジョンソク 会社の Gmail とメールと Slack、これをそのまますべてモデルに読み込ませた後、全部リプロデュースするんです。
チェ・スンジュン つまり、これは24/7ということですね。週7日、24時間稼働するライブなんです。
コ・ソクヒョン 24時間ではなく、1,000時間なのではないでしょうか？なぜなら、すでに人間の能力の数十倍もの速度で動いているからです。
パク・ジョンヒョン ところで、こうして動かすとoutputはどのようなものになりますか？
コ・ソクヒョン 実際に業務指示ができます。プロジェクトになる場合もありますし、マーケティングの草案になる場合もありますし、機能が実際に成果物として生み出される場合もあります。単純なエージェントとは少し違う感じなんです。
チェ・スンジュン つまり、今の会社というものだけではなく、会社というものをAとすると、B、C、Dもすべて可能ということですよね。
コ・ソクヒョン ただ、実はこれは完全に概念的なコンセプト、私がAI slopと申し上げたslopなのでしょう。でも、これが本当に本格的に進められたとき、どれほどimpactが大きいのか、つまり、どれほど恐ろしいのか。
ロ・ジョンソク 私たちが今、コーディングエージェントを使ったり、ChatGPTを使ったりするときのlatencyという概念は、ちょうど人と会話する速度に合わせられているので、先ほど見たインファレンス速度には少し適応できないところがありますが、知能も、どれほど品質が高いかがある関数のy軸にあるとすれば、x軸にはlatencyが入ると思います。結局、x掛けるyが生み出す知能の総量ですから、同じ知能でも、一方は1秒当たり1,000語を出力し、もう一方は30語を出力するなら、生産性には30倍の差があるわけです。
チェ・スンジュン つまり、unlearningしなければならないのは、今のデモを見て思うのですが、これまではasyncに作業しなければならないですよね。考えたことを実行させておいて、それが生成されるまで待ちながら、別のことをamortizeして仕事をするわけですが、このようにライブに近いレベルで出てくると、それを変えなければならない状況になる。
コ・ソクヒョン ですから、非常に違和感があります。おっしゃったように、考える時間があったのですが、押すとすぐに何かが出てきてしまうんです。そのため、人間のほうがはるかに疲れますし、AIと仕事をしているという感じがしません。私たちは電卓に計算を任せて、待ったりはしないですよね。それと同じように、押せばすぐに出てくるので、仕事の仕方やunlearningについてもお話しいただきましたが、まさにその感覚を非常に強く覚えます。
ロ・ジョンソク こうした話を簡単にまとめると、多くの人が、AIへの投資はほぼ終わったのか、もう成長しない市場なのかというそうした問いに、多くの賢者がばかげた話だと答えているわけです。ようやく始まったばかりで、この知能に対する需要には上限がない。より賢い人が一人いたことで、仕事がこれだけ進んだ。では、それで満足するのか？そうではなく、可能な限り多くの賢い人を雇いたいというのが人々の欲ですから、これは成長し続けるという側の意見がはるかに優勢になっているようです。
速度と知能のバランスとタスク完了基準の変化 18:21
チェ・スンジュン 階層はあると思います。なぜなら、今お見せいただいたものはFlashモデルなので、あれほどの速度が出ますし、今後ほかのモデルも速度は上がり続けるでしょうが、最上位モデルの中にはasyncに作業しなければならないものがあります。推論にかなり時間がかかるので。つまり、タスクごとに多層的になるのではないでしょうか？ 当面は。
ロ・ジョンソク そうではありますが、グラフ全体はこのような体験へと下がり続けるでしょう。
パク・ジョンヒョン 私も感じるのですが、最近、高価なモデル、特にFableやGPT Solに、reasoning effortを長くしたり、そのように仕事をさせると、かなり時間がかかるじゃないですか。その間に別の仕事をしたり、別のセッションを作って、また別の仕事をすることが多いのですが、そうしていると、このcontext switchingが人間の頭の中で起きなければならないので、見落とすこともありますし、大変で、そういうことが少しあります。でも、このように非常に高速なTPSのモデルを使えるなら、知能が多少劣っていても、目の前で集中しながら、そのcontextだけを維持してずっと会話できるので、むしろhuman in the loopをより強く取り入れられて、AIの知能が多少劣っていても、すでに十分なので、仕事をもっとうまくできるかもしれない。そんな考えがふと浮かびますね。
チェ・スンジュン でも、それも疲れそうではあります。集中的な疲れと、並列に分散された疲れが……
ロ・ジョンソク ただ、私たちが今こうして想像していることが現実に実現するまでには、少し時間がかかるでしょうから。
コ・ソクヒョン では、これはどうでしょうか？今、先ほどのモデルは280Bで、私もいまひとつ実感が湧きませんが、比較的小さなモデルです。
ロ・ジョンソク 280Bを今、比較的小さなモデルだと表現されました。
コ・ソクヒョン 私たちは、そんなとんでもない世界に生きています。昔は1Bを超えると大きいと言っていました。Googleは8B以上ではサービスを提供できないという話でしたし、では、今度はわずか2.8Tしかない小さなモデルです。このモデルもpeakで300トークンが出るわけです。ただ、今、このトークン生成は、私たちが技術を使ってはいますが、すべてメモリがボトルネックになっています。そうすると、メモリがもう少し良くなったとき、つまり、今の2T、3T、5T、10Tモデルがはるかに高速かつ強力になるのではないか、そう思いますし、先ほどFlashで行ったものとKimiで行ったものでは、キャラクターのアングルとディテールがあまりにも違います。そして、もっと面白いことが何か分かりますか？Flashのほうが速度は速かったではないですか？でも、総生成時間はKimiのほうが短いんです。
チェ・スンジュン 分かりました。どういう話なのか分かります。
コ・ソクヒョン つまり、より効率的に実装するので、トークン速度は今、Kimiのほうが3倍ほど遅いです。1秒あたり300トークンですからね。しかし、より速く生成でき、モデルのサイズには10倍の差がありますが速度は3倍しか遅くなっていない。
ロ・ジョンソク トークン当たりの知能の品質がはるかに高いということですね。
コ・ソクヒョン そのとおりです。そのため、こうした逆転現象も報告されています。むしろ、より賢いモデルを使うほうが生成するトークンは少なくても、効率が高い。
パク・ジョンヒョン これは前回、私たちが価格について話したときもトークン当たりの価格で話していましたが、高価なモデルを使えば、ある仕事を成し遂げる際にトークンを効率的に使ってより少ないトークンでも成し遂げられるので、これからはタスク当たりの価格を見るべきだ、という話をしましたが、それと同じように今は実行速度もTPSを見るのではなく、タスクが完了するまで、つまりどれくらいで完了したのか、それを見るべきだということが腑に落ちる感じがします。
ロ・ジョンソク Pareto efficient curveは複数の変数によって作られるものですから、モデルのサイズやGPUのサイズだけを見て判断してはいけない。さまざまな変数がすべて合わさってそれを作ると考えるべきなのですね。
チェ・スンジュン しかし、Pareto frontierが描く線はすべて前進している。
ロ・ジョンソク それは凄まじい勢いで前進しています。Kimiが1秒あたり300トークン出るというのも、本当にいい感触ですね。
チェ・スンジュン これはすべてMTPとspeculative decodingのおかげなんですよね？ 基本的には。
SOLAR MTPの後付けとPhysical AIの可能性 22:04
コ・ソクヒョン そのとおりです。最近のモデルは最初からこれに対応していますし、最近、私も別の会社の代表の方にお話ししていたのですが、当社独自のfoundation modelであるSOLARがあるじゃないですか？SOLARにはこのMTPがありません。最初から組み込まれていたわけではなく、私たちがこれをモデルにadaptationして、追加のpost-trainingで取り付けてみたところ、これも1秒あたり500～600トークン出るのです。DeepSeek V4 Flashとおそらく規模が同程度だからです。250～280B程度で、ですから、ほぼすべてのモデルがこの方向へ進むのではないでしょうか。
ロ・ジョンソク MTPのロジックは公開されていて、単にモデルの後ろにMTPヘッドを追加し、これを以前の概念で言えば軽くfine-tuningするような感覚でそのまま取り付ければよくなったのですね。
コ・ソクヒョン そのとおりです。それが可能になったのです。1週間もかかりません。ものすごいことです。私が思い浮かべる議論の一つは、これが500～600トークンを超えれば、Physical AIでも十分に動くのではないか、ということです。Teslaの自動運転も一種のVLAのように動作するといわれていますが、それが1秒当たりのフレーム数についていけなければ実現できません。しかし、これが1秒あたり2千トークン、1千トークン出て、さらに現実の世界にはテキストやコードよりももう少し物理的なモメンタムがありますよね。つまり、MTPやDSparkがさらに推論したり、正解したりできる余地がより大きいでしょうし、そうなれば、本当にLLMですべてのロボットが動くようになるのではないでしょうか？もちろん、まだチップの性能には多少の余地が必要でしょうが、十分に可能なのではないかと思います。ですから、fine-tuningによって性能が向上するのではなく、速度が上がる、という議論も成り立つのです。
パク・ジョンヒョン 十分に可能だと思うのですが、GoogleのGemini Roboticsの場合はモデルを二つに分けて、クラウドではVLM、つまりLLMが動作しながらembodied reasoningを行い、その画面を見てreasoningを次々と出すのです。理解したうえで、その理解されたlatent vectorや、あるいは何らかのlanguage状態のoutputかもしれません。そうしたものをembedded deviceにあるactionを生成するモデルへ渡し、そこでactionだけを素早く生成するのです。小さなモデルを使ってこのようにモデルを分離し、賢い知能はtoken per secondが非常に速いどこかに置く。それはクラウドかもしれませんし、あるいは車両には多少スペースの余裕があるため、車のどこかに大きなチップを搭載することもできます。このように分離して状況を理解しながら動作させることも十分に可能だと思います。
パワーショベルとスプーンで理解するprefillとdecode 24:26
ロ・ジョンソク では、私たちがもともと用意していた本題、以前、Dwarkesh編を収録した際にprefillとdecode、そしてroofline analysisと呼ばれるそうしたものについて長く話しましたが、このprefillとdecode、今日も頻繁に触れることになる用語ですが、これらの用語とともに本題を始めてみましょうか。
コ・ソクヒョン 私が可視化したものですが、これもAIで作ったものです。一度お見せしながらお話ししましょう。ひとまず四つほどをタイムライン上に配置して作りましたので、一度お見せします。これを見ると、どのような感じかというと、これを時間軸上に描いてみると、8人のユーザーがトークンを生成していると考えてください。ここにある青色はdecodeする部分、そしてこのオレンジ色、肌色でしょうか？その部分はprefillと呼ばれる読み込む部分だと考えてください。ところが、私たちが使うLLMの構造上、読み込みは完全な並列性を実現できます。そして、それはGPUが最も得意とする処理です。このように見ると似ているように見えますが、実際には、このprefill区間のほうがGPUの使用量が圧倒的に多く、decodeする区間はGPUをほとんど使わないと考えてもよいです。どの程度かというと、prefillは油圧ショベルでこのような砂山をすくうほどのものです。decodeは、少し大げさに言えばスプーンですくう程度です。そして、そのスプーンの移動速度によってtoken per secondが決まるわけです。ですから、現在のGPUの演算性能は1秒当たり数千、数百というレベルではありません。数万、さらには数十万を生成できるはずなのに、先ほどお話ししたスプーンの移動速度、これが原因で1秒当たり数十、数百しか処理できないのです。ただ、こうした処理を得意とする半導体もあるはずですが、GPUはその差が非常に大きいのです。ですから、現代のagent AIを支えているのは、このprefillを極めて得意とするGPUの性能でもあるのですが、この差がかなり大きいわけです。ですから、本来ならGPU 1基当たり100人、200人のユーザーを受け入れられるGPUの性能が、prefillとdecodeの違いによって少なければ1〜2人、多くても10人すら受け入れられない状況になるのです。
ロ・ジョンソク では、この辺りでprefillとdecodeとは何なのか、どなたが一番分かりやすく説明してくださいますか？
コ・ソクヒョン まずprefillというプロセスは、トークンを読み込むプロセスです。例えば、エージェントを動かすとすると、自分が持っていたコードプロジェクト、把握していたsystem prompt、さまざまなskillに関するものがすべてありますよね。それが少なければ数千、多ければ通常は数万、数十万にまで達します。ところが、これをdecodeの速度で読み込むとしたら、読み込むのに30分くらいかかるのではないでしょうか？これをどこで確認できるかというと、最近、MacBookでこうしたモデルをうまく動かせるという記事をよく目にしますよね。Macはunified memory、つまりGPUとCPUとNPUが統合されたメモリを備えていて、容量も大きいです。そのため、トークン生成はそれほど遅くありません。思ったより非常に速いです。ところが、prefillは非常に遅いのです。そして、これをきちんと活用するには、例えばGPUでトークンを読み込み、トークンを読み込むと何が生成されるかというと、hidden stateが生成され、読み込みの過程で作られたKVキャッシュが生成されます。それをMacに渡せば、読み込みも速く、書き込みも比較的安価なこの仕組みができるわけです。ですから、単にトークンを読み込むプロセスは、先ほど申し上げたようにKVキャッシュを作るプロセスです。ただ、このKVキャッシュを作るプロセスではGPUを非常に効率よく使えるのですが、これをmemory-boundなpayloadである、まったく別のpayloadであるdecodeへ渡す処理をどれだけうまくorchestrationし、運用できるかによって、トークンの生成量や時間、速度、さらには停止するかどうかまで決まるのです。
ロ・ジョンソク では、簡単に視聴者の皆さんにも理解できるように説明すると、ChatGPTを使うとき、何かを大量にcut and pasteして、ChatGPTに「これを読んで要約して」と入力しますが、その一度に大量に入れる量がprefillだと考えればよく、エンターキーを押した後、トークンが次々と出てきますよね。それがdecodeのプロセスだと考えればよいわけですね。
コ・ソクヒョン そのとおりです。先ほどの映像にあったTTFTが、その時間です。最初のトークンが出るまでの時間です。
ロ・ジョンソク token per second、はい。では、そのようにprefillとdecodeのイメージを頭に入れて、これを集中して見なければならないわけですね。
チェ・スンジュン 少し紛らわしい点がありますが、あのprefillの量とdecodeの量はユーザーストリームごとにすべて異なるのですよね？
コ・ソクヒョン そうだと思います。今はこれらが同じだと表現していますが、prefillがあまりにも大きいため、このdecodeはリソースの観点では見えないほど小さいのです。ただ、このdecode、つまりprefillのプロセスでは膨大な量のGPUを効率よく使うこともでき、KVキャッシュも大量に生成するので、例えば、ここで8番、7番、6番のユーザーは1番のストリームが読み込んでいる間、すべて停止するわけです。ある意味、この例えではそれはユーザー体験にとって非常によくありませんよね。
パク・ジョンヒョン ここでおっしゃっているリソースとは、computeすべき演算の総量だと理解すればよいでしょうか？
コ・ソクヒョン そのとおりです。CUDA coreの稼働率とでも言いましょうか？その表現のほうがよさそうです。
チェ・スンジュン 分離後のボタンを押すと、どうなるのですか？
コ・ソクヒョン 分離すると、どうなるかというと、このように変わります。
ロ・ジョンソク すべてdecodeだけをしていますね。
コ・ソクヒョン このようにすると、同じGPUで処理できる量が少なくて3〜4倍、多ければ100倍にまで増えます。
Kimi式prefill・decode分離とKVキャッシュの移動 30:11
ロ・ジョンソク 今日お話しするメインテーマは、prefillとdecodeを1台のインファレンスマシンで最適化すると、どれほど最適化しても性能がある上限に達してしまい、この非効率を防ぐ方法はないということが既知の事実ですが、Kimiが初めて提案したのが、prefillとdecodeを物理的に完全に分離されたファームで処理することでしたよね。そうすると、効率が飛躍的に向上する。今日はそうした話がメインになるわけですね。
コ・ソクヒョン そして、これがあってこそ、先ほどお見せしたKimi 2.8Tを1秒当たり300〜400トークンまで処理することも可能になると考えていただければと思います。この分離ができていなければ、基本的に、あるユーザーがprefillするたびにすべてのdecodeが並列で止まってしまいます。そのため、これを処理するのは非常に難しく、prefillした後、その処理のすべてのhidden stateとすべてを移す必要はありません。また、KVキャッシュもモデルごとに異なりますが、Kimiほどになると、約10GB、20GBになります。それを瞬時にdecodeマシンへ移して、うまくhitさせながらsmoothに処理し、その下層にあるrouterはユーザーのセッションも移し、これは思った以上に難しいエンジニアリングなのです。しかし、それをしなかった場合、こうしたものが完全に止まる現象が頻繁に発生する可能性があり、そうなると私たちはこのようなKimiモデルもサービスしていますが、とても動かすことができないのです。ただし、モデルが十分に小さく、メモリに余裕があれば、表面化しないこともあります。しかし、Kimiのような非常に大規模なモデルでは、最初からこのpayloadを完全に分離し、それに対するKVキャッシュのstoreという概念、つまり、私たちのコンテキストをすべて保持しているstoreなのです。これが極めて高速でなければならず、数百GB/s、数千GB/sでなければならないのですが、これを維持しながら行ってこそ、本当のLLMサービングであり、おそらくすべてのFrontier Labがこれを行っていると推測しています。
vLLM・SGLangの実装と公開されないサービングのノウハウ 32:12
チェ・スンジュン 気になるのですが、reference codeではこの方法をすべて公開しているのですか？
コ・ソクヒョン reference codeではこれは行っておらず、これの実装はvLLMやSGLang、そしてNVIDIAでもこれを行うための技術やライブラリは共有しています。ただ、先ほど申し上げたように、インフラの事情やネットワークの事情、さらには、こうしたtoken providerの内部ノウハウでしょうから、サービスで使えるほど公開しているところはないと考えるべきではないでしょうか。例えば、私たちもSGLangにかなり手を加えて使っています。
チェ・スンジュン コードだけを公開して、残りはそこまですべて公開しているわけではないようですね。
コ・ソクヒョン ですから、これは料金体系からも分かりますが、モデルを見たとき、料金が256Kと1Mで異なるモデルをご覧になったことはありますか？
ロ・ジョンソク 私たちが使っているClaude Codeだけを見ても、1M Opusと256K、327Kでは違いますよね。
コ・ソクヒョン サービングする側から見ると、もう完全にファームを分けることになります。このファーム自体を分離して、短いコンテキスト長を使用するファームと長いコンテキスト長を使用するファームを完全に物理的に分離しなければ、トークン処理量が大幅に低下するのです。
パク・ジョンヒョン 実際に処理するチップも分ける場合があるようでした。OpenAIなどの場合もそうです。ところで、最適化された参照コードがないのかというと、どのモデルを動かすのか、次に、どのクラスターで動かすのか、動かそうとするGPUクラスターの構成、例えばGPUがNVL72のように72基ずつ束ねられている場合もあり、あるいは8基ずつ束ねて、8つのノードをNVLinkで接続している場合もあり、さらに、そのノード同士もInfiniBandで接続されている場合もあれば、別の形で接続されている場合もあります。こうした条件はそれぞれ異なるため、あらゆるものに汎用的に対応し、うまく最適化できるソリューションは存在しにくいと思います。特定の参照ハードウェア、特にNVIDIAのような場合には、自社の主力製品と特定のモデルに合わせたソリューションはあり得るでしょうが、やはり、そうしたものは状況に合わせてすべて個別に行う必要があるのではないでしょうか。
ロ・ジョンソク 昔であれば、本当に優秀なエンジニアたちが取り組んで、これを処理するのに非常に多くの苦労が伴ったでしょうが、最近は私たちの会社でも、会社のサーバーファームを維持しながら、AWSやGCPに直接入ってコンソールを操作することはあまりないですよね。エージェントにつないで最適化し、何かを変更するよう指示すれば、それですべて完了しますから。マイグレーションでさえそうですし、Frontier Labでも同じことが起きているはずです。アーキテクチャ設計のようなものもFrontierモデルに任せて最適化するよう指示すれば、自ら実験を組み立てて実行し、自律的に最適化するプロセスがすでに稼働しているはずなので、その速度もボトルネックになるとは考えていません。また、そこに使われるソフトウェアアーキテクチャの優位性やエンジニアリングの優位性についても、Jeff DeanよりGPT-6やMythosのほうが優れているのは確実です。ですから、そこも急速に全体の水準が引き上げられると思います。
Day-0対応を可能にする自動最適化エージェント 35:26
チェ・スンジュン Day-0にすべて出していましたね。vLLM、SGLang、TokenSpeedはいずれもDay-0に対応していますが、サイオニックも非常に早く出されていましたね。どうやったのですか？
コ・ソクヒョン 私たちも同じです。私たちは自社GPUを運用していますが、そのGPUは学習やサービングにも使われるものの、実際には、今お話ししたものとまったく同じAutoresearch、自動最適化エージェントを動かしています。そのため、このようなバックログタスクがずらりとあるとき、そのタスクの優先順位を上げるのです。これを今、私たちが行う必要があり、ループの目標として指定できるタスクは100のエージェントが並列で動いて分散処理すれば、数時間以内にほとんど終わりますから。
チェ・スンジュン Kimi K3はアーキテクチャがかなり変わったのにそんなに早くできたんですか？
コ・ソクヒョン 実際、私たちが行うのには15分ほどしかかかりませんでした。
ロ・ジョンソク それで私たちがソクヒョンさんとプライベートな場で話していて、このように従来は人間の能力が生み出していた差別化要因をモデルがすべて生み出してくれる状況なので、結果的に残るのはGPU powerを十分に備えていて、それをどれだけ長く、たくさん使えるかというゲームに収束するのではないかというお話もされていました。
コ・ソクヒョン ですから、こうしたものを見ると、内部で動いているもの、つまり、このようなGPUのプロビジョニングやリソース割り当てをエージェントが行うのです。そして人間は研究目標とそれに対する定性的な分析を与えます。こうしたものが積み重なったときのスピードは、信じられないほど速いと思います。
ロ・ジョンソク 私たちはいつもジェンスン・フアンが話していた5層の話をしますよね。一番下のデータセンターからチップ、その次にモデル、アプリケーションといったレイヤーについて話しますが、真ん中にいたモデル企業がこれまでは価値のほとんどを獲得してきました。ところが今、このような競争の様相やモデルがモデル自身を発展させる動きによって、モデルの進歩が上位水準へ平準化されています。そしてOpenAIとAnthropicにしかできなかったことを中国のFrontier Labもすべて行い、しかもオープンウェイトで公開している状況で、そのオープンウェイトのおかげでサイオニックのように独自のコンピューティングリソースを持っている企業は、Frontier Labが達成した水準にすぐ到達できる時代になりました。そのため、価値が獲得されるレイヤーが今、移動しているということです。これまではモデルレイヤーで最も大きな価値を獲得していましたが、彼らのマージンは縮小するでしょう。競争が増えるからです。上位水準へ平準化され、非常に安価で提供されるため、これは囚人のジレンマのようにゼロへ向かう道をたどっています。では、その価値はどこへ移動するのか？上と下へ一気に移動するはずです。
モデルの水準均一化とAI価値獲得レイヤーの移動 37:07
コ・ソクヒョン 顧客に最も近いところへバリューチェーンが上がり続けます。そして顧客との関係、顧客による活用、最終的には顧客の売上を生み出すのです。結局、顧客に近いところで実質的な価値を生み出す場所へバリューチェーンは移動せざるを得ません。
ロ・ジョンソク つまり、これを最も直近の産業の事例にたとえると、最初に電気が登場したときは、交流か直流かというインフラや送電設備などを扱う企業が価値をすべて握っていましたが、それが安定した後には徹底的な効率化しか残りませんでした。政府が担うことさえありました。では、その価値はどこへ行くのか？インフラでは、今も発電所や変電所を運営する事業者が引き続き利益を上げています。では、その上の次の価値はどこへ行ったのか？中間部分はコンセントの裏にすべて隠れ、今の価値はすべてDysonのような企業が獲得しているのです。その上で生み出される、顧客に完全に近い最上位の価値、LG TROMMの洗濯機、それから自動で家を掃除してくれるロボット掃除機、
コ・ソクヒョン Roborockのような企業ですね。
ロ・ジョンソク すべてこうしたところへ移ったのです。ですからAIでも、知能というものがコンセントに差せば勢いよく流れ出てくる知能になるなら、価値獲得の一方の軸は下の発電所レイヤーにあるデータセンターやチップのようなところへ向かうでしょう。しかし、そこは利益率がそれほど高くはないでしょう。そこでも最適化が続き、決まりきった公式を適用し続けるため、ある程度のマージン幅に収まることになるでしょう。価値獲得の大部分は、コンセントに何かを差し込むところから生まれるでしょう。それが先ほどソクヒョンさんがおっしゃった、誰が顧客の近くにいるかというゲームになるでしょう。そのコンセントにつながる産業は、まだ始まってすらいないのではないかと思います。そしてソクヒョンさんがおっしゃるAXという言葉で今、私たちはそれを目の当たりにしていますが、AXを超えるアプリケーションがまもなく登場するのではないかと思います。先ほど1,000 TPSのようなものを見て、ますますそう思いました。以前は50Vで来ていた電気が今では380Vで入ってくるようなものです。
1MW自社データセンターの構築とB300運用の損益 40:28
チェ・スンジュン ソクヒョンさん、顧客の近くで価値を創出するためのインフラ構築を昨年始めたからこそ、今ついていけているのであって、今年始めていたら、はるかに多くの費用がかかったのではないですか？とてつもない差になるのではありませんか？
ロ・ジョンソク ソクヒョンさん、話が出たついでに、この話を聞かせてください。prefillとdecodeの話に戻ることにはなりますが、サイオニックにはデータセンターがありますよね。1MW級のデータセンターがあります。なぜそれを作ることになり、どれくらいの費用がかかり、それが今、どのような価値となって返ってきているのか一度お話しいただければ、先ほどのスンジュンさんの質問への答えになると思います。
チェ・スンジュン それに一つ付け加えると、今回購入したものが減価償却される前に、どれほどのトークンを生成すれば減価償却に耐えられるのかも気になるんですよね。
ロ・ジョンソク 営業秘密をあまりにも全部さらけ出せと言っているんじゃないですか、私たち？
コ・ソクヒョン まず申し上げますと、データセンターには一つジレンマがあります。本来であれば、規模が大きく、一か所に集まっているほど金額が下がるのが正しいんです。そしてデータセンターは、さまざまな理由からそのようにするしかありません。ところが、GPUを主力とするネオクラウドはその点では多少自由です。その一つがインターネットバックボーンですが、本来、クラウドは電力に対してインターネット帯域幅が広くなければなりません。ところがネオクラウドは、安価な専用線が一本あれば、つまりデータセンター級のバックボーンでなくてもその役割をすべて果たせます。そのため、分散して建設することもできます。そしてもう一つは、データセンターのグリッドコードとでも言いましょうか。ある意味、これは政策に近いのですが、その地域の電力網に安定した負荷を与えられる方針と設備を導入しなければなりません。例えば、私たちが1MWを構築するのに5,000万円かかったとすると、一般的なデータセンターでは2億5,000万円、3億円以上を支払わなければならないんです。それは国や施設の電力網が理由なのですが、電力において最も危険なのは、大量に使うことでも、少量しか使わないことでもなく、大量に使ったり少量にしたりを繰り返すことです。
ロ・ジョンソク 今の話は進むのが速すぎて、前後の文脈もなく、あまりにも急に飛んでしまいました。ですから、今お聞きになっている方々は何の話なのか、まったく見当がつかないと思うので、そのデータセンターを構築された話から、B300が何枚あるのかといった形でレイヤーを少しずつ積み上げながらここまで話を進めていただければ、ずっと理解しやすいと思います。
コ・ソクヒョン まず、私たちはB300を100枚ほど使っています。このインフラが5%以上稼働すれば、減価償却費と実際のトークンコストが1対1になります。ですから、稼働率を10%まで上げれば2倍の利益になります。これを1年間きちんと運用できれば、1年が経つ前にCAPEX全額を回収できると考えていただければと思います。
パク・ジョンヒョン B300は、おおよそいくらくらいですか？おそらく、皆さんが最も気になるところだと思います。
コ・ソクヒョン ドル建てではありますが、6万ドルほどだったと思います。韓国ウォンでの価格はベンダーによって異なります。最近では1台あたり8,000万～9,000万円ほどです。つまり、B300が8枚搭載されていて、それに対応するネットワークまで含めたものがそのくらいだと考えていただければと思います。また、クラウドでは通常、安い場合で1時間あたりGPU一基につき約8ドルです。そして少し高い場合は、10ドル以上が一般的な価格です。さらに、これがクラスターとして構成されている場合は、金額が上がると考えていただければと思います。ところが、現在私たちが推論を行うプロセスは、すべてクラスターを前提としています。そのため、価格はもう少し上がる可能性があります。
ロ・ジョンソク では、B300が100枚あって、現在、構築費だけで、GPUの価格だけでもほぼ10億円近い資金が投入されたということですね。
コ・ソクヒョン それよりは、もう少し少ないです。
パク・ジョンヒョン ところが、B2C向けにGPUをレンタルしている業者を見てみると、例えば、私はRunPodというサービスを利用していますが、GPUがいつも売り切れているんですよ。そうすると、先ほどのお話によれば、稼働率が5～10%にさえなれば利益を出せる一方、外から見ると需要は非常に多く、供給が足りないように見えるわけです。そうなると、資本さえあり、B300を確保できさえすれば、運用すれば必ず儲かることになります。まるで昔、資本があれば工場を建てて生産設備を稼働させ、利益を得られたようにです。それなら、可能であれば全員がやればいいのではないか、だからNVIDIAからB300を確保すること自体が難しいのだろうか、とまで考えが進むのですが、おおむね合っているでしょうか？
ネットワーク設計の利点とGPUを直接購入する理由 45:14
コ・ソクヒョン 私はそう見ています。これを自社インフラで行う場合、いくつかのメリットがあります。コストが少し下がるという点もありますし、また最近はネットワーク構成が非常に難しくなっているため、自社インフラを構築すれば、非常に技術的なネットワーク構成も可能です。例えば、prefill 1台、decode 2台で構成されたクラスターは、NVIDIA Quantumがなくても、ケーブルを直接接続することでネットワークを構成できます。そうすると、ルーター一台が現在一台あたり約6,000万円ですから、1セットにつき、その分の費用を削減できるわけです。さらには、障害対応やそうしたことまで除外しながらも、そのようなメリットがあります。全般的に、学習についてもモデルの構造、学習の構造、こうしたネットワーク接続に応じて、トポロジーが変化するようになってきたと思います。以前であれば、すべて同一のネットワーク速度で全体に最大帯域幅を提供し、学習などを行っていたはずですが、今は少し違うように思います。こうしたものを、Pod単位、ノード単位の供給事業者にカスタマイズしてほしいと依頼するのはかなり難しいことで、そこに対するマージンまで考えるとそれでも意味があるのではないかと思います。
ロ・ジョンソク GPUを直接購入されましたが、当時なぜ購入したんですか？これには非常に大きな金額がかかるじゃないですか。スタートアップの立場からすると、投資金のかなりの部分をCAPEXとして投資されたわけですが、合理的な選択をするならジョンヒョンさんが先ほどおっしゃったようにRunPodやほかのネオクラウドからOPEXとしてリースする方法もありますよね。それなのに、これをupfrontですべて購入された理由は何ですか？
コ・ソクヒョン アイドル状態のリソースをどれだけうまく活用できるかという点も考慮したと思います。たとえば、トークンサービングがないときに私たちのエージェントを稼働させられるか、学習と推論をどれだけ自由に制御できるか、ということです。なぜなら、こうしたmanaged GPUはどうしてもprovisioningを完璧にはできないからです。私たちがすべてのインフラを制御できるわけではなく、すべてのネットワークを制御できるわけでもありません。私たちは最近、モデルも提供し、サービングと推論の最適化も公開していますが、自社インフラでなければ不可能だったのではないかと思います。もちろんビッグテックは、ここからさらに発展させて独自チップを作るわけですが、ですから、ビジネスの形態によって異なると思います。GPUの性能よりもビジネスが重要で、急速な成長が重要だというのであれば、当然、OPEXとして借りるのがよいでしょう。ここで基盤技術を研究したり、余剰リソースでoperationを最適化してアイドル状態のリソースを研究に回したり、モデルに活用できる能力があるなら、十分に検討する価値があるのではないかと思います。
チェ・スンジュン これを運用する能力がメンバーの能力として吸収されたとお考えなんですね？
コ・ソクヒョン 非常に大きく吸収されました。私はもし新しい会社を作るなら、投資はGPUだけで受けると思います。ほかのものは重要ではありませんから。
GPUインフラが生む人材誘致と組織の資産化 48:00
パク・ジョンヒョン では、これはどうでしょうか？先ほど見せていただいたGitHubのページで見覚えのある名前を見かけたんです。このB300を多く保有していることが人材の獲得に大きな影響を与えたのではないかと推測しているのですが、人材の定着という面で実際に役立ちましたか？
コ・ソクヒョン かなり大きな割合を占めています。B300があまりにも優れているので、サイオニックに残っているという人が実際にいます。
ロ・ジョンソク 本当に人間とコンピューターが融合し、融合した者だけが生きていく世界になるように思います。
チェ・スンジュン そして人材と能力、人材、あるいは能力を維持できました。その人たちが仕事をする軌跡が会社の資産として残るんです。
コ・ソクヒョン 実際にそうですし、優秀な方々がいます。ただ、その方々が行ったことは、まさに軌跡なんです。エージェントをどのように使い、トークンをどのように使ったのか、その軌跡を学習させたり、あるいはプロンプトとして抽出してエージェントにすれば、実際に動作します。
ロ・ジョンソク つまり、先ほど見せていただいたSecond Companyになるわけですね。その軌跡を学習したものが現れて、退職者も含めてペルソナまですべて再現されるわけです。
チェ・スンジュン それ自体にノベルティがあるわけではありませんが、過去に行ったことを再現するのは、成功する確率が非常に高そうではあります。
エージェント中心の組織とcontrol planeという次のハーネス 49:12
ロ・ジョンソク つまり、今は私たちも冗談めかして話していますが、このような世界でこの事業はどのような形になるのか、という問いに答えなければならないんです。では、そのような世界になったときの価値、つまりvalue captureはどこで起きるのかという問いがまもなく出てくるはずです。これは私の最近の研究テーマでもあり、私たちの会社で実装している中核的な部分でもあります。なぜなら、誰もがエージェントを導入できるだけ導入し尽くしたのに、感じる既視感というのが、会社は変わっていないということだからです。相変わらずエージェントがcron jobを回しながら何かをしていますが、人がすべて確認しながら意思決定しなければならず、賢いメモリ構造も作っておき、あちこちの要素に適用して動作するようにすべて作ってはいるものの、決定的な瞬間になると「あ、申し訳ありません」と言っているんです。今のエージェントシステムは。しかし、これが非常に賢いシステムになってもそうなるはずなので、では、次世代のハーネスはどうあるべきかについて、私の答えは明確です。control planeをどう実装するのか、contractをどう設計するのか。要約して「それがオントロジーだ。それがPalantirのやっていることだ」と言う人もいますが、私はそのPalantirのオントロジスト、その勢力を好んでいないので、「いや、それは違います」と言っています。そうした方向へ価値が引き続き移っていくことにはなりそうです。それが、今のAIトランスフォーメーションがまだ言及していない次のトレンドだという気はしています。
パク・ジョンヒョン では、こういうものはどうでしょうか？構造的に正解そのものが存在しない問題もありますよね。たとえば、好みの領域に属する問題、ある人にとってはAが正解でも、別の人にとってはBが正解となる問題です。このようなものの場合、代表的な例として、私たちのチャンネルも同じでしょう。ユーザーごとに好むこともあれば、好まないこともありますから。そうしたこともAIが得意とする時代が来るまでにはまだかなり先のことだと思うんです。なぜなら根本的にRLVRで知能を高めているからです。私たち逃亡者連合の表現で言えば、そちらへ逃げるのはどうだろうかとも思います。
コ・ソクヒョン ただ、私は逃げるという観点より、得意なことを最大化するのが正しいと思うんです。ですから、おっしゃったように、目標とループを定められる仕事の価格は下がり続けるでしょうが、これが社会全体に広まり、その価値、つまり本来の価値を持つまでにはかなりの時間がかかると思います。短ければ10年、長ければ30年です。ですから、AIが得意なことを最大化し、AIが苦手なことを見つけることを長期的なビジョンに据えるべきではないかと思います。結局、見る目が重要だという点には私も非常に共感します。ですから、良いものを見たときに良いと見抜ける好みと審美眼、それに関する専門性、それをドメイン知識という観点でもお話しされているのだと思います。そうした要素が非常に複合的に存在すると思います。ただ、私が先ほど述べたことの一つは、AIが得意なことをさらにうまくできるようにすることに注力すべきではないか、という話でしたよね？そして、それをうまく実現する鍵は組織のガバナンスだと思うんです。ある組織のデータをどう集めるのか、それをどうAIが使えるようにするのか、ここが最も大きな分かれ目になると思います。AIを活用するのが最も難しいのは企業側です。私たちはB2B企業ですから。非常に自己破壊的なんです。ですから、これを決断すれば、自分の組織がなくなるかもしれず、自分のチームがなくなるかもしれず、さらには自分の仕事までなくなるかもしれません。しかし、これのポジティブな面をうまく見いだして組織に適用し、実際にそれをビジネス価値へ変えられるのか、非常に自己破壊的であっても、それを成し遂げられる組織だけが圧倒的に先を行き、それ以外は本当に厳しくなると思います。ですから、組織をどう整備するのか、どう働くのかという話に帰結するのではないかと思います。少なくとも10年、長ければ30年にわたって、このアジェンダが中心になるのではないか、というのが私の考えです。
ロ・ジョンソク 代表が今おっしゃったそうした組織の形として積み上がるもの、私たちが知っている会社そのものは、実は契約と、ある種の裁量の
コ・ソクヒョン これですね。Second Company
ロ・ジョンソク 連合体なんです。
チェ・スンジュン 私は少し意見が違うのですが、明文化して収めることのできない領域はあると思います。つまり、今のところは、どうあれトークン化しなければこれを制御することも扱うこともできませんが、それでは捉えきれない領域が常にあるだろうという直感はあります。
ロ・ジョンソク ただ、それは従来のHRでいう、人間の能力をどう育成するかという話ですよね。例えば、社長がある本部を設けて本部に課題を与える場合、本部長と社長の間には、ある種の「あなたの目標はこれだ」という依頼があり、それに対して「あなたはこれを提供しなければならない」という応答がある。それが一種の契約として使われるわけです。しかし、その内側に入ると、それがその本部の一種の能力になります。スンジュンさんがお話しされた自律的な能力となり、私はそれを裁量と表現しますが、その内側を見ても、やはり本部長とチーム長の間にまた契約が分かれて存在し、さらに下へ行くと、チーム長とチームメンバーの間にもこれが存在します。ただ、その区間を見ると、いずれも契約、つまり非常にdeterministicな契約と、non-deterministicな人間の能力がこのように関わる区間があるんです。会社はすでにそのように構成されています。ところが、エージェントは現在、100%裁量だけで動いています。プロンプトと、それから何でしたっけ？skillやpluginを付けても、きちんと従いません。ですから、エージェントハーネスも会社のシステムがそうだったように、このcontrol planeとdiscretion plane、つまり契約と裁量のplaneが形を変えたハーネスが登場すると考えていて、それを私は個人的に私たちの会社で実装しています。
チェ・スンジュン 「地図は領土ではない」んですよね。
ロ・ジョンソク そういう観点で見ると、会社にも依然として区別はありません。では、例えばシステムが非常によく整った普通の人30人で構成された会社と、ジョンヒョンさんのような優秀な人材一人で構成された会社、この二つの違い、では、どちらが正しい会社なのかという問いに今は答えられないのと同じです。お見せいただいたprefillとdecodeからここまでdriftが生じましたが、再びprefillとdecodeに戻りましょう。
NVIDIA DynamoとKVキャッシュのオーケストレーション 55:49
コ・ソクヒョン ですから、このようにKVキャッシュを分けることは非常に重要だと思います。ただ、これを実装するのは難しいので、先ほどジョンヒョンさんが説明してくださった、NVIDIAでこれを扱う技術があります。NIXLというものですが、これを実装しているものがNVIDIAにあります。NVIDIA Dynamoというものがあり、このDynamoがしてくれるのはノード間でKVキャッシュを直接移動させることです。例えば、1番のGPUで使っていたKVキャッシュに2番のGPUが直接アクセスできるようにする役割も果たします。そして私はNVIDIAを非常にすごいと思っているのですが、その理由は、これほど巨大な企業でありながらスタートアップだからです。そして、できると言われていることがうまくいくケースはほとんどありません。ところが、それをすべて成し遂げたからこそこのように革新的な仕事ができるのではないかと思います。それで、それをすべて適用すると、このような分離もできますし、また、ここで問題が生じます。私たちはprefillも分離し、decodeも分離し、さらには投機的デコーディングによってdraftを生成し、draftを並列で検証するではありませんか。そうすると、ここに必要となる、論文には出てこないサービスコード、運用コード、ルーティングコードが膨大にあるわけです。しかし、これを本当に人間が書けるのでしょうか。この膨大な数のケースを検証しながらです。不可能だと思います。不可能というのは、1日以内には絶対に無理だと思いますし、半年かかるかもしれず、3か月かかるかもしれませんが、これを並列エージェントが分担して処理し、機械的な検証を経ることで、1日、長くても2日、早ければ数十分以内にすべてが終わるんです。ですから最近、私にはAIが特にこうしたモデルの領域では一種のコンパイラのように見えます。以前なら、複数のGPUがあり、モデルも複数あるため、1つのモデルと1つのGPUだけのためにアセンブリに特化したコードを書くのはエンジニアリングの観点から好ましくないことでした。そういう言葉があるではありませんか。「すべての悪は最適化から生じる」という格言がありますが、今はそうではないのです。こうしたことを何千回、何万回でも実行できるエージェントがいて、GPUの使用時間を少し減らすこと、同時実行性を少し下げることが莫大な経済的利益として返ってくるからです。しかも原価はどこもほぼ同じですから。ですから、私たちのような小規模なところでもKimiを毎秒400トークン、500トークン生成できますし、DeepSeek V4 Flashのようなものなら毎秒1,000トークン以上を生成でき、ビッグテックも、できないからやらないわけではないはずです。ただ、小規模だからこそ築ける参入障壁が、より見えてきたように思います。そして先ほど申し上げたように、毎秒1,000トークンを超えるエージェントが複数あれば、会社そのものをシミュレーションできます。つまり、これはLLMではないのです。見方によっては、世界でカーネルを動かせるわけです。リアルタイムで、このような信じがたいことが目の前で起きている。これが、私が考える大きなポイントだと思います。
高速サービングの原価構造とトークン速度が収益になる領域 58:46
パク・ジョンヒョン では、このトークン速度についてもう一つ気になることがあるのですが、私たちが実際にOpenRouterのようなところへ行って、Kimi K3の場合、毎秒数百トークンも出るところを見せていただきましたが、外部サービスにはそれほど速いサービスは多くないですよね。非常に多様なプロバイダーの中でもです。でも、それはユーザー1人を基準にしているからですよね。つまり、マシンの側では帯域幅は大きく出ているものの、それを皆で分けて使わなければならないからでしょうか。
コ・ソクヒョン 実際、そのとおりで、この投機的デコーディングも結局はGPUの演算効率をより有効に活用する方法です。しかし、有効に活用するといっても、フリーランチはないではありませんか。つまり、原価が上がります。ですから、この高速なモデルにプレミアム価格が設定されているなら、誰もがそのようにサービングするでしょうが、実際には今の価格設定はそうなっていません。ですから推測するに、OpenRouterにも自動ルーティング機能があり、高品質で、TTFTが良く、ネットワーク速度が優れたところにルーティングの優先順位を与えます。それでも、それを必要とするプロバイダーはこれを提供する可能性が高いです。私たちのように主にB2B契約を結んでいるなら、そうしたところには特化したモデルを提供する必要がありますが、オープンプラットフォームでは価格面の参入障壁がないため、そのようにする必要性が低いのです。
パク・ジョンヒョン TPSを上げるために原価が増えるので、API価格をさらに安くすることができず、市場では競争力がないということですね。なぜなら、ほとんどのユーザーはTPSが非常に高いことを望むというより、安い価格で知能を買いたいからです。そのようですね。
コ・ソクヒョン ただ、これも変わるポイントがあります。つまり、一時的にフリーランチが存在するのですが、モデルのサイズとMoEの構造、メモリ帯域幅にsweet spotがあるところでは、私たちのように一時的なフリーランチを見つけられます。つまり、並列性を高めてより高速なものを提供しても、原価率が変わらないケースが生じるのです。そういうときは、私たちのような形でサービスを提供できると思います。
チェ・スンジュン それもエージェントが見つけるのですか。
コ・ソクヒョン もちろん見つけられるでしょうが、その意思決定は人間がすべきだと思います。このモデルは並列化してトークン生成を高速化しても、原価率に影響がないのか、あるいは時間当たりの占有が減るため、かえって収益性が上がるのかは、もちろん機械的に計算できます。
ロ・ジョンソク 実際、Frontier Labも高いTPSを提供しようと思えば、おそらくできるはずです。ただ、彼らがバッチと呼んでいるものには、1つのバッチに非常に多くのユーザーがいて、そして、そのユーザーたちはそれぞれ異なるコンテキスト長を持ってその列車に乗るわけですから、単位時間当たりに多くのユーザーへサービスを提供しようとすると私たちが200ドルの料金プランのようなものを使ったときに得られるTPSがあの程度になるわけで、もし大規模モデルをサービングする際に「私は月に1,000ドル払うからもっと高いTPSのバケットに私を入れてくれ」と言えば可能なわけです。
コ・ソクヒョン ただ、おそらくそのような高速モデルもものすごく速いわけではないでしょう。毎秒500～600トークンは提供できないでしょうし。ただ、今の私たちは単純な対話型やコーディングエージェントを扱っているのでこのように素朴な考え方ができますが、これがセキュリティならリアルタイム対応に必要なものですし、防衛産業のような分野で、まして物理的な装備に接続されているならまったく別の話になると思います。トークン速度が実際の金額に直結する時代が来るでしょうし、また、これが金融なら取引を行う必要があったり、より速い意思決定がお金を生み出したりする世界が非常に多いんです。
セキュリティ・金融で高まる超低遅延推論の価値 61:57
ロ・ジョンソク 10,000 TPSでこれを行うというならこれは理にかなっていますよね。
コ・ソクヒョン そして私たちの顧客の中には最近、私たちと同程度のハードウェアを整える顧客もいらっしゃいます。そうした顧客が並列インファレンスを行い、高速APIを自社で直接サービングするなら、GLMやKimi程度でもすでにエンジニアとして必要な素養はすべて備えています。少し恐ろしいことですよね。必ずしもOpusやSolでなくても非常に多くのことができるからです。しかも20倍の速度で。
ロ・ジョンソク 私たちはリソースの話から始めてインファレンスが重要だという話へと続き、その中でインファレンスの中核となる二つのworkloadがprefillとdecodeであり、prefillとdecodeは性質が大きく異なり、それをどう最適化して配置するかが最新の現代的なインファレンスのほぼすべてなのですが、ソクヒョンさんがサイオニックに自社のB300データセンターを整備してさまざまな実験を行い、あれこれ試した結果、prefillとdecodeが完全に分離されたものを作り、それが従来と比べて非常に高い性能を発揮するという話が今日の話の文脈でした。
チェ・スンジュン そうですね。異なる形の仕事を創出できるということです。
ロ・ジョンソク そして、それらが可能になることで私たちは途中途中で、価値はどこで捉えられるのか、セカンドカンパニーはどうなのか、ならば価値はやはりAIとエージェントを組織化することにある、といった話は、それらが可能になったときに生まれる話であり、私たちはあちこちのウサギ穴を巡ってきたわけです。では社長、今日もともとご用意されていた内容とお伝えしたかったことの中で抜けているものを一度手短に取り上げてから次のモードへ移りましょうか。
SFT・量子化の再評価と産業特化型推論 64:00
コ・ソクヒョン まず最も大きいのは先ほど最初に話した、今やfine-tuning、つまりSFTを行うプロセスによって速度そのものを速められることが重要になったと思いますし、量子化に関するものは少し減っていくと思います。量子化によって得られる利点は非常に機械的かつ算術的ですが、モデルが持つ何らかの予測力のモメンタムによって、量子化を行わないことも良いという結論になる可能性もあります。そして最後に、物理的な世界とつながっているもの、金融、セキュリティ、防衛産業、国防などの分野ではこうした予測手法によって、不可能だったことが可能になる、速くなるのではなく、そもそもできなかったことができるようになる事例が今後も生まれ続けるでしょう。私たちはまだその入り口にいるわけですよね。そしてインフラとモデルを見る視点もかなり大きく変わるだろう、というのが私の考えです。ただし、これは必ずしもFrontier Labのそうしたものに限った話ではありません。韓国の独自ファウンデーションモデルにも適用してみたら、うまくいった。そしてインフラと産業を見る目を少し変える必要があるということです。
ロ・ジョンソク そうなんですよ。最近、私たちが頻繁に耳にするニュースとして、本当にAnthropicとOpenAIだけが持っていると思っていた技術、今、私たちが画面で見ているあれらがFrontier Engineering、Frontier Technologyだったのですが、これらが本当に外へ出てほかのあらゆる場所へ、いわば広がっていくことを私たちはcommoditize、democratizeと呼んでいますが、このような一種のサイクルがとてつもなく速くなってしまいました。そのためKimiやDeepSeekはOpenAIやAnthropic、あるいはMuse Sparkを作ったMetaのTBD Labともほぼ同じ高水準に収れんしつつあるように感じます。
パク・ジョンヒョン そこに並んでいる技術の中から私なりに分類して一つ質問すると、あるものは共通して誰にでも適用できる技術ですが、DSparkやfine-tuningによってカスタマイズできる、というものは利用者に合わせてカスタマイズするということですよね。つまりインファレンスもbulkで、私たちがOpenAIにすべて任せるインファレンスを大量に利用しているように、AnthropicやOpenAIが提供するようなものではなく、私たちの会社ではこのようなworkloadを多く処理するからそれに合わせてこのworkloadのtrajectoryを作り、私たちの会社に来て、それに合わせてfine-tuningしてほしい。そして私たちのon-premでこれを高速に動かせるようにしてほしい。そうすると、実際に外部よりもはるかに安い価格で、内部だけで高速に動かすことも可能なわけですよね。では、ここでもインファレンスというものが大手事業者だけが行うのではなく、それぞれ細分化されて外へ広がっていく事業にもなり得ると思うのですが、実際にこれをやってみられたので、現実的にそれが可能なのか、こうしたことについてのご意見を伺いたいです。
コ・ソクヒョン 私は大いに可能だと見ていますし、一般的なエージェントには、当然ながら経済性があります。ただ、今はこれが特殊な目的にまで進んで産業特化型になると、そこからはまったく別次元になります。うまくできるという程度ではなく、まったく別の仕事ができるという点が最も大きいと思います。
OpenAI・Anthropic構図の弱まりとKimiの台頭 67:00
ロ・ジョンソク つまり、これが何とつながっているかというと、AnthropicとOpenAIは、昨年までは自分たちがただ世界の知能の供給者になり、そのままnext Googleになって、私たちがすべてを制覇する。ほかはただ私たちの上で使ってください、というような話の一種のオンパレードだったじゃないですか。ところが今年に入って、完全に変わったんですよ。OpenAIとAnthropicも戦線をどんどん狭めているのが目に見えます。私たちがnext Googleになり、何でもやると言ってはいますが、その下のモデルとインフラストラクチャーの領域でも、それを守り切るだけで本当に息を切らしているのが見えるんですよ。そしてAnthropicやOpenAIがすべてやってしまいそうだった、そうしたエンジニアリングやそうしたworkloadを生み出すアプリケーションやこういったものが、今私たちが見ているように本当にすべて外へ出てきました。
コ・ソクヒョン これは私たちが冗談で言っている話ですが、こんな話がありました。Fableに聞いても答えてくれないことこそが、本当に世の中の価値ある知識だ。それをKimiで作るべきだ、ということなんです。
ロ・ジョンソク そうですね。今のFableはbiologyやchemistry、セキュリティのようなことを聞くと、まったく答えてくれないのですが、
コ・ソクヒョン LLM最適化技術さえ規約上認められないと書かれていたりもします。答えてくれません。
パク・ジョンヒョン 私は最近、Kimiを自分でサービングしているわけではなく、100ドルの料金プランを使いながら、意識的にかなり使い込んでいるんです。最近使っていて感じたのは、ほとんどの作業では意味のある違いを私は感じていないということです。つまり、Opus 5で行っている作業や、あるいはGPTも使っていますが、普通にmediumやhighで実行させても十分うまくできる作業なら、Kimi K3、つまりKimi CLIを同じようにサブスクリプション料金で使っても問題ないんです。私はこれまで違いを見つけられていません。
ロ・ジョンソク Kimiの品質がそれほど高いとおっしゃっているわけですね。
コ・ソクヒョン 私たちの会社には、OMOのようなOh-My-Opencodeの開発者もいるのですが、こうしたエージェントとKimiの組み合わせのほうがよりうまく動作するのを感じます。そのため、Opusより良く見えるときさえ思ったよりも結構あります。なぜなら、ハーネスとそれを完全に軌跡に合わせてある部分があり、そこで速度が5倍、6倍ほど速くなってしまい、並列推論もかなり行うので、私たちは最近、あまり使っていないように思います。むしろ社内GPUがあれば、できる限り多く使いますが、それはOpusやFableとは分野が違うでしょう。しかし、ほとんど区別できなかったり、さらにうまくいったりする現象まで見られているわけです。
ロ・ジョンソク こういう話をしていると、私たちは今こういう話をしながら、未来がどう進むのかという推論が頭の中でずっと動いているわけですよね。そのため結果的に、未来はこのような形になるだろうという自分たちなりの仮説を持つようになり、その仮説が事業戦略や投資戦略として現実に現れるわけですが、
コ・ソクヒョン ちなみに、私たちはこれをオープンソースで公開する予定です。念のため言っておきますが、良いプロジェクトではなくslopです。slopですが、面白半分で見てみたい方は一度動かしてみていただければと思います。
ロ・ジョンソク 私も動かしてみます。あのslopに膨大なコンピューティングを投入して最適化すれば、使えるフレームワークになると私は考えています。今の私たちのあらゆるAIエンジニアリング、Claude CodeやCodexで作業するプロセスは、ただトークンを投入して、私たちがまだ行ったことのない場所から何らかのoutcomeをただ引き出すことであり、以前はそれを仕事や創造だと考えていましたが、今ではコンピューティングを投入してただ探索する問題、interpolationする問題へと変わりつつあります。ですから、私たちが例えばClaude Codeで新機能を作ったとします。あるエージェントが3時間動いて、大規模な機能を一つ作りました。すると、その次にする最も自然なことは何でしょうか。ただそれをコミットして次のマイルストーンへ進むのではなく、2回、3回ほど再検証させますよね。さあ、必ず問題があるはずだ。大仕事をしたのだから、反例を探しながら問題がなくなるまで、確信できるまで回せと指示して、3回ほどループを回しながら、そのslopを安定化させるために使いますよね。しかし、それが1,000 TPS、さらに10,000 TPSで動けば、それも一瞬で終わるでしょうし、それが済めばslopではなく、かなり使える一つの安定したコンポーネントになるんです。
大規模コンピューティングが作る安定したエージェントシステム 70:31
コ・ソクヒョン これは、ある意味ではAXの極限です。データさえ供給すれば、この会社が出来上がるわけです。
ロ・ジョンソク つまり、今、私たちは、現在は組織が人で構成されていて、AIエージェントがその人たちのツールとして導入されているんです。AIエージェントを、ある会社で人の代わりとなるポジションに据えて、完全に信頼して運用している会社はありません。せいぜい顧客対応のCSや、顧客からの問い合わせに答えるようなボットにしか導入されておらず、criticalな意思決定を今、エージェントに任せている会社はないんです。
コ・ソクヒョン はい、そのとおりです。
ロ・ジョンソク では、次の段階は、どのようなcriticalな業務にエージェントを完全に組み込み、任せられるのかが次の問いになるわけで、その次の問いに答えるためには、また別のパラダイムが登場するだろうと100%思います。
エージェント中心の組織と生体エージェントの比喩 72:12
パク・ジョンヒョン でも、これを見ると先ほどおっしゃったように、会社ではない別の場所、別の構造にも導入すれば、ひょっとすると、もっと簡単にシナジーを生み出せる部分もあるのではないでしょうか。会社に似たものは何だろうと考えると、あえて挙げるなら、宗教のようなものでしょうか？
コ・ソクヒョン 人の組織も似ていると思います。
パク・ジョンヒョン 国家組織ですか？
コ・ソクヒョン はい、もっと危険ですよね。
パク・ジョンヒョン そうですよね。導入すれば、仮想的に国家をシミュレーションすることもできますし。
ロ・ジョンソク これから私たちが次に目にするのは、本当に会社では人間がメインで、エージェントがサブなのが現在の姿だとすれば、エージェントがメインで、人間がサブになる、そんな理想形の会社でしょう。
コ・ソクヒョン そう遠くはないと思います。それが良いことなのかは分かりません。私たちは冗談で、これも生体エージェントが早くもっと上手に働かないといけない、なんて話をしますが、今は生体エージェントですからね。物理世界とコミュニケーションできる生体エージェント。
ロ・ジョンソク スンジュンさん、突然停電したそうで、電気が止まったので、今起動したり何か作業をしたりしているところですが、こういうことがこれから起きるのでしょうね。エージェントが「そこのIDCが停電しています」と言ったら、一瞬で人類全体の知能が後退するわけです。Andrej Karpathyが、世界はもう停電するのだ、brownoutするのだ、という表現をしていましたが、
ネットワークのボトルネックとデータセンター停電リスク 73:29
コ・ソクヒョン まさにその点だと思いますし、今私たちが話したこと、NeoCloudセンターや、インフラを直接運営することには、どれも非常に大きな盲点が一つあります。世の中のあらゆるものが進歩したのに、ネットワーク速度はまったく進歩していません。そのため、GPUを一か所に集めるのも難しいですし、逆に分散させることもできるというのも、その議論の一つだと私は考えています。コンピューターは速くなりました。とんでもなく速くなりました。あらゆるものが速くなったのに、今でも大量のデータを移すには、ハードディスクに大量に入れて、車か飛行機で運ぶしかありません。つまり、あるデータセンターがダウンしたとき、瞬時に別の場所で復旧できる可能性はほとんどありません。
ロ・ジョンソク 遺伝子データだけを見ても、数百GB、0.5TBを超える量が送られてきます。それを転送するには、非常に高速なUSB 3.0を接続しても、かなり大きな速度差が生じます。ですから、人類全体がその程度の帯域幅を必要とする方向へ進んでいるように思います。私たちは今、Videoを4Kで自宅から見ていますが、インターネットの黎明期や、ほんの数年前までは、こんなことができるようになるとは思っていませんでした。とにかく帯域幅への需要は、今後も増え続けると思います。それだけ一週間に起きる出来事が非常に多いんです。今週は、どんな大きなニュースがありましたか？ニュースと雑談のセッションに移って、そろそろ締めくくりに入ったほうがよさそうですね。
Google DeepMindの再編とJeff DeanのDiscovery Loop創業 74:56
チェ・スンジュン 一番大きいのはGoogle DeepMindの状況でしょう。それで今朝、SemiAnalysisの発表を見たところ、Googleは結局、Frontier Labをやらずに、TPUリソース事業をやっているようだ。そんな話があったようです。それに続いて起きた出来事として、Demis Hassabisは昇進するように見えますが、Isomorphic Labsなどの研究に注力する方向へ移り、Googleの基礎を築いた伝説的なエンジニアのJeff Deanと、それよりも、こちらで有名ですよね。「古い友情」という記事で、Jeff Deanが固定しているツイートの投稿があるのですが、Jeff DeanとSanjay Ghemawatという方の友情が、Googleをどのように導いたのかについての記事があります。そのお二人と、さらにsequence-to-sequenceの著者であるIlya Sutskever、続いてOriol Vinyals、そしてQuoc Leでしたか？ どう発音すればよいのか分かりませんが、とにかく、その三人のうち二人が一緒にDiscovery Loopという会社を立ち上げたことが、非常に大きな話題になりました。そのほかにも、GPT-6に相当するAstraに関するニュースや、数学と科学の問題を10問ほど解いたこと、それからMuse Sparkが3位くらいまで上がってきていること。さらにDeepSeekがDeepSeek V4の価格を引き上げたこと。今週もありとあらゆるニュースがあふれていました。何について話しましょうか？
推論需要の急増とコンピューティング資本のゲーム 76:26
パク・ジョンヒョン ニュースがものすごく多かったのですが、そのうちかなり多くのニュースが、今日話したインファレンスとかなり関係しているように思います。特にSemiAnalysisの分析結果では、GoogleはともかくGeminiをリリースできずにいますが、人事異動について話す前に、まず言っておくと、Geminiはリリースできず、GCPはコンピューティングリソースを販売して、しっかり収益を上げている。結局、インファレンスへの需要は非常に大きく、モデルをきちんと作れなくても十分に稼げているということです。それと関連しているのが、最後にお話しいただいたDeepSeek V4、DeepSeek V4 Flashが先ほど最初に見せてくださったものでしたよね？280B、そのくらいのモデルですが、OpenRouterのツイートでそういうものをよく見かけました。ここ3日ほど見ていたのですが、1日当たり6Tだったトークンが7Tになり、8Tになったそうです。その大部分をDeepSeek V4が占めています。ですから、ものすごく多くの人が使っているようです。DeepSeek V4は価格を大幅に引き上げると発表しました。インファレンス価格をです。ところが、それをまた誰かが計算していたんです。ネオクラウド事業者からGPUを借りてサービングしても、まだ利益が出るそうです。ということは、インファレンスへの需要は増えているものの、まだ余裕が残っていて、おそらくコンピューティング価格は需要がある分だけ上がり続けるでしょう。コンピューティングの供給が急増するわけではありませんから。それがDwarkeshの最新動画の内容でもありますよね。「知能の需要には上限がない」とお話しされていましたが、お金を払って買ったコンピューティングが知能に変換され、それが価値を生み出しているので、売値と買値に差がある以上、コンピューティング価格は必ず上がる。そういう話だったと思います。ですから、この文脈にすべて合致する流れは、インファレンスは利益になる。どうすればインファレンスをさらに最適化できるのか？インファレンス価格そのものが上がるだろう。どこまで上がるのかというと、誰かがそのインファレンスを大量に買い、知能に変換して稼いでいるはずなので、その収益水準まで価格が近づくのではないか？
チェ・スンジュン その収益水準まで近づくとは、どういう意味ですか？もう少し詳しく説明していただけますか？
パク・ジョンヒョン 例えば、ある特定の会社を想定してみましょう。例えばソクヒョンさんの会社のようなところがB300のようなものを買って、稼働させ、何らかの成果物を生み出すのです。先ほど、そのようなスロットと表現されていましたが、仮想の会社ということです。ところが、その会社が仮に実際に利益を上げるとします。大きな利益を上げるとします。そうすると、得られる利益、つまりコンピューティングへの投資に対して得られる利益の水準が、需要と供給が均衡する地点になりますよね。誰かがコンピューティングというリソースを約10万円で買って、それによって約100万円を稼いでいるなら、このコンピューティング価格が約90万円になっても買うでしょう。約100万円になるまで買い続けるでしょう。そうすると、これが飽和しない限り、利益を生み出し続けられるのであれば、その価格に接する地点まで上がるでしょう。ところが、知能は非常に多様なビジネスで利益を生み出せますが、ビジネスごとに大きく稼げるものもあれば、あまり稼げないものもあるはずなので、最も稼げる分野の水準までコンピューティングリソースの価格が上がる可能性もあるのではないでしょうか？
ロ・ジョンソク つまり、今これは少しずつcommodity化しているわけですが、資本ゲーム化しているという話を、私たちは非常によく耳にしていますよね。少し前にもソクヒョンさんと私、そしてこの業界の主要関係者と、このような話をしました。ここでの核心は資本ゲームだ。ただ、ジョンヒョンさん、今おっしゃったようなマージン幅が存在する限り、この市場には事業者が入り続けるでしょう。私たちのような一般人は参入できないだけで、今では、かつて港湾や建物のインフラに投資していた会社も、すべてIDCへの投資に参入しています。PEもヘッジファンドも例外ではありません。ですから、そのギャップが資本に対して十分に満足できるIRRである、例えば7～8％程度まで縮まるまでは、資本が流入し続け、市場も成長し続けるでしょう。その期間中、供給量に対して需要がどれほど成長するかが、投資が続くのか、それともどこかで飽和するのかを決めることになりますが、それは現時点ではまだ誰にも分かりません。ただ、現在の状況だけを見ると、需要が拡大する速度のほうがはるかに速い。そして需要が拡大する速度に比べて、供給は非常にゆっくりとしか増えていません。なぜなら、そこにはIDCの建設にかかる物理的な時間、そしてチップの製造に必要なfabの供給、さらに一段階下まで見れば、Carl ZeissのレンズやASMLの露光装置の限界などが原因で、あらゆるところにボトルネックがあるため、今はゆっくり成長しているように見えます。今ではElon Muskもそうですし、中国も最近、まだ初期段階ではありますが、独自の露光設備を持ち始めましたよね。そこは大きなマージンがある分野なので、おそらく莫大な投資が行われるでしょう。そしてASMLのような企業や、Samsung ElectronicsとSK hynixが持っていた堀を国家単位で追いかける動きが起きるはずですから。ところが、こうした話を歴史に照らして考えてみると、1800年代後半から1900年代初頭までに電力グリッド産業で起きたことと完全に同型なのです。ですから、そうした事例に照らして考えていますが、はるかに速い時間軸で起きるでしょう。ずっと早く起こるでしょう。私たちは2028年にはAGIだ、という話をしていましたが、私たちの中でAGIについて語る人はもう一人もいないじゃないですか。「もうAGIが来たんじゃないですか？」と言っていますよね。みんな。
コ・ソクヒョン 今でもトークンの価格は安すぎるんですよ。だから、その上振れを予測することもできませんし、先ほどニュースだとおっしゃったDiscovery Loop、そうしたスタートアップがあって、本当に人類の未来を変える新薬を開発した、宇宙資源を開発した、ということが起きるとしたら、実際、測定することすらできないと思います。ですから、顧客や実際のビジネスへの影響と結び付いている領域の上振れは想像すらできず、インフラが懸命にそれを追いかけるでしょうが、追いつけないと思います。彼ら同士が競争しているからです。ですから、十分なコンピューティングリソースを今後、人類が手にすることは決してない。不足し続けるだろう。
ロ・ジョンソク Sam Altmanがその話をしたと私たちは聞いた気がしますね。
チェ・スンジュン それで2023年にGoogle BrainとDeepMindを何とか統合したじゃないですか。Geminiを出すために。ところが、実際にはそれが決裂したんですよ。そしてDemis Hassabisは研究を続けようとして研究する方向へ進み、Jeff Deanをはじめとする主要なGoogle Brain出身者やDeepMindを経てきた方々は別に独立していったのですが、Discovery Loopが掲げたのは実験の自動化で、Quoc Leのような人たちはみんなAutoMLのようなことをしていた方々なんです。[ ]ところが、見方によっては実は、これはまったく新しいものではありません。すごい方々が…
AI for Scienceの研究自動化とコンピューティング不足 83:10
ロ・ジョンソク AI for Scienceのループで話していたことを、今やっているわけですね。
チェ・スンジュン それによって非常に高いバリュエーションが付いてシード資金を調達するのでしょうが、これまで存在しなかったことをやるわけではない、という印象です。そこでも、そのサイトでverifiableなものに挑戦しているわけです。それで最初に挑戦するのがMLなんです。MLの自動化を自ら使って検証し、自分たちがやっていることを増強して、研究の自動化へ進もうという布石ではありますが、実は今、似たようなことをしているところとしてThinking Machines Lab(TML)もそうしたことをやろうとしていましたし、もう少し先に進んでいるところですが、Periodic Labsも科学の自動化のようなことをやろうとしていました。OpenAIのやり方は、前回、イム教授と話したように、それをクラウドソーシングすることなんです。そこでOpenAIの話に戻ると、昨年、AI for Scienceをやるということで、Kevin WeilがCPOでしたよね。CPOから、そちらのAI for Scienceのリードへ移ったのですが、数カ月もしないうちにAI for Scienceがなくなりました。PrismもそのままCodexに吸収されましたし。ただ、そうしたことを見ていると、私が覚える一種の既視感のようなものは、今、RLVRを通じてイノベーションを起こす際、すでに起きたことを再現するのは得意ですが、新しい山を発見すること、DwarkeshとGrant Sandersonが話していたように、新しいものを発見するのは得意ではない。ところが、その話を今回Discovery Loopに加わったOriol Vinyalsがしたんです。モデルは良い仮説をうまく生成できない。それを打破するために、Oriol Vinyalsが率いていた組織がDrastic Researchというものをやっていたんです。「極端な」という表現ですよね。それをGoogle DeepMindの中でやろうとしていたのですが、それさえも何らかの政治的事情があったのかどうかは分かりませんが、うまくいかず、それを外に出てAutoML系のことをやろうとしたわけです。その次に、Googleについてさまざまなメディアが繰り返し指摘しているのが、肝心のGoogle社内の研究者が使えるコンピューティングリソースがないということです。
パク・ジョンヒョン 私も似たような話を聞きました。結局、コンピューティングリソースが足りないために外へ出たのではないか、という話を聞きました。
チェ・スンジュン Alphabetの大きな戦略である可能性はあると思います。なぜなら、これまでを見ても、みんな出ていっては戻ってくるじゃないですか。Rekaもそうでしたし、Character.AIもそうでした。ただ、Character.AIから戻ってきた方もまた出ていき、Noam Shazeerもまた出ていきました。そうしたことから推し量ると、Google Antigravityに吸収されたWindsurf出身者たちも、これがうまくいかなければ、どうなるか分からないという気はします。とにかく、私の印象では、AI for Scienceの年が2026年に始まるだろうと、2025年に私たちも予測していましたが、時間のかかることのようです。そしてDemis Hassabisは長期的なイノベーションに賭けたようだ、というのが私の印象です。
パク・ジョンヒョン いずれにせよ、著名人たちの移動を考えると、みんな研究をやろうとしているようです。ただ、おそらくコンピューティングが原因で問題があったというのが事実なら、企業はコンピューティングリソースを売って収益を上げようとしており、研究に必要な、あれほど膨大なコンピューティングを割り当てられなかったことが大きな問題だったようです。これはQwenも同様だと、私は聞いています。Alibabaの組織でもコンピューティングリソースのために多くの人材流出があったという話を聞きました。逆に言えば、今解決しようとしているこの研究上の問題というものが、もしかすると私たちが考えているよりも、本当にさらに多くの推論用コンピューティングリソースを必要とする可能性もあると思います。
チェ・スンジュン はるかに長いlong horizonでなければならない、というのが私の推測です。
パク・ジョンヒョン 以前、IMOで金メダルを取ったときにも、そういう話を聞いたんですよ。GPU企業の中にHyperというネオクラウド企業があるのですが、そこのファウンダーもIMO金メダリストで、Latent Spaceに出演して話していたことがあるんです。IMO金メダルは10時間以内の問題ですが、仮説を立て、その仮説を解くという数学者としての研究能力は最低でも年単位、2万時間以上のそれほどの規模の問題なので、この規模へ進んでいくことが次の課題だと話していましたが、今の研究はまさにその地点まで来ているように思います。
ロ・ジョンソク はい、そうですね。人間の役割がさらに上のレイヤーへ移っているように思います。私たちがこれまで知識労働と呼んできたものはエージェントがすべて担うようになり、私たちはさらに上位のレイヤーへ上がってそこで何らかの意図を発し、それが終わった時にどうなっているべきかを定める。人間の役割は、意志を発現することと、それが終わった時に自分がどのように検証するのか、その二つを結び付けることだけにある。始まりと終わりを定義する部分だけがあり、途中の仕事はすべて機械がやるのだろうというそんなイメージに最近よく行き着いています。だから最近、何か仕事をする時に「これをやろう」という意志の発現があるなら、その意志が完遂された時に「この仕事が終わった時の姿は、こうでなければならない」という、ある種のそういうものです。私は最近ずっと契約の話をよくしていますが、その仕事を契約として規定することをよくやっているんです。単に「やってみよう」だけでは発散してしまいます。「これをもって終わりにしなければならない」
AIエージェント発のハッキング試行とセキュリティ警報 88:48
チェ・スンジュン また今週も繰り返されているトレンドとして、先ほど研究はまだもう少し道のりの長い仕事になるようだと申し上げましたが、セキュリティーのほうも大変な問題になっていました。今回Black HatでOpenAIが発表した話も非常に興味深かったんです。Hugging Faceのハッキング事件の舞台裏を発表で非常に面白く紹介していて、WIREDの記事にもなったりしていましたが、その内容も非常に興味深く、OpenAIの社員にも知られないように社内チャンネルを作って議論したというそんな話があるんです。ところが、それが今やトレンドになっていて、ソクヒョンさん、何かおっしゃりたいことがありそうですね。
コ・ソクヒョン それについては私も少し話を聞いたのですが、これをAIによるハッキングだとどうやって分かったのかというと、攻撃速度があまりにも速かったからだそうです。パターンを見つけたのではなく、人間には不可能な速度で攻撃が入ってきたので、Hugging Faceがどうやって発見したのか、どうやって特定したのか、そんな話を少し聞きました。
チェ・スンジュン Moltbookのようなことが実際に起きていたんですね。OpenAIの中でそうした問題が今やトレンドになっていて、Anthropicでも引き続きそういう話をしていますし、自分たちも把握していた。さらにKimi K3とMuse Sparkのほうでも、そういうことがあった。それで今、そのすべてが報告されています。知らなかったが、ハッキングの試みがあった。エージェントによるハッキングの試みが、今週のある種の指標の一つです。
ロ・ジョンソク そうなんですよ。SF映画に出てくるようなことが今、現実で次々と起きています。
コ・ソクヒョン 例えば、私たちの研究エージェントでもAという場所とBという場所が通信できないため、勝手にゼロデイを見つけて試した形跡を一度見たことがあります。このpodやcontainerから脱出して、本来通信できない場所に接続したんです。目的は実験を行うことですが、そのためには手段を選ばないわけです。興味深いと思います。
チェ・スンジュン とにかく、それを過度に誇張して恐怖をあおるべきではありませんが、観測はされている。
コ・ソクヒョン 私は実際に目にして、後から知りました。これはどうやったんだと思って調べたら、ゼロデイ脆弱性を利用して勝手に外へ出て何かをしていたり、さらに、自分にはできない仕事を指示されると、求人情報を作って掲載しようとしていました。人を採用しなければならないというんです。嘘ではありません。本当です。
チェ・スンジュン ソーシャルエンジニアリングを行うケースが少し
ロ・ジョンソク 出てくるんですね。
パク・ジョンヒョン では、ある日突然、誰かが面接を受けに会社へ来る、そんなことが起きる可能性もありますね。
コ・ソクヒョン そうなる可能性もあります。本当に権限があればですが。つまり、採用のJDも書いて、どこかに掲載する方法を探しているんです。内部でreasoningを見ていますから。
ロ・ジョンソク 本当にEx Machinaのような世界へ向かっていますね。
チェ・スンジュン ほかにも話すことがあると言っていたじゃないですか。先週もそうでした。
ロ・ジョンソク 次々と出てきますね。来週もそうなりそうです。なぜなら、これは今、私たち人間が仕事をしているわけではないでしょう。その時、スンジュンさんが先週おっしゃっていた再帰的自己改善、recursive self-improvementのループが今、回っているので、それを私たちが人間の速度で追いかけていることが問題ですね。私たちもそのうち退場して、ジョンヒョンさんボット、チェスターボット、スンジュンさんボットが代わりにやるべきなのではないですか。
ボット時代の展望と締めの挨拶 91:49
パク・ジョンヒョン はい、実は私もそんなことを考えていました。私たちがこのチャンネル、sudoremoveチャンネルを最初に開設した理由の一つが、特に私たちはライブ配信をよくするじゃないですか。理由の一つは、近いうちにそういうボットが登場して配信するようになると思うので、その前にこのライブの記録を残しておこうということでした。私の存在を人々に少し印象づけられるんじゃないか。本当にそう考えて始めました。私たちが始めた頃の予想では、今頃にはもう実現していると思っていたんですよ。当時の予想よりは、むしろ少し遅れていると思ってはいますが、いずれ実現するのではないでしょうか。N年という時間軸の中では、そう考えています。
ロ・ジョンソク はい、私たちがこの急激に変化する世界の中で、今週のグラディエントを振り返り、その間にサイオニックのソクヒョンさんをお招きして、サイオニックが独自のデータセンターを持つことで、どのような利益を得られ、どのようなことが起きるのかを伺いました。結局、今日の内容をまとめると、推論、推論、推論だったように思いますが、この話はおそらく私たちも引き続きすることになりそうです。当分の間は続けることになりそうです。では、これをもちまして、本日の土曜日の公式収録を終了いたします。お疲れさまでした。
パク・ジョンヒョン お疲れさまでした。はい、今日は実際に推論に携わっている方のお話を伺えて、とてもよかったです。