EP 111
ベンチマーク首位が落選？独自FM四つ巴の選定結果を読み解く
独自FM四つ巴と3社選定をめぐる論点 0:00
ロ・ジョンソク 収録している今日は2026年8月22日、土曜日の朝です。フロンティアという言葉を最近、よく耳にしますよね。フロンティアモデルは今週も依然として限界が見えないまま、前進を続けました。そのため、GPT-6, Astraと呼ばれるモデルもあまりにも危険なので、途中でmodel trainingを2週間停止することにした、というニュースもSam Altmanが自ら発表していましたよね。
ところが、このフロンティアになることだけが生き残る道だという認識があり、また、このフロンティアになれなければ味わうことになる、ある種の悔しさについての話もありました。そして、その悔しさから国家レベルでも生まれたイニシアチブが、独自ファウンデーションモデル、いわゆる「独自FM」モデルでした。また今週、「独自FM」に関連して、4つのうち3つを選ぶイベントがあり、そのために非常に多くの議論が起きているようです。そこでジョンヒョンさんには、「独自FM」に関してモデルを一通り調べていただいたので、それに関する話も伺いますが、客観的ではないかもしれません。なぜなら、モデルを評価する基準そのものがどれも客観的ではなく、最近ではベンチマークにも意味がない、ベンチマークスコアが高いものが必ずしも良いモデルを意味するわけではない、という意見もあるため、私たちも非常に主観的な視点を持っておそらく話を始めることになると思います。
今日は「独自FM」について話してみて、その後はスンジュンさんが最近ずっと進めている、誰もがそれぞれの業務で、それぞれのワークフローで、それぞれのモデル選択において、何らかのフロンティアに到達するための活動をしていますよね。ハーネスとも言えるでしょうし、あるいは何らかの方法論とも言えるでしょうし、非常に多様なものの組み合わせですが、スンジュンさん、スンジュンさんのフロンティアを前へ押し進めるための作業をされているので、そうした部分についても一緒に話を聞いてみたいと思います。では、今日の話を始めてみましょうか？「独自FM」、議論の的ですよね。
AAIIベンチマークで見る韓国の独自FM候補の位置 2:03
パク・ジョンヒョン まず、ベンチマークは評価するうえで、そこまで客観的な指標ではないとおっしゃいましたが、それでも比較的最も客観的な指標なので、ここから見ていきましょう。AAIIと呼ばれています。Artificial Analysis Intelligence Index.ベンチマークをまとめた指標ですが、結局、あるモデルの性能を1つの数字で表すとすれば、やはりこれが最もよく見られているようです。ここを見ると、Opus, Fable, Sol, Grok, Kimiの順で、上からずっと並んでいます。私たちがフロンティアモデルと呼んでいるアメリカと中国のモデルがずらりと並んでいて、このあたりでMotifという韓国のモデルが初めて登場します。その次が、数値で言うとQwen 3.827Bで、小型版のモデルです。大型の2.4Tはこれより上にあり、私たちはこの下に位置していて、さらに下へ進むと、TML Inklingモデルもあり、NVIDIA Nemotronもあり、その次にUpstageのSolar、これも韓国のもので、SKテレコムのA.X K2、LG AI研究院のK-EXAONEがあります。このあたりに分布しているモデルが、現在政府が力を入れて推進している「独自FM」モデルの候補でした。したがって、モデルの順位で見ると、この程度の水準にある、と見ることができそうです。ちなみに、アメリカ、中国、韓国以外のモデルではMistralがここで初めて登場します。その次に、ずっと下へ行くとCommand Aというモデルがあり、Cohereは少し曖昧ですが、おそらくカナダ系だったと記憶しています。ただ、北米を一括りにすると少し曖昧ではあります。とにかく、私たちはこの程度の水準まで来ています。
そこで、これらのモデルが気になり、私も機会が許す限り実際に使ってみました。かなり主観的な評価です。
首位Motifの落選が話題になった理由 4:03
ロ・ジョンソク 先に結論を申し上げると、4つのモデルのうち3つが選ばれましたが、Motifが落選し、残りの3社が次の本選へ進んだわけです。
パク・ジョンヒョン それで、ベンチマークスコアだけを見ると、スコア自体が圧倒的なんです。2位とは10点ほど差がありますが、この10点ほどの差がどの程度かというと、GPT-5.6 SolとLunaの差が10点ほどあります。ところが、10点ほど下にあるモデルが通過し、最上位のモデルが落選した。これが話題になっている理由だと思います。
ロ・ジョンソク その内容を私たちの視点から見てみましょうか？
パク・ジョンヒョン 1位のモデルが落選したため、皆さん不思議に思っているようです。私も今回この機会を得るまでは、当然ながら、あのモデルを使ってみる機会はありませんでしたし、登場して間もないモデルで、試すこと自体も困難です。そのため私も気になりましたし、同じ理由からbenchmaxxingというキーワードを多くの人が気にしているようです。なぜなら、ベンチマークスコアは高いのに、実際に使ってみると今ひとつなモデルがかなり多いからです。そのため、ベンチマークスコアが高くても実際に使うと満足できないのか、そうした点が気になり、私も一度使ってみることにしました。
さらに、このMotifというモデルは今回、ある意味では初めて注目されたため、私もその名前自体を今回初めて耳にしました。ほかのモデルの場合は、UpstageやSKテレコム、LG EXAONEなど、いずれも以前からすでに有名だったモデルなのに対し、突然ぽっと現れて話題になり、選考から落ちたことで、さらに話題になったモデルだと言えると思います。それで、私も一度使ってみました。
これはかなり主観的な評価でもあるので、それを裏付けるために、私がどう使ったのか、trajectoryをすべて残したいと思い、あえて私たちのチャンネルでライブ配信しました。ですから、評価もライブをご覧になっている方々とチャットしながら、これを試そう、あれを試そう、皆さんの意見はどうですか？といった意見を聞きながら進めたものなので、できる限り、私に可能な範囲では客観的に評価しようと努めました。
ロ・ジョンソク 姉妹チャンネルのSudoremoveでジョンヒョンさんが直接ライブ配信を行い、その結果をもとにまとめた内容であることをお伝えしておきます。
独自FM候補モデルの規模と学習リソースの比較 6:27
パク・ジョンヒョン まず要約してから先に進みましょう。客観的にこれらのモデルがどのようなものなのか、注目すべき点だけを簡単にまとめましたが、まず一番気になるのは、おそらくmodel sizeでしょう。model sizeは300B、750B、680B、200B程度です。つまり、200Bから700Bの間くらいの規模を持つモデルでした。興味深いのは、最も大きなモデルのスコアが低く、むしろ小さなモデルのスコアのほうが良かったことです。したがって、model sizeとベンチマークスコアには差があったという点があり、次にcontext sizeだけを見てみると、
Solarだけが1Mです。最近は1Mのモデルが多く登場していますが、ほぼすべて256Kのモデルでした。
そして、モデル内部という観点でも特異な点がありましたが、いずれにせよTransformerの内部を各社が独自に少しずつ修正し、何らかの改善を図ろうとしていました。
次に気になったのは、model sizeもそうですが、trainingをどれほど行ったのかです。なぜなら、このtrainingの規模とmodel size、データをどれほど多く、何トークン学習させたのか、こうしたものは、特に韓国のように米国や中国ではない国では確保しにくいため、政府がこのような事業を行っているわけです。そこで、この規模が気になり、pre-trainingトークンの量を調べてみたところ、おおむね各社とも1兆トークンほど学習したようです。参考までに申し上げると、Kimiの場合は、昨年登場したK2、つまり前世代のモデルですね。たしか20兆トークンほど学習していたと記憶していますが、論文を見る限り、とにかく規模はその程度です。10兆だとすれば、かなりよく追いついている、規模の面でもそのように見られると思います。
データセットの出所と公開性への物足りなさ 8:20
ロ・ジョンソク データセットの出所が興味深いですね。それぞれ少しずつ異なり、Motifは最後発らしく、NVIDIA Nemotronコーパスを最も多く使用していました。
パク・ジョンヒョン 一般に知られている公開pre-trainingデータの中で、最大のものがNemotron系とHugging FaceのFineWeb2で、これらが最も標準的なものと見なされているようです。そのうえで、独自に公共機関のデータをいかにうまく活用するか、あるいは、こうしたデータをFineWeb2やNemotronからうまく集めて、いかに適切に精製し、抽出するか、どのように圧縮または合成したか、その程度の違いがあったように思います。
これも単純にモデルをopen-weightモデルとopen-sourceモデルにあえて分類するなら、recipeがどれほど公開されているかである程度区別したりしますが、データの出所は、それほど透明ではなかったように思います。実は、そこには期待していました。なぜなら、韓国語のデータを各社とも何らかの形で精製したはずですが、それをどう行ったのか、合成したのか、どう精製したのかといった点が気になっていたからです。これは時間が経てば、次回はさらに整理され、公開される可能性もあると思います。いずれにせよ、こうしたものが最終的にエコシステムを作るので、期待していましたが、十分には公開されていませんでした。こうした点は残念だったと思います。
そしてGPUは、B200基準で500枚から700枚ほど支援されたとのことです。そのため、このリソースですべてtrainingしました。
次にお話しいただいたのが、SKテレコムが当初これを受けられなかったということでしたが、私も詳しく把握していないので、背景を説明していただけますか？
GPU支援の条件とSKテレコムが自費で学習した背景 10:05
ロ・ジョンソク これは確実な情報ではありませんが、SKテレコムは初期にGPU支援企業として登録されていたため、GPU支援企業の場合は政府の支援を受けられない、という条件があり、支援を受けなければweightsを公開する義務がない、というアメとムチが結びついていたと聞いています。SKテレコムの場合は、7月に改めて政府支援の対象に入るという話を聞きましたが、それまでは政府支援のGPUを受けていなかったため、会社が自社で費用を負担して今回のモデルをtrainingしたと伝えられています。
そのため、非常に多額の費用を使ったという話があり、金額についても後ほど噂としては出回っていますが、確認されていない事実なので、お話しすることはできません。ところが、今回三つ巴の構図になったこの時点からはSKテレコムも政府のGPU支援を受けることになる、と私は理解しています。
パク・ジョンヒョン はい、分かりました。とにかく、ここにある企業はモデルだけを作る企業とも見なせますが、SKテレコムの場合はGPUサーバーを供給するとにかく、これはすべてインフラとモデルを作るこのエコシステムにおける立場が異なるのですが、その立場が重複しているため、事業の公平性を保つべくそうした仕組みをすべてきちんと整えたようです。ひとまず私はそのように理解しました。それで、GPUもどのくらいGPU-hourを使ったのか私はこういう点が気になったのですが、なぜなら、これは実際にかかる費用の中でも最大の費用の一つなので、費用が気になったのですが、これについても正確には公開されていませんでした。
そこで成果物だけを見ると、もちろん、実験が一度ボタンを押しただけで最初から最後まで動いて終了、当然そんなふうにはいきませんが、active parameterとそれから、どれだけ多くのトークンを学習させたかを見れば学習全体にかかったpre-training段階の計算量が分かるのですが、実際にこのようにだけ計算するとMotifとSolar Open 2という、スコアが高かった二つのモデルが実際にはより小さかったんです。pre-trainingだけの計算量を見るとです。こうしたことを逆算して簡単に計算することができました。
それから、私が驚いたことの一つはこのMotifチームは人員が30人ほどしかいないそうです。つまりスタートアップが非常に少ない人員でこれをうまく成し遂げた。それ自体が興味深いと思いました。このモデルを作るということ自体、優れた基盤モデルを作るということは膨大な規模のGPU、つまり多額の費用がかかることではありますが、実際のところ、人員自体はそこまで多く必要なわけではない。チームが小規模でも十分にできる。こうしたことを裏付けたように思います。私たちがフロンティアラボで観察していた点の一つですが、韓国でもまったく同じことが起きたようです。フロンティアラボが人材を迎え入れる際、その人たちの評価額が高い場合には一人当たり約100億円にも上るということでしょう。記事に出ているようにです。
非公開ベンチマークと定性評価から見る政府の評価基準 13:01
ロ・ジョンソク これは数人が、まるでレシピのように持っていればできることだと知られていますよね。
パク・ジョンヒョン では次に、政府の評価基準のようなものを調べてみました。なぜ、それでも世界的に最もよく見られているベンチマークスコアであるAAIIスコアで1位だったモデルが落選することになったのか調べてみたのですが、ベンチマークスコアは全体のうち40点で、その中で25点を占めており、残りには独自のベンチマークがあるそうです。これはベンチマークの、ベンチマーク問題が知られてしまうとそれを学習すればよいため、そうした問題や漏洩の問題を防ぐために非公開のベンチマークを用意していたそうです。そのため、すべての項目のスコアを詳細には公開していませんでした。見てみると、おおよその平均スコアや差、どのチームが1位だったかという程度だけが公開されていましたが、AAIIベンチマークの場合は、私たちに公開されているとおりMotifがArtificial Analysisスコアでは1位で、それから独自ベンチマークではSKテレコムのモデルが1位だったそうです。
驚いた部分だったと思います。フロンティアモデルを評価する際、私たちが体感する知能とベンチマークスコアがそれでもかなり一致しているAAIIスコアでスコアに少し差があったという程度ではなく、ほぼ一、二世代ほどの差がついていたのに、別のベンチマークでは下位だったモデルが1位になりました。こうした点が少し気になりました。
それで、ベンチマークがどのようなものなのか、おそらく後で評価がすべて終われば公開してくださるのではないかと思いますが、おそらくデータの分布がまったく異なるのだと思います。評価しようとする項目自体が大きく異なるのだと思います。
モデル性能を超えたエコシステム重視の評価趣旨 15:06
ロ・ジョンソク 韓国の「独自FM」モデルですから、韓国に関連するデータセットやベンチマークが多いのではないでしょうか？
パク・ジョンヒョン そうだと思います。韓国の文化的な知識を尋ねるなど、そうしたものが多いのではないかと思いますが、そのため、こうしたことをたくさん学習したようです。ローカライズされた韓国関連の知識をおそらく豊富に持っているのではないかと思いますし、それから専門家の方々が定性的な評価を直接行い、ここではLGのモデルが1位だったそうです。平均スコアにはそれほど大きな差はありません。
総評のようなものが発表され、Upstageのモデルの場合はDaumポータルと連携しており、FuriosaAI NPUと協業した、といった内容が出ていますが、とにかくこれらを見るとモデル自体のトークン性能、それだけを見るのではなくエコシステム自体を評価しようとしたようです。実際にアプリケーション層に適用され、ユーザーにどれだけうまく届いているか、それからインフラの面でもNVIDIA GPUを普段は私たちの大半が使うことになりますが、それだけでなく他のNPU、特に韓国のハードウェアでうまく動作できるように協業も行い、将来、良いモデルができたときにエコシステムにどれだけ貢献できるのか、こうした点を評価しようとしていたようです。SKテレコムやLG AI研究院はいずれも実際に商用サービスへ搭載された、国際機関とどのように協業しようとしているのか、こうした点に関する評価が多く、hallucinationが非常に少ないだろう、といった形で評価されていたようです。
次にMotifの場合は、モデル自体に関する評価だけが要旨としてまとめられていたのですが、私が感じたところでは、Motifだけがモデル自体に関する内容が評価要素として入っています。ほかはモデル以外の部分に対する評価が書かれているようなので、こうしたものが評価基準に含まれることについて、人によっては、私たちはファウンデーションモデル、優れたファウンデーションモデルを作る事業なのに、ファウンデーションモデル自体に対する評価ではなく、どこで使われたかという評価を含めるのが正しいのか、といった疑問を呈しているようです。
ロ・ジョンソク ただ、「独自FM」事業の第一の趣旨自体が、単にモデルだけでなく、韓国のフロンティアモデルのエコシステムをともに底上げできるかという点も評価基準に含まれていましたし、そのため、最初にチームを選抜する際にも、どのようなコンソーシアムを構成したかが非常に重要な要素だったんです。したがって、これは単にモデルの性能だけを見て評価するものではないと捉えるのが妥当だと思います。
また、国が実施する事業では公正さが優先されなければならないため、何らかの偏りを設けて誰かが何かを操作するのは非常に難しいんです。そして、評価ルーブリック自体ではAAIIが35点で、ほかの要素も非常に大きな比重を占めるため、モデルの性能だけで評価するものではないことを私たちは理解しておく必要があると思います。
そうしたものには多くの政治的な要素が含まれていますが、それさえもゲームの一部だったと捉えるのが妥当なので、専門家による評価でこうした利点が指摘されたことによって高い点数を得たというのは理にかなっています。私たちは尊重すべきであって、ああしたこととモデルの性能に何の関係があるのか、と言うのは難しいと思います。この事業の性格上ですね。
パク・ジョンヒョン はい、はい。私は何よりも良いモデルを作ることが最優先の目標だと個人的には認識していたので、おっしゃったように上流と下流をうまく連携させ、政府事業ですから、エコシステムをしっかり構築することが、当然ながら最も重要な要素だと見ることができますね。
ロ・ジョンソク ですから、Upstageのようなコンソーシアムにも非常に多くの企業が参加していますし、SKTとLGもやはり強固なコンソーシアムを維持していますよね。ただ、Motifはどうしても後発であり、スタートアップでもあるため、そうした部分の点数、いわば政策面の点数ですね。そうした部分で多少不利だったのではないかという気はしますね。
パク・ジョンヒョン 不利になり得たと思います。
ロ・ジョンソク はい。
パク・ジョンヒョン 特に私たちはチームを、単に代表チームと呼べばよいのでしょうか。モデルを作る会社をチームとして話していましたが、実際にそのチームを見ると、上流と下流のサービス会社やインフラ会社が一緒にチームを組んでいて、参加企業が非常に多かったと記憶しています。そうした点が主要な評価基準の一つだったということですね。その次に、ユーザーを募って実際に使ってもらい、評価してもらった点数まで反映し、特に私が少し印象的だと感じたのは、一般国民という枠で評価者を募集して採点を任せたのですが、人口統計を考慮してできる限り多様な人々を集めたそうです。そのため、このような事業を行うとなると、私たちのようにAIに非常に関心がある人、そういう人だけが集まる可能性もありますが、そうではなく、本当にできる限り老若男女をバランスよく集めるための努力をしていて、こうした点にはまさに国の事業らしい性格が表れていると思います。公益の観点から、すべての人にできる限り幅広く利益が行き渡るように評価者を募集したようですし、ともかく、このようにして一般国民による評価では点数に少し差がついたそうです。発表によると、一般国民による評価点については、合否には影響しなかったと明らかにしたそうです。
一般国民評価団と韓英混用「パンギョ語」論争 19:43
パク・ジョンヒョン それで私も気になって、実際に使ってみたわけです。モデル自体はどうだったのか。それから聞こえてくる話では、あちこちで、私たちがライブ配信をするときにもチャットで多くの方がおっしゃっていましたが、Motifモデルは点数が非常に高いものの、私たちが見ている点数は、韓国の基準に該当する点数ではないんです。そのため、数学を見たり、MMLUで全般的な知識を見たりと、ほとんどすべて英語を基に評価するようになっているのですが、英語が多く混ざって出てくるという問題があったそうです。それを問題だと見ることもできますし、問題ないと見ることもできますが、韓国国民を基準に考えると、韓国語でうまく会話できることも良い評価基準の中でも、重要な評価基準の一つだったはずで、英語が混ざって出てくること自体が問題になり得る。すべての国民がAIを手軽に享受するには、そうした部分が少し残念に感じられる可能性がある、という話を多く耳にしました。
それで、そのことをコメントでもおっしゃっていましたが、「パンギョ語を使う」と表現されていました。韓国語と英語が混ざって出てくることをです。
ロ・ジョンソク 私たちもよく使いますよね。パンギョ語。
Agent workflowの観点による独自FMモデルの実使用テスト 21:50
チェ・スンジュン 気になるのは、agent workflowとして使えそうなモデルはありましたか？
パク・ジョンヒョン まず、私がどのように使ってみたかをお話しすると、そのモデルはopen weightですべて公開されています。ただ、モデルが300B、700Bという規模なので、それを自分で動かしてAPI経由で使ってみようとしても、私はそれほど大規模なGPUを持っていないので、借りて立ち上げた後、servingして使う必要がありますが、その費用がかなりかかるので。それは試してはいません。何とか利用できる場所を探して、私たちも使ってみたのですが、
そうしてみると、Motifの場合はMotifのチャットサービスがあります。そこで、チャットサービスにアクセスして使ってみました。モデル自体を使ってみたわけではなく、ハーネスまで組み込まれた状態で使ったわけです。ですから、エージェント型のワークフローをすべて組み込んで使ってみたと言えると思います。
UpstageのSolarの場合も、オープンモデルはSolarのサービスにアクセスした時点ではservingされておらず、商用モデルのSolar Pro 4だけがありました。そこで、これを使ってチャットサービスを試しました。オープンモデルは試せませんでした。
LGの場合は、K-EXAONEのデモチャットサービスがあったのですが、そのサイトが閉鎖されていて、試すことができず、FriendliAIというserving事業者がAPIでservingしていたので、API経由で使ってみたところ、このAPIにツールをすぐにすべて接続して使うことができました。そこで、ウェブサーフィンなどや、Pythonを書いて実行するところまで、すべてツールを接続して、簡単ながらもエージェント型で使ってみました。
A.X K2は利用できるサービスがなかったので、試すことはできませんでした。
チェ・スンジュン ですから、私もこれは使ってみてはいませんが、それでも、これが有意義に活用されるためには、私たちが政府のネットワークなどで仕事をする際は、ネットワークが分離されているうえ、機密性の高いデータもあるため、国産モデルだけで行わなければならない業務もあると思いますが、そのような業務を行う際には、エージェントを使うことが重要になるだろうと思うので、これがツール呼び出しやsub-agentを動かせるのか、現在利用できるワークフローとどの程度同じように動くのかという点が、実用面では、もちろん先ほどおっしゃったように、私たちの何らかの能力、エコシステムの能力を引き上げるという面もありますが、これをどのようにservingし、今どきの方法で使えるかという点も、注目すべきポイントになるのではないかと思います。
ロ・ジョンソク そして、評価に使用された環境は、おそらくモデル自体を評価するものだったので、モデルを最低限の状態にして、ハーネスなしで行う評価がおそらく厳しく適用されたのでしょうし、モデルの品質、認知面の品質は、ハーネスを組み込めば多くの部分を修正できるため、外部で作られたサービスのチャットインターフェースという形で使う場合とモデル自体の品質とでは、やや異なる評価になり得ると聞きました。
パク・ジョンヒョン それを私がはっきり実感したのが、Motifの場合、英語がかなり混ざって出てくるという噂を聞いたのですが、おそらくモデルを直接servingして使ってみた方々の意見なのだと思います。ところが、独自のチャットサービスで動かしたときは、そのような問題はまったくありませんでした。おそらくハーネス側でそうしたことをうまく処理し、英語が出てきたら翻訳して出力したり、あるいはトークンを韓国語のトークンだけが出るように選択したり、そうした仕組みが確実にあったのではないかと思います。このように、一通りテストしてみました。できるだけ多様なテストをしてみたのですが、ライブ配信をしながら、コメントで寄せていただいたものをすべて一度試してみたんです。その後、評価してみたのですが、思っていたほどモデル間の差がはっきり目に見えて感じられるわけではありませんでした。
ライブ実使用の結果とMotif対Solarの比較 25:17
パク・ジョンヒョン 一度使ってみたときに、メニューをおすすめしてほしいと頼んだり、初デートにはどんな場所がよいかと尋ねたりしました。私はパンギョの近くに住んでいるので、実際にこの地域の飲食店をきちんと見つけて教えてくれるのか、実用的かどうかを尋ねたところ、Solar Pro 4の場合は、非常によくできていました。ウェブ検索などが非常に得意だったように思います。trajectoryを最初から最後まで目で追ってみるとですね。
次に、ガスコンロベンチをやってほしいと言われたので、私も試してみましたが、とんでもない質問をしてみたんです。最近は洗車場ベンチのようなものをよくやるじゃないですか。
ロ・ジョンソク はい。
パク・ジョンヒョン こういうものを試してみたところ、Motifだけがきちんと正解を出しました。それから、でたらめテスト、メタ認知がきちんとできているか、とんでもなく難しい、無茶な質問をしたときに、もっともらしいことばかり言わないかどうかも見ましたが、これについてもMotifが圧倒的によくできていました。次に、数学の問題なども、今回出題されたIMOの問題を解かせてみたのですが、思ったよりもかなりできていませんでした。
そしてコーディングをさせてゲームを作ってみたのですが、これも試してみると、どのモデルも上手ではありませんでした。私がこれを試して感じたのは、Sonnetにやらせたら、とても上手だったんです。成果物のクオリティーに大きな差がありました。なので私は、当然できるだろうと思っていました。私たちはフロンティアモデルをあまりにも多く使っているので、私たちはフロンティアモデルにどっぷり漬かっている、という表現をされていました。どっぷり漬かっているため、少しでも性能の低いモデルを使ったとき、できないことに対する逆の体感差がものすごく大きいと感じました。
とにかく、上手ではありませんでした。どのモデルもです。ただ、その中ではSolarがはるかに上手だったと思いますし、次に、フロンティアモデルでも苦手なこととして、面白い小説を書いてみるよう指示したのですが、当然、どれもあまりにも下手でした。面白くもなく、何よりMotifを1位に選びましたが、どれもいまひとつだったとはいえ、その中でもクオリティーに大きな差がありました。ほかのモデルは、まったく意味不明なことを言っていました。コメントでは、こんなことが言われていました。文章が統合失調症患者の書いたもののようだと。構成がまったくきちんとしておらず、本当にでたらめにトークンを吐き出しているようで、単につまらないだけでなく、読むこと自体が難しい文章もたくさん出てきました。こうした点はMotifがうまくできていたと思います。
チェ・スンジュン これは武侠もので、なおかつユーモアが必要なんですか？
パク・ジョンヒョン はい、私がそのように指示しました。武侠小説を書く必要があるのですが、面白くて口コミで広がるように書いてみるよう指示しました。今のモデルが苦手としていることをあえて一度試してみたくて、こうしたこともやらせてみました。結果を2時間ほど評価してみただけなので、変数がきちんと統制されていたわけでもありませんが、私が感じたところでは、多くの面でMotifは本当に賢いと思いました。うまくできなくても、知らないことは知らないと言えますし、おかしな質問をすれば、質問自体に何か問題があることにも気づきますし、文章を書くときも少なくとも前後の辻褄は合っています。何でも察してうまくこなすという感じではありませんでした。それでも、本当に賢くはあるんだな、という印象を受けました。
では、実際に仕事をさせたときにうまくこなすかというと、そうではありませんでした。それはSolarのほうがはるかに上手だと感じましたし、その理由は二つ考えられます。すでにUpstageの場合は、Solarを使ってハーネスを構築して提供し、チャットサービスをうまく運営していたため、ハーネスがよく洗練されていた可能性もあります。あるいはpre-training後にSFT fine-tuningを行い、ユーザーにとって使いやすいように仕上げていたか、post-trainingをよく練り上げて、ユーザーが満足できるようにしていた可能性もあります。いずれにせよ、後段をうまく仕上げていたため、仕事をうまくこなせていたのかもしれません。それで、ベンチマークに対する考えが
ベンチマークを超えた良い基盤モデルの条件 29:32
パク・ジョンヒョン 私も少し変わりました。ベンチマークが絶えず更新され、新しいベンチマークが次々と登場するため、そのスコアをベンチマークに合わせて最大化するのは難しいと言われますが、思っていた以上に、ベンチマークスコアが高いことは実際に知能が高いことと相通じるのだとある程度感じました。そのため、ベンチマークを見ることは体感性能を判断するうえでも悪くないという考えに至りました。また、試しながら思ったのは、作っているのはファウンデーションモデルですよね。「独自FM」は、そもそも独自ファウンデーションモデルのことですが、このファウンデーションモデルの価値をどう評価すべきかと考えたとき、今すぐ仕事をうまくこなすモデルが良いモデルなのか、それともpre-trainingされた状態なのだから、規模と知能が高いモデルを皆が持っていき、エコシステムの拡大を目指すのであれば、それぞれの目的に合わせてチューニングすることになるでしょうし、チューニングした場合は、私の考えでは、おそらくMotif 3が一番良いと思うんです。これは私の推測です。
そうであれば、それがより良いファウンデーションモデルなのかもしれないと考えるようになりました。なぜなら、韓国語と英語の混用が多いと言われていますが、こうした点は後からfine-tuningによって十分に解決できる問題だと感じるからです。そのため、このエコシステムにおける良いモデルとは何だろうと思いました。
ロ・ジョンソク それでもMotifは本当によくできましたね。非常に短い期間でこれほどの品質を実現するモデルを作れるということ自体も、また、30人ほどの精鋭部隊でここまで成し遂げられたということ自体も、私としては非常に高く評価したいです。すごいことを成し遂げたのは確かですし、ただ、「独自FM」にも先ほど話した評価基準やルーブリックがあり、そこには単なるモデルの評価基準以外の要素もありますよね。これはすべて主観的ですから。
Motifの惜敗に見る公共ルーブリックと産業界の視点の隔たり 31:11
ロ・ジョンソク モデルの品質についてどう感じるかは、私たちはおそらくフロンティアモデルにどっぷり漬かっている影響で、そうしたことをたくさん尋ねたのでしょうが、一般の人たちはまったく異なることを尋ねた可能性もあるため、その分布が分からない状況では、評価するのは難しいと思います。評価というもの自体が、主観の中から客観を引き出すために作られたシステムなので、公正を期し、さまざまな側面を見るために、そうしているわけです。
私たちは産業界にいる人間なので、国の側を公共と呼びますよね。公共が仕事をするとき、そのルーブリックが理解できないことが非常に多いです。しかし私たちは問題解決に集中し、一つの決定的な品質にこだわることが産業界の基準だとすれば、公共が行うイベントなど、こうした場に参加して上の立場の方々と話してみると、その方々にとって重要なのはそれではなく、どうすれば最大限、全員が妥協に至れるか、全体の満足度を最も高める方法は何かという、非常に民主主義に基づいた仕事をしているんですよね。そうすると、このように突出したものが切り落とされます。そして、私たちはその突出した部分があるからこそ高い点数を与えるべきなのですが、そうした部分が全体の統計にこのように一括りにされて、どれも最終的な結果では後れを取り、そういうケースも多く見てきたので、とにかくMotifの立場からすれば非常に残念な惜敗であり、またMotifを応援している方々にとっては残念なことではありますが、評価は評価なので、残った3社が先へ進むのでしょう。
パク・ジョンヒョン 公共についても、ある意味、私たちの場合は、おそらくこれをお聞きの多くの方々が上限を見ようとしているのだと思います。これを使って、どうすれば大きなレバレッジを得て、うまく活用し、知能を最大限に引き出せるのか。しかし公共の立場で考えてみると、下限を見ているように感じるんですよね。最も簡単に表現すると、できる限り国民全員がその恩恵を受けられ、全体的な水準を引き上げられること。ですから、そうした部分において観点が大きく異なっていたのだと思います。考えてみると、公共の立場では公正性が非常に重要であり、当然、それが正しいと思います。立場が違うだけで、open weightで並べると5位にいるんですよね。グローバルに見ても、open weightで5位のモデルです。そのため今回の事業では、政府の支援を受けられなくなりますが、この独自ファウンデーションモデル事業を離れて考えても、グローバルでも非常に優れたモデルなので、当然、グローバルで目を付け、投資したいと考える主体も多いでしょうし、韓国内でもこれを使って一緒に何かをしてみようとする企業が多いと思うので、今後が楽しみです。
ソブリンAIの目的と「独自」モデルの範囲 34:31
パク・ジョンヒョン はい。ですから、私もこうしたことが気になります。そしてロさん、スンジュンさんの考えも気になりますし、特にこの動画をご覧になっているすべての方の考えが気になりますが、とにかくソブリンAIという主権を持つ、韓国独自の政府AI、そうしたエコシステムを構築しているわけですが、韓国がほぼ最も強力に推進しているように思うんですよね。ほかの国々と比べても。ですから、こうしたことを私たちがなぜ行うのか、目的は何なのか、何を成し遂げれば成功したと言えるのか、私もこうしたことが気になります。なぜなら私は、優れたモデルが登場し、それによって私たちがフロンティアに後れを取らないこと、そうした観点からしか考えていませんでしたし、評価中もチャットでそうした質問をたくさんいただきました。独自ファウンデーションモデル事業では、いったい何を評価すべきなのか？何が優れたモデルなのか？ ですから、そうしたことについて、結局はどこかに導入されて、国民と産業に実質的に貢献すること。これは先ほど専門家評価でお話しいただいたことですが、私はモデルがどれほど賢いか、そうしたことに集中していたとすれば、実際にポータルサービスで使われるのか、あるいは全国民が使う何らかのサービスで本当に誰もがうまく使えるのか、そうしたことがあると思います。
その次に、この「独自」というものは、いったいどこまで独自であれば、私たちがソブリンというテーマを掲げられ、実際に主権を持つことになるのか。model weightさえ持っていればよいのか？それともデータも作るべきなのか？あるいはインフラまで、NVIDIA GPUへの依存から脱却すべきなのか？その次に、投資はどれくらいすべきなのか？
そして私がこの独自ファウンデーションモデルという事業を初めて聞いたときと比べると、考えが大きく変わりました。以前は、私は少し否定的だったんですよね。なぜなら、できないと思っていたからです。これは私たちがやると言って、できるものなのか？国が主導権を握り、税金を投入すればよいのか？こうしたことに否定的な考えを持っていましたが、今は考えが大きく変わったんですよね。なぜなら、私たちは中国から優れたモデルが登場するのを見ながらも、感じるからです。これは実現できるものなんだ。私たちにもできない理由はないんだ、そう思いますし、実際、優れたモデルを作ることはとてつもなく大きな堀ではなかった。ですから、私たちにもできるだろうかということについて、私自身の考えもかなり前向きなものへと大きく変わりましたし、もっと上手くやるには、私たちは何をすべきなのか？こうしたことが気になります。
今はこのように精鋭チームを作り、1チームずつ脱落させながら、徐々に資源を集中させるという構造になっていますが、公共部門が行う方法としては、かなり民間のやり方に似ていると感じるんです。こうして競争させるという点が。ですから、こうしたことは個人的にはかなり良い形で運営されていると思っています。いずれにせよ、こうしたことについての自由な意見を伺いたいです。
独占財の汎用財化と国家が独自FMに投資する理由 37:37
ロ・ジョンソク 全員を満足させる政策はないと思います。こうした基準を定めるのは難しいからこそ、私たちには社会というシステムがあり、政府というシステム、国会というシステム、司法府というシステムに分けて運営しているわけです。私も最近、ずっとcontrol planeの話をしながら、なぜ会社も社会もこんな有様なのかについて改めて見つめ直すようになったと、よくお話ししていますが、この「独自FM」の話に戻ると、「独自FM」が始まった当初だけを見ても、アメリカのフロンティアモデルをそのまま使えばよく、彼らが私たちを締め出す理由もないはずなのに、なぜわざわざこのような投資をする必要があるのかという議論もあったと認識しています。しかし、ほぼ1年にわたる期間で外部環境も、私たちがフロンティアモデル産業を見る視点も完全に変わりましたよね。このレシピは思っていたほど大層なものではなさそうだ。ある程度、基本以上の水準に達すれば、計算とデータの品質を投入して回せばできるようで、一度その壁を越えれば、誰にでもできることだと、アメリカのフロンティアラボや中国のフロンティアラボを見ながら、私たちが気づいたことが一つあります。
そのおかげで変わったことがあるとすれば、永遠に続くかに思われたAnthropicやOpenAIのモデルの優位性、こうしたものも彼ら自身が心配すべき時期に達したため、モデルの供給元が非常に増え、これが特定の人々に独占される独占財ではなく、コモディティと呼ばれるものになります。一般消費財化し、コモディティになれば、特定の少数だけが維持できていた富の規模は縮小しますが、一般国民と社会全体の富は一気に増えるんです。価格が下がり続け、誰でも作れるようになるからです。ある独占財がコモディティ化することが絶えず繰り返されてきたのが進化の歴史であり、産業化の歴史であり、あらゆるものの歴史でもあるんです。ところがこの技術は、発展が速く関心も高く、影響力も大きいだけに、本当に圧縮された形で成長してきたと思います。核兵器のようなものだと考えるべきでしょうか？これを作らなければ存立が脅かされる、体制が脅かされる、そうした理由から、ほぼそのくらいのレベルで考えたため、参入したのだと思います。そうでなければ、中国も国家単位であれほど取り組まなかったでしょう。でも中国も命懸けで取り組んだじゃないですか。韓国も米中に続いて、ヨーロッパよりも速く、集中的な資源投入を通じて追いついていったこと自体に意味があると思います。
私が当時、「独自FM」事業を支持した理由は、いずれにせよ、私たちはGPUが不足している国だったからです。GPUがある程度豊富になり、どの企業であれ、それを経験するエンジニアの人材プールが生まれれば、これはどこかで生まれれば、すぐにほかの場所へ広がります。アメリカのフロンティアラボにもその影響は間違いなくあると思いますが、その多くは中国系アメリカ人なんです。そして彼らは、いずれにせよ学縁や地縁によって、中国本土にいる人々と皆つながっています。また、ささやかな経験ながら、私がシリコンバレーへ行ってエンジニアたちに会い、あれこれ話をしてみても、決定的なヒントとなる言葉がこのように自由に交わされているので、高いレベルではレシピが共有されないはずはないと思うんです。そして、そうして共有されたレシピが中国へ渡り、それが韓国にも入ってきました。同じ理由で、この「独自FM」事業に参加したエンジニアたちが独立して起業することもできますし、そうなれば、こうしたものが社会にさらに広く浸透することになります。私はそうした全体的な観点から見たとき、この事業には必ず財政を投入し、強力に推進すべきだと思いますし、その中での衡平性や公平性といったものについては、大統領選挙や国会議員選挙で見られるような、誰かは満足し、誰かは物足りなさを感じるということは、どうしても避けられません。しかし、社会全体の富という観点から見れば、こうしたものは国が担うべき産業です。
なぜなら韓国では、これを民間が推進できるほどの規模がないからです。当時はサムスン電子もSKハイニックスも、今ほど余裕がありませんでした。サムスン電子とSKハイニックスの富が急増したのは、まさにこの1年の間に起きたことなんです。今ならSKハイニックスやサムスン電子が自社の資源を使って、このようなソブリンモデルを作ろうとすれば、彼らならできるでしょう。では、彼らがやろうと決心したときに韓国にこうした人材がたくさんいれば、さらに増えていくわけです。結果的に、それが韓国の良いところなのですが、何らかの産業が生まれると、競争が非常に激しくなるじゃないですか。頭の良い人も多いですし。そのため、「韓国はこんなに良いものを作っても、何のプライドもなくコピーするから問題だ」と言われますが、逆に国民の立場から見れば、それがすべて便益として働くんです。モノの価格が急激に下がります。ですから、そういう観点から見る必要があります。
私たちは今、またフロンティアについて、私たちはフロンティアという言葉について非常に多くのことを話していますが、アメリカと中国がこのように進んでいる中で、数百B規模のモデルで取り組んでいますが、1T、2Tもおそらく試せるでしょうし、事実上、Opus級まで行くという話です。1 trillion、2 trillionになって、Opus級まで行ければ、ポルシェ911は誰もが買えるわけではありませんが、その頃のフロンティアはさらに10 trillion、20 trillionへ進んでいるかもしれませんが、アバンテが安く作られ、国民の便益が増えたように、誰もが使えるアバンテのようなモデルはあらゆる人に行き渡るということなので、そうしたことに期待してみるべきなのではないかと思います。
ですから私は正直、「独自FM」事業に参加したすべてのエンジニアの方々と、そのコンソーシアムに参加した方々に感謝しています。本当にお疲れさまでした。そして彼らが競争していたにせよ、何であったにせよ、これは韓国社会全体にとって大きな経験と資産、私たちがある臨界点を越えた経験として残るので、その方々が外に出てスタートアップに入り、別のところに入り、またFast Campusのようなところで講演したりすれば、韓国語文化圏でさらに大きな競争力が生まれるでしょう。私は韓国語文化圏というものも非常に重要だと思います。なぜなら、誰もが英語のコンテンツを自然に見られるわけではなく、まだ言語の壁があるため、韓国でそれに取り組む優秀な方々が増えれば、私たちが作って、逆に輸出することもできるからです。
モデルリリースのペースと持続可能なエコシステムの課題 44:36
チェ・スンジュン 最近の同時代的な感覚で見ると、「独自FM」から出てくるモデルは競争する限られた期間だけでなく、最近の状況を考えれば、1、2か月単位でモデルをリリースできなければならない。それだけさらに資金をつぎ込む必要があるのではないか。なぜなら、これは一度出して終わりではないじゃないですか。モデルを出し続けなければなりません。ですから、そのペースに合わせられるほどになってくれればいいという願いがありました。それはモデルもそうですし、ハーネスもそうで、一緒に進んでいかなければなりません。きっかり3か所が選定されて、それで終わりということには絶対になってはならないと思いました。
ロ・ジョンソク そのとおりです。それに、残りの3機関のうち、Upstageもかなりの規模の中堅ベンチャーになりましたし、SKTやLGは大企業系列ですし、Motifは逆に、グローバルファンドから多額の資金を受け、商業的な領域ではより大きな成功を収める可能性もあるので、私たちもこの数か月の間に、人生は塞翁が馬と言うように、巡り巡る様子を絶えず見ているではありませんか。Anthropicが終わったかと思えばCodexが台頭し、またCodexとAnthropicが終わったかと思われるところにKimiとDeepSeekが台頭し、KimiとDeepSeekが終わったかと思われるところに、中国でも新しいモデルが次々と登場していて、これこそ健全なエコシステムの循環ではないでしょうか。
チェ・スンジュン そこに加わるには、俗な言い方ですが、一緒に熱狂していなければなりません。リズムと投入量が……
ロ・ジョンソク そうですね。今の話も結局、お金の問題に行き着きますが、もう少し多くの資金を受けて、1か月単位で出せるようになればと思います。
パク・ジョンヒョン 私も聞きながら思ったのですが、この事業そのものについて、かなり肯定的な方向へ考えが変わったように思います。そもそも、その証拠がMotifですね。こうした事業があったからこそ、あのようなモデルが生まれ、あのようなチームが生まれたのであり、実際、あれはおそらく高い確率で今後も成長し続けると思いますし、それから、スンジュンさんがおっしゃったように、今、モデルがそれほど速いペースで次々と出ているという感じはしないんです。海外と比べると、評価期間に合わせてその都度、どうにかこうにか出しているような印象ですが、逆に言えば、アメリカや中国以外のところ、たとえばMistralの場合も、モデルがそれほど速いペースで次々と出ているわけではありません。Mistralに至っては、ほとんどGPU事業者へとビジネスモデルを変えようとしているという話も多く出回っているようです。それでも、このような形でどうにか追いかけることをかろうじて続けているという感じはしますね。ですから、私たちも同じ軌道上で競争できるほどのところまで上がれればと思います。そうしたことを加速させる仕組みですから、エコシステムを作ること自体が良いのだと思います。
私もこういう話をしているわけですが、私がライブ配信を始めることになった決定的なきっかけが一つあるんです。昼食を取っていたら、隣のテーブルでみんなこの話をしていたんです。それで、「今夜ライブ配信をして、私も使ってみよう」と思いました。
ロ・ジョンソク パンギョの人たちだったんですか？それとも、ただの一般の人たちだったんですか？
パク・ジョンヒョン 外見から推測する限り、パンギョの人たちではありました。
ロ・ジョンソク はい、そうですよね。
パク・ジョンヒョン ただ、どんな職種なのかは分かりませんが、とにかく私が活動しているエリアがそういうところなので、国民全体が関心を持っている。私たちも話題にしていますし、これをご覧の方々もこれを通じてさらに知ることになるでしょうし、私が皆さんのご意見を伺いたいと申し上げましたが、そうすれば、多くの方々がおそらくコメント欄で盛んに意見を交わすでしょうし、考えが違っても議論が起きるでしょうし、こうしたことに関心を持つこと自体が、国民全体をAIをうまく使える人にしていく社会へと向かっているようで、とても良いと思いますし、もっと大きな話題になってほしいですね。
チェ・スンジュン 「カメラマッサージ」という言葉があるそうですね。芸能人は何度もカメラに映してこそ、さらに良くなるというそういうニュアンスのようですが、国民全体が関心を持つほど、もっと向上するのではないでしょうか。
政府事業の諸刃の剣と真の市場競争 48:31
ロ・ジョンソク それに、政府事業というのは常に諸刃の剣なんです。それで、「独自FM」で1位になった。何が得られるのか？その期間中、GPUリソースの提供を受けた。それが数十億円、数百億円相当だ。もちろん、それは大きなリソースですが、それが終わったあと、また非常に過酷な市場へ出ていかなければならず、その市場では、韓国人だからといって韓国型モデルを使ってもらえるとは思えないんです。グローバルなフロンティアと競争しなければならないのですが、例えば、私が企業の立場で、「OpenAIモデルは使えない。それなら、どのモデルをbaseにして自社のcoding ハーネスのon-premモデルを作ろうか？」となれば、当然open-weightの中でもフロンティア・オブ・フロンティアを選ぶのではないでしょうか？そのように競争が完全に開かれている状況なので、逆にMotifの立場でも、こうした複雑なルーブリックのゲームから外れ、自由に羽ばたけるようになったことが、かえって名を広めることにもなり、そのうえ、産業界では今まさにon-prem、open-weightモデルへの需要も高まっていますから、そちらへさらに突き進むための時間を確保できるという面もあります。
チェ・スンジュン コンテストのようなものを考えてみると、必ずしも1位が成功するわけではないじゃないですか。歌手のコンテストなどを見ても。
パク・ジョンヒョン そうですね。
ロ・ジョンソク 巡り巡るもので、この業界は私たちもいつも話しているように、2週間ごとに上昇傾向が下降傾向へ変わり、下降傾向が上昇傾向へ変わり、絶えず変わり続ける業界なので、ここで必死に走り続けるには、市場のスピードに合わせてとにかく早く参入するのも悪くないと思います。
パク・ジョンヒョン はい、ここまで整理して次へ進みましょうか？
ロ・ジョンソク はい、このくらいで次へ進みましょう。これもまた、ジョンヒョンさんがMotifに多少思い入れをお持ちなのでそういうところはありますが、私個人としては、Motifにとってはるかに良い結果だったと思います。
チェ・スンジュン では、私が手短に続けてみます。
ロ・ジョンソク ジョンヒョンさん、政府事業をやったことはありますか？提案書を書いたり？
パク・ジョンヒョン 大学院生の頃にたくさんやりました。提案書は本当にたくさん書きました。政府の課題を数多くやっていました。
Astraの学習中断、Anthropic論争、がん研究フロンティアニュース 50:36
ロ・ジョンソク はい。
チェ・スンジュン それで「独自FM」にも今週、ドーパミンが出るような部分は確かにありましたが、私たちはAIに関してドーパミンを追い求めているじゃないですか？そこで、そうしたニュースなどを振り返りながら、私個人の経験のようなものも話してみようと思います。Sam Altmanが先ほど話していたことにロさんも言及されましたが、2週間止めると言っていました。ただ、最近ハイプを生み出しているCEOたちは、戦略的に発言を出すじゃないですか。ですから当然、これはマーケティングではないかと疑ってしまうのですが、2週間止めるというのは、Astraを止めるという意味ではなく、次のモデルを止めるというコメントを付けていました。ですからAstraは予定どおりリリースされるようですし、それが8月末になるのか9月初めになるのか、いつかは分かりませんが、近いうちにAstra相当のものが、それがGPT-6と呼ばれるかは分かりませんが、出てきそうです。ただ、今止めようと言ったのは、わずか2週間だけ完全に止めるということなんです。なので、これがどういう狙いなのか、よく分かりません。
ロ・ジョンソク マーケティングの例が
チェ・スンジュン 一つありましたよね？
ロ・ジョンソク マーケティングでしょう。Anthropicが休んだから、私たちも休む。
チェ・スンジュン そして、もう一つ話題になったのが、Dario Amodeiが長文のツイートを投稿し、それがかなり拡散されたことです。ただ、これの発端はAll-Inのポッドキャストだったんです。Gavinが話していた内容に、DarioやAnthropicの何らかの主張を批判する部分があったのですが、それをSholto Douglasがまた取り上げてツイートに投稿し、それがGavinとSholtoの間の議論に発展したことで、Darioが自分の考えを長文で書き、それがまた各所に広まるということがありましたが、興味深いのは、ここでがんに関する話が出たことが、私にとって注目すべきポイントでした。Darioががん治療について話していました。そういう話とも相まってこれがありましたね。Anthropicがprotein designに関する取り組みを続けている。ModernaがこれをmRNAワクチンとして、がんの進行を遅らせるために活用するという話も関連して思い浮かびました。
Richard Suttonインタビューと継続学習のビジョン 52:43
チェ・スンジュン そういうものがあって、私の目を引いたのはSequoiaがSuttonにインタビューしたことでした。Suttonは昨年のDwarkeshの回で見たとき、LLMに好意的ではないという印象を強く与えていましたよね。その後、自分たちが取り組んでいることについて興味深く語っていたんです。
ロ・ジョンソク はい、あまりにも雲の上の世界の言葉を使われるので私たちのような庶民には理解できなかったようです。
チェ・スンジュン それで、当時話していたことをもう少し具体的に掘り下げたのがこの回です。それで実際にOAK Labをごく小規模で立ち上げて創業したのですが、そこで何に挑戦するのかについて話していました。つまり最終的には、その広大な世界で自ら学んで成長し、新しいアイデアを生み出し続けられるほどの、すでに学習したものの分布内だけで何かを組み合わせるのではなく、新たな能力を自らの経験を通じて獲得できるagentの構想を昨年、position paper「経験の時代」を通じて公開したこともありましたが、それに関する理論的なアイデアが今回の回で紹介されています。
それで私は前半の内容をそのまま飛ばしてから、このAlberta Planという、2022年にSuttonらが今後、自分たちが何を追求するのかをあらかじめ公開しておいたものがあります。そこですでに継続学習について語っていたんです。ところが、それをどう実現するのかについてのヒントを今回少し示したのですが、興味深いことに、モデルを学習させるとき、trainingするにはstep sizeを設定する必要がありますよね。learning rateのようなものをどれほど大きくするかはhyperparameter tuningに関する問題ですが、それ自体にもlearner、つまりtrainable parameterを設けるというのがmeta-learning分野での話題でしたが、per-parameterごとにそれを与えるという話をしていました。つまりモデルが、すなわちagentが前進するためには、あるものについては、自分が学んだ価値を忘れずに保持しなければならないので、そうしたものはstep sizeをほぼ0にして、更新し続ける必要があるものは少し開放し、それによって不均一に学習できるようにするというアイデアを出しました。
そして、それを可能にするもう一つの部品として継続的backpropagationという概念を持ち出したのですが、それが何かというと、そのようにモデルが学習状況全体の中で自ら残すものと新たに更新するものを判断する能力を備えた状態で、あまり使われていないparameter空間があれば、そこにrandomを注入するということです。そうして再び初期の分布に戻し、新たに学ばせるという、脳の可塑性に似たものを実装する計画が今回語られていました。
それを行えば何ができるのかというと、5年から10年というtime frameで何を追求するのかという計画として示されたのが、1T程度のモデルがそのように継続学習を行い、経験を通じて学び続けていくものを世に出すことを目標にしていました。それがかなり興味深い部分でした。
パク・ジョンヒョン Richard Suttonについてこれまで出てきた話を少し整理すると、前回のDwarkeshの回もそうですし、今回Sequoiaに登場したものもそうですが、LLM反対派だと端的にまとめてくださいましたが、問題として挙げていることの一つが、継続学習ができないということですよね。なぜならLLMはモデルを一通りtuningすると、weightが固定され、その状態でinferenceだけを行うので、私たちは何か行動しながら学び続けなければならないのに、それがうまくできないことが問題だ。だから人間はこのように学ぶ、経験を通じて学ぶのに、これはそうしないのだから、当然限界があるのではないかという話だったと思います。そこで、そうした問題を解決するためにこのような手法を研究しながら導入して解決してみる。これが大きな流れで合っていますよね。
チェ・スンジュン そしてSuttonのアイデアは、やや急進的なんです。それで冒頭でも、自分がなぜこのような急進的な考え方をするタイプなのかといったことを明かしていたのですが、興味深いのは、Suttonの観点では人間とリスに大きな違いはありません。
パク・ジョンヒョン はい、動物にたとえることが多かったと思います。前回もそうでした。
チェ・スンジュン なぜなら、リスも世界を通じて学び、筋肉をどう動かすかを本を読んで学ぶわけではないということです。そうした観点から、どうやって自ら新しい能力を身につけるのかがSuttonの探究点なのだと思います。そして、それがAIともつながり続けている部分ですが、Suttonが具体的に明かした話が今回の回で興味深かったというのが私の注目点です。
transcript拡張読解とzoomable interfaceの実験 57:22
チェ・スンジュン 抽象化に関する話をSuttonは今回の回で多くしていましたが、蛍光ペンで印を付けることもできますし、私がここにメモを付けられるようにしてあるんです。だから久しぶりに私のpromptを一度ご紹介すると、まずtranscriptを貼り付けてからHTMLを作ります。そして私は、このように話者を表示しておくことが私の認知負荷を減らし、感情表現などを楽しく読めるようにしてくれるので、このような表示を付けるpromptを入れています。その次に用語などが出てきたら、その都度調べるのではなく、あらかじめまとめて調べておくようにします。つまり、一度に処理を走らせておくわけです。
それから、ここにはデザイン関連の用語がいくつかあり、原文にはtranscriptしかありませんが、ここを見るとダイアグラムが入っていますよね。ダイアグラムをSVGで生成し、まずそれをプレビューでmultimodalに見せてから、視覚的に改善するloopを繰り返させます。その次にlocal storageへ保存できるようにし、メモと蛍光ペンを活用して、私が拡張していくわけです。つまり私の考え方は、原文をすべて読みつつ、拡張して読むということです。要約はせずに。その次に私がメモなどを付けて、それを書き出せば、別の入力にも使えるようにするという方法を最近よく試しているのですが、縦に表示されるじゃないですか。そのため、縦方向にこうしてずっとscrollできるほどの情報が表示されるのですが、先週それを試してみたところ、頭の中にあまり残りませんでした。
ご紹介した内容をこのように縦に並べたものとして、すべて貼り付けてみたんです。そこでzoomable interfaceを作ってみました。これは先週ご紹介した、YouTubeで見たものや、読んだ記事です。それらを見て回れるのですが、私には関連する内容があるように感じられたので、それを横方向にも改めて見られるように、縦横の両方を扱える、私の認知を助けるツールを作ってみました。あまりにも多くの情報を見なければならないため、頭にも残らず、検索しても見つからないからです。
そこで、このようなツールを作ってみたのですが、今日改めて確認したいのは、再帰的自己改善についての議論でDwarkeshが質問していたことと関連する話を、ダイアグラムを見ながらしようと思います。
パク・ジョンヒョン 今まとめてくださったものを見ると、LLMは単なるtokenの流れ、見方によっては一次元的な情報を扱うモデルですが、確かに人間は、縦横の関連性を一目で把握するためにそのようなツールを使われたわけですよね。人間は視覚によって情報を扱う動物なのだなと。だから確かに違いが感じられます。こうした点もSuttonが語る違いの一つなのだろうと思いました。
チェ・スンジュン そして、このようなSVGのダイアグラムをここに挿入する理由は、zoom outしたときにも情報が残るようにし、それを素早くanchoringするためです。そのため、セマンティック zoomという概念もありますが、それはlevel of detailに応じて、zoom outしたときにも何かが見えるようにするためのものです。これはまさにそのモデルというわけではありませんが、類似性はあります。
それで私が最近ずっと追究しているのは、Dwarkeshの回で途中、Oriolもその話をしていましたが、中規模や小規模で実装し、実験することはLLMが非常に得意だという点です。ただ、そうしたものはコストが安いので、実験を繰り返しながら可能性の空間を探索することは得意ですが、実際にその能力を獲得するためのpre-trainingは頻繁に行えるものではないため、このように並列で進めておき、評価するのは簡単ではないということです。したがって必然的に、これはDwarkeshが話していたことですが、数回しかできないrunを回すことには、センスへの依存が生じます。そしてLLMにはまだこのようなセンスが不足しているため、自力ではそれを成し遂げられません。だから、ここでRSIが破綻するのではないかというのが、Dwarkeshの疑念でした。
hill climbingの限界と全体像を見るagent workflow 61:15
チェ・スンジュン ただ、私も作業をしていると、似たようなことを感じます。最近、小さな単位で実験する際には、素早く複数の仮説を立て、仮説空間に対する実装を各agentに割り振って一通り走らせた後、orchestrateして統合するのが、皆が使っているworkflowです。それがうまく機能する領域もありますが、そこでいくら試しても発見できない全体像があります。そこで今回もhill climbingという言葉が出てきますが、hill climbingは得意です。測定可能な指標が得られ、その数値を少しずつ下げていくようなことは、現在のモデルが非常に得意です。ただ、そうしていると必然的に、local minimumに陥ることがあります。あまりに狭い空間で最適化しようとするため、全体像を見失い、俯瞰させて初めて、ようやくその時点で俯瞰し、それを見落としていたと言うのです。ところが、それを自力ではできないため、ずっと悩んでいて、私がその作業を試しています。
ただ、モデルの能力が向上するにつれて解決するものもあります。それで、私がすでに3月ごろに紹介したときこれはできないものとしてご紹介していました。それで、こういうことをしたときここでpolygonを美しく流れるようにしたい、そんな話をして私がそのときmodelerを作り、ここで角のようなものをこうして作ったりするのですが、これが特定のtopologyになるとうまくいかなかったんです。Solが出て一日、二日経ってから試してみたところもちろん簡単ではありませんでしたが、それでも解けました。一日ほどそれくらいの時間を費やした場合ですが。なので、私の目にはこれが商用のものに見られるquad meshのflowとかなり似ています。なので、こうしたものを実用に使えるレベルには来たように思います。それで、これはできるんだと感じられてよかったですし、最近選んだテーマは、どうすれば私が関心を持っている領域で何かを試せるかということでした。
それで、デザインはやはりnon-verifiableな領域ではありますが、それでも測定可能な指標はあり、それが実際の美的感覚に当たるものを直接表す指標ではないもののproxy指標、つまり代替指標のようなものはあると思い、実験していたのが一つ目は組版でした。核心は、どうすればnon-verifiableな問題をverifiableな問題に近づけるように漸近させるかということです。それで
組版をverifiableにするプロキシ指標の実験 63:58
パク・ジョンヒョン 例えば、そのproxy指標にはどのようなものがありますか？デザインに何らかの評価点を付けられるようなものでも、そういうものを一度聞いてみたいです。
チェ・スンジュン 組版はまだ少し簡単です。組版はかなり研究されていますから。それで組版では、ここでテキストをどう流すか、ここを見ると行送りというものがあり、活字の大きさ、当然フォントサイズを変えるといった方法がありますが、その場合も、この右端が美しく流れる必要があります。あまり凸凹にならず、ここがうまく流れるのがよいのです。見た目もよく、読みやすくもあります。ただ、このように読むよりは両端揃えにするほうが実際に私たちが本を見たときに読むものらしく見えますよね。
そして1段組みで見るときは、少し大きくしてみます。ここが字下げされていることやまた、段落間の間隔を広げることが広すぎてもいけないし、狭すぎてもいけない、そうしたものは測定可能なんです。それで、これについてすでに研究が進んでいるのがTeXです。LaTeXには実はKnuth-Plassというアルゴリズムがあり、dynamic programming、つまり動的計画法を使ってこれを測定し、TeXに合わせるんです。ところがKnuth-Plassが80年代に発見したのはここに画像を含む図版が入るとそれはNP問題になるということです。つまり、多項式時間内では解けない問題になることが80年代にすでに証明されています。ところが最近はKnuth-Plassアルゴリズムを使ったライブラリがかなり多く出てきています。Justifyというものもあり、組版用にはFreeTextというものもあり、そうしたものが数多く出ているので私も実験してみたわけです。これはプロのデザイナーが行う場合ははるかに細かくチューニングしてこうしたものを調整しながら行います。でも、大まかに見たときにはそれでもそれなりに問題なく読めるレベルにはなるようだということをテストしてみて、これはそれなりに使えるな、そんな感触を得ました。
パラメトリックなハングルフォント生成とデザイン評価の難しさ 66:28
チェ・スンジュン ところがフォントになると自由度がはるかに高いので私は組み合わせ型ハングルを作っていて、ハングルフォントを作っているのですが、これを単にBézierに変えるのは何の問題もありません。パラメトリックフォントというのはすでに十数年前に非常に流行したジャンルです。ただ、私が試みているのはspline curveを変えるのではなくこれが形成されること自体を関数化することです。それでこうしたもの全体でも変えられますがペン先があり、そのペン先が動く軌跡を輪郭線として作り出す方式のようなものがMETAFONTといって、これもKnuthが作ったものですが、そういう方式です。こうしてここから生成されるフォントは一つもきれいではありません。ハングルの組み合わせはできていますが使えるフォントではないということです。
パク・ジョンヒョン こういうことが気になります。今お見せいただいているフォントは、これが自動で作ったものだからきれいではないとお考えで、その次には、これがきれいかどうかを何らかの形でスコア化する必要がありますが、スコア化するのが難しすぎるのでそれをどうにかスコア化するためのプロキシ指標のようなものを抽出しようとしているわけですよね？
チェ・スンジュン そうです。それで今試しているのはここを見ると初声・中声・終声の区画があり、そうした空間をこのように引き寄せてみるのですが、これは相互依存しているんです。場合によっては、これが下に下がる必要があり、実際に「쀍」という文字を書いてみるとこの母音の払いがここにあってはいけなくてこの辺りになければならないんです。ところが、そうすると別の文字が崩れてしまいます。そうしたもの同士の相関関係を人間は感覚的に把握していますが、これをすべて測定可能な形にしてモデルが自動微分と似たように、自動微分ではありませんが、この近辺のものをこのように投影してみたうえでその中に実際に対象となるreference fontがあるとして、たとえばNotoやNoto KRのようなものを使ったときにその空間とどれくらい似ているかを学習させる方法で今進めているのですが、依然としてうまくいかないんです。それで、モデルが仮説を立て続け、実験し、測定し、調整する作業を今も続けているのですが、私の目には、まだ先が長く見えるということです。ひととおり形を整えることと実際に役に立つフォントを作ることはまったく次元の異なる仕事だということです。
ただ、今はデザインの領域ですが、別の作業をしたときにも繰り返されることなんです。全体像を見てその中に自分が重要視する指標があること、重要な価値があることを数値化して測定可能にしなければならず、そうして初めてモデルが部分ごとにhill climbingしながらもう一度全体を見てこれはどのように扱われていて、追いつけていないものが何なのか、フィードバックを与えなければならないのですが、reviewerモデルを使っても、続けているうちにhill climbingをするんです。それで、これはまだ少し先が長いなと作業しながら感じています。
ロ・ジョンソク あまりにも厳しすぎませんか？ ここまでできるだけでも見方によっては、うまくできているのではないですか？
チェ・スンジュン 見事にうまくできていますよ。このレベルを実装するにはコストがあまりにも安いということです。パラメトリックフォントを作ることがです。今はこれがハングルなので少し難しいのですが、
ロ・ジョンソク これが以前だったらフォント会社の一チームほどが取り組んでかなり長い間やり取りを重ねながら進めなければならなかったプロジェクトをスンジュンさんお一人でdirectingしながらモデルを交えて推し進めていらっしゃるわけですよね。これがすべて完成したらこれは何に使うものなんですか？
チェ・スンジュン 私が普段普通に使おうと思っています。幼稚園でデザイン作業をしなければならないことがあるのですが、大変なので。
ロ・ジョンソク 幼稚園で何か書類を出したり何かをしたりするときに、独自の自分たちだけのフォントで何かを発行したいという目的があるわけですね？
チェ・スンジュン 作業していると、いつも使うフォントを使うことになり、そうしたものではしっくりこない部分もあるので一つ作ってみたらいいのではないかという思いがあってやっている、遊びの側面もありますが、目的もある作業なんです。ただ、それをやるついでにagent workflowについてメタ的なことを考えながら進めているわけです。
センスが求められるデザイン作業とevaluatorの限界 70:59
パク・ジョンヒョン 私はデザインをまったく知らない人間なので、あのデザインはいまひとつだとおっしゃいましたが、私にはあれがいまひとつなのかどうかさえなかなか認識できないんです。デザインというものについて、何が良いデザインなのかについてscalarスコアを付けるevaluatorとしての能力が私の頭にはないということです。こういう作業をこれまでほとんどしたことがありませんから。
チェ・スンジュン ただ、逆もあります。どれほど美的な審美眼があったとしても、DPやbackpropのような用語を知らなければモデルにやらせることができないんです。
パク・ジョンヒョン では、私の脳をLLMだと考えて比較してみると、とにかく私がデザインを上手にするには私の脳に良いデザインとは何かという感覚を搭載するプロセスが必要ですが、それならLLMが先ほどおっしゃったようにたとえば大きなフロンティアモデルがさらに大きくなってまったく新しいデザイン要素まですべて適切に評価できるファウンデーションモデルが出来上がれば、何らかの形でhill climbingをして良いフォントを作ることが可能になるとお考えなんですよね？
チェ・スンジュン そうですね。たとえばDwarkeshが尋ねていたこういうものを実際に動かすとき、実験を回す際に、ここで測定したりするものには30分以上かかるrunが多いです。さまざまな空間をすべて測定して軸を見つけたあと、それを次のrunでテストしてみるからです。そのため、これにはコストがかかるのでデザイン、つまりどの方向へ進むかを私が感覚をつかみながら進めなければならないんです。
ただ、ある規模では高速に回せるためhill climbingができますが、私が望んでいるのは判断することもloopの中に入ることです。ただ、現在のregimeではある領域ではできそうですが、non-verifiableという領域ではうまくいかないという認識です。
そしてDwarkeshは結局、その大きな、本当に大きな規模のRLを回すには好みに依存する要素があるためそれができなければ、モデルのRSIはRSIというよりSIではないかという含意があるように思うんです。
パク・ジョンヒョン 定められた範囲内でのみ、フロンティアモデルの知能の限界内でのみとことん突き詰められるのであって、その先を超えることはできないという気が
チェ・スンジュン するということなんです。だから、今のregimeではないものを探索するという話でした。
ロ・ジョンソク 頭の中にはイメージが浮かびますが、あえて説明しろと言われると本当に難しいですね。
チェ・スンジュン だから、抽象化そのものを自ら行えるようにすることがSuttonが短期的に掲げている目標なのだと思います。だから私の目に留まったんです。
パク・ジョンヒョン 私も最近、似たような問題を解いていたんです。自分でデザインしなければならない、例えばつい昨日も、新たにリリースしようとしているものの名刺を私が作っていたんですが、思ったよりはうまくできるものの、なかなかうまくいかなかったんです。ある程度できてから見てみると、私自身、何が良いデザインなのか分かっていないことがまず根本的な問題だと思いました。
LLMが私よりうまいかと考えると、私はそうだと感じてはいたんです。そもそも私が、デザインをうまくできない脳を持っているからですが、では、もし私が10年ほどデザインに励みながら生きてきたなら、うまくできただろうかと考えると、今よりはるかにうまくできたはずだと思います。
ところが、それについて悩みながら、どうすればLLMをさらに突き詰めて、デザインを今より、私自身の能力を超えてもっとうまくさせられるのかという悩みと同時に、それをうまくやるには、結局は自分がうまくなければならないんだな、という二つの考えの間で、何が正解なのか見つけられなかったんです。特に、こうした好みなどが入ってくる場合については。皆さん意見が分かれていて、Suttonはこのような形でアプローチしようとしており、Dwarkeshは無理だと考えているようですし、LLMをただ大きくすれば必ずできると考えている人たちもいるようです。
20ワットで1Tモデルを動かすSuttonの想像 75:19
チェ・スンジュン 私は、これは二者択一ではないと思います。Suttonも、LLMを決して過小評価していたわけではありません。しかし、多様性を探索してみる必要があり、逆に、そこから逆算して考えてみると、もしイノベーションが生まれてしまったら、どうなるでしょうか？LLMではない方式からです。そうなったとき、今のインフラも依然としてGPUを使う以上、通用する部分はあるでしょうが、Suttonが目標としているのは20ワットです。20ワットで1Tモデルを動かすこと。今は非常に多くの電力を使わなければなりませんが、ムーアの法則が現在うまく当てはまっているわけではないものの、それでも、このような形で何とか手段を講じて進歩していくとしたら、10年のうちに、今は2,000ワットでできることを20ワットで行えば何が起きるかと尋ねたところ、想像していました。
だから、人間の脳と同じようにはるかに少ないワット数で、人間もおそらくワット数を測ったりはしないでしょうが、とにかく、そのように低くなったときにも1Tほどを動かしたら何が起きるのか？それを想像していたんです。そして、それが可能になるtimeframeを今から5年から10年の間だと見ています。ところが、もしそれが実現したとします。そうなれば、現在築かれつつある産業のディスラプションはどうなるのか？こうしたこともまた、面白い想像のポイントだと思います。
ロ・ジョンソク はい、それを今予測すると、おそらく投資としては失敗すると思います。これから先の1年、2年を予測できてこそ、その先も見えてくると思うので、今、Suttonが5年後、10年後にそういうことをするらしいと言って、現在Transformerを中心に整備されているインフラはすべて駄目になるという具合に投資を止めたり、そのポートフォリオに乗らなかったりするのは、愚かな選択だと思います。
チェ・スンジュン そうですね。AI winterを生き延び、乗り越えた方々ですから。これまでやってこなかったことに取り組むこと、それは今も重要だと思う、ということであって、今のregimeが駄目になるという話ではありません。その想像をしてみよう、という程度の話でした。
ロ・ジョンソク いずれにせよ、本質は計算の総量の関数でしょうから、今、私たちに最新のフロンティアモデルがあるにもかかわらず、とんでもないものを100個ずつ雑につなぎ合わせてまた何とか使っているように、今のアーキテクチャが役に立たなくなることはないでしょう。計算という観点では。
チェ・スンジュン A100もまだ使っているそうですね？ A100はまだ完全に退役したわけではないと聞きました。
auto researchとcontrol planeから見る仕事の構造 77:45
ロ・ジョンソク 大きな枠組みでは、今はauto researchですよね。私たちが何らかの目的とevaluation metricを明確にすることさえできれば、その中では、それ自体が答えを探しながら進化し続けられるということですから。私たちのvibe codingも、実際にプロセスとして見れば、その中で人々がauto researchをしているわけですよね。何か一つ作り、それに対するevaluationを確認し、これは間違っているからやり直して、そのevaluation metricをある程度構造化できるなら、その全体でloopを形成できるわけで、それを行うための何らかの設計はengineeringの問題ではなく、哲学と経営の問題に帰着しますが、そうしたものを設計できるならloopを長く回せるでしょう。
チェ・スンジュン それで、周りのデザイナーの方々にこれを共有しながら、挑戦的な問いのようなものを投げかけてみることですが、思考実験をしたとき、組版の問題だとすると、自分の好きな本のそういう魅力的な部分をサンプルとしてスキャンしたあと、最近は反復改善を続ければ、multimodal modelがほぼpixel-perfectの水準で見た目くらいは合わせられるんです。それで、まずそれをSVGにfittingしたあと、そのfittingしたものから組版の原理のようなものや、特定のデザイナーの心理をproxyする原理のようなものを見つけ出して、それがすべて扱われるまで、rubricが扱われるまで反復改善して、特定のstyleが抽出されるとしたら、組版くらいなら、できないこともないだろうとは思っていました。
では、組版デザイナーの仕事はどうなるのか？どのように移行するのか？もちろん、これは彼らがsamplingしたものの補間なので、その範囲で生産が速くなるだけであって、新しい組版の何らかの次元を発見したわけではありません。生産性を高めただけです。ですが、それでもimpactが生じたとき、仕事はどのように移行するのか？そういう問いを投げかけるとき、この例を使っているんです。それで、いろいろと考えさせられます。
編集スタイルの抽出と人間の作業のプロキシ化 79:55
ロ・ジョンソク はい。
パク・ジョンヒョン 私もまさにそれをやっています。映像を編集するのも同じようなものなんです。最初に私がどのように試したかというと、私が編集者として編集するところをずっと見せて、そのうえで、私自身も自分がどのように編集しているのか、言葉ではうまく表現できません。ただ感覚的にやっているからです。そこで、それをすべて与え、ここでこれがloopを回しながら、私とまったく同じものを作るようにevaluation metricを設定し、私のstyleを抽出させれば、そのstyleが抽出されます。私がどのようにやっているのかがです。そのあと、それを使って次の作業を回せば、私に似た私のproxyになるわけですが、本当によく似たものになります。
チェ・スンジュン 推察するに、ロさんがやっていることも似たようなものではありませんか？ ロさんの仕事のやり方も。
ロ・ジョンソク すべて同じですよ。それは、実際、すべて私たちがディープラーニングのこうした大きな方法論を適用しているんです。私は先ほどスンジュンさんがおっしゃったようなことも、このlayerで繰り返し起こる一種の同型反復だと今でも考えていますが、LLMでは、そのmodelが私たちの知るTransformer modelになるわけで、optimization algorithmがあり、そこでも同じようにobjectiveとevaluationが機能するわけです。そして、これを上位に持っていき、もう少しabstract levelに持っていくと、編集するプロセスや、私の場合は会社を経営すること、そして今この問題について考えるなら、フォントをどうするかという、その対象物自体のcodeとartifactとでも呼びましょう。それをそのままmodelと見なし、私たちがoptimizeしていくプロセスなんです。
そうすると、その階層はすべて同型です。十分にoptimizeしていけば、使える製品が残ります。では、そこで私たちに残される役割は、今のところ、依然として目的を設定し、出てきた結果をevaluationすることであり、その品質がmodelのoutputとそのまま連動しているわけです。
私にも答えはありませんが、これが果たして、私たちがあるdomainだ、あるspaceだと言うものが、どれほどの大きさで、どこからどこまでの範囲なのかは、誰にも分かりませんよね。ですから、これがそのdomainの中にあるのか、外にあるのか、たとえば、そのspaceが非常に広いなら、ある点と点を結んでinterpolationしたものが、私たちから見れば、単にnoveltyに見えたり、あるいはextrapolationに見えたりする可能性があるのではないかと思うわけです。
チェ・スンジュン 最近、数学で起きていることがまさにそれですよね。
ロ・ジョンソク スンジュンさんもジョンヒョンさんも私も、感じていることは今、すべてよく似ています。フロンティアモデルの性能が上がった分、私たちのそれに対する期待値や、作業の品質、作業量といったものも、今、ものすごく増えています。最初は、ただagentを一つだけ使って、やり取りしながら進めていたものが、今ではすべてmulti-agentとして重層化し、どうすれば単位時間当たりにより多くの仕事をさせられるか、私が行った作業のtraceをこれに読ませて、私の代わりに何らかの意思決定をさせるにはどうするか、evaluationをさせるにはどうするか、こうしたsystemを作る方向に皆の関心が向かっていますよね。
multi-agentによる反復評価と個人の仕事の進め方の変化 82:39
ロ・ジョンソク それで、そのsystemをうまく構築した方々は、tokenが足りなくなりますし、私も以前はweekly tokenが余ると感じていましたが、最近はweekly tokenがだいたい2～3日ほどですべてなくなります。その2～3日でなくなる理由は、以前は私が一つひとつ、自分の分かる範囲でguideしていましたが、続けているうちに、私の知らない領域でもうまくできるようにしたいという欲が生まれて、modelにこのevaluationの反復を回す作業をたくさんさせているからなんです。うまくいかなければ繰り返し続けて、3回繰り返してもまだ問題がなければ、そのとき持ってきて。こういうことをさせているんです。
品質がある程度保証されるroutineを経たか、それを強制するのが、私が話していたいわゆるcontrol planeだったんです。ある程度のevaluation metricの範囲内で、やると決めたことをすべて満たしたか？満たせなかった？ それなら作業を受け取りません。成果物を受け取ってもらえなければ、sub-agentはまた何度も繰り返さなければならないんです。それを満たすために。「ああ、これは、これと、これを満たせないんだな。もう一度やり直します」と言って、また戻ってくるんです。
そんなふうに、私がやるべきことを、もしかすると私が一度見ればそれで済んだことなのに、この子に何度も繰り返させて、わざとその過程で非常に多くの副産物を生み出すわけです。スンジュンさんが以前おっしゃっていた副産物のnetworkをたくさん作り、それらの間でこの子が作業していると、私も予期しなかった発見をするんです。「これはこうすれば済むことだったんだな。よくやった」と。それから逆に私自身のweightを変えるんです。
チェ・スンジュン 本当に多くのことを学べます。特に、こういう名前は名前さえ知っていればいいんです。
ロ・ジョンソク そうです。それに「こういうものはないかな？」と大まかな概念だけ話せば、探してきてくれます。これは全部知っていますから。昔こういうalgorithmがあって、これに合わせてやってみようと言い、「さあ、それならその論文とそのcodebaseを持ってきて」と言えば、本当にMatrixで何かジャックをこう差し込むように、ヘリコプターの操縦法を頭に入れて、それで済ませてしまうように、私の道具がそのまま拡張されるという体験をするんです。だから、おそらくジョンヒョンさんも同じ体験をされていると思いますが、私がこの子と仕事をしながら感じるのは、Matrixであれが実現したような感覚なんです。ただ指示すればよくて、私が望むものがあれば、「これはできる」と思えるようになるんです。
チェ・スンジュン 想像力の問題ですよね。
ロ・ジョンソク そうです。「これはできることだ」と思うからこそ、かえってそれを始めなくなる怠惰も生まれます。
パク・ジョンヒョン ただジャックを差し込むようにできる、私もそういう話をしたかったです。
ロ・ジョンソク 考えていたんですね。でも、なさっていることを見ると、以前なさっていたことに比べて、今は本当にとんでもないことをなさっているんです。見せてくださるものが、私には不思議に感じられます。でも私たち全員が今、フロンティアの水準まで上がってきたわけです。
チェ・スンジュン 最後に一つ指摘しておきたいのは、私が今お見せしたものはすべて、先ほどの3D model以外は、すべてweb interfaceで行ったものです。Claude CodeやCodexではありません。web interfaceでも、これくらいのことができます。
Webインターフェースだけで実現したフロンティア級の作業環境 85:58
ロ・ジョンソク すべて言葉だけでなさったんですか？
チェ・スンジュン 言葉だけでやったという意味ではなく、そのウェブサイトや一般的なchat interfaceで、ということです。ただ、一般的なchat interfaceではありませんよね。ChatGPTのWork、Claude Coworkです。でもClaudeの場合は、通常のchatでもcontainerを提供してくれるので、とても便利です。
だから、必ずしもローカルコンピューター上のものをCLIやdesktop appで動かさなくても、containerでブラウザを立ち上げて、すべて確認できるんです。だから、それも今、むしろ開発者たちが認識できていないポイントだということを一度指摘しておきたかったんです。そちらも進化し続けているわけです。
ロ・ジョンソク だからClaude Coworkのようなものも、実際はCodexと同じだと考えるべきだと思います。そして、もう少し時間がたてば、あと1年ほどたてば、私たちがローカルに演算性能の高いコンピューターを買う必要がなくなるかもしれません。クラウド上の何らかのコンテナに入れてしまえば、余っている演算リソースが動的に割り当てられ、自動的に作業が終わる時代になるのではないでしょうか？
私もOpenClawやHermesAgentを使いながら、自宅でalways-onで動いているそういうコンピューターが1台あるじゃないですか。私もDGXにそれをインストールして、その上にすべてを構築しているのですが、私自身がUIや動画編集のようにビジュアルをリアルタイムで確認しなければならない作業でなく、単に文字で行う作業なら、コンピューターの電源を入れません。ただ、私が作っているOperator Agentにテキストだけで指示し、すべての作業をこの子が処理するようにしてあるので、実質的には私もその作業をウェブインターフェースだけで行っていると考えて差し支えありません。
Operator Agentと作業自動化の未来 87:51
ロ・ジョンソク どうすれば私がいなくても私の仕事をそのままできるようにするか、というのが私の目標なので、そうしているうちにいろいろなことが起きています。何か整然と話が流れていなかった面も少しありましたが、こういうことも探索の一部ですから。はい、多くのことを学びました。
チェ・スンジュン 面白かったです。
ロ・ジョンソク では、今日はこの辺りで締めくくりたいと思います。
チェ・スンジュン いいですね。分かりました。
ロ・ジョンソク はい、
パク・ジョンヒョン お疲れさまでした。
ロ・ジョンソク ありがとうございます。