EP 105
AIは研究できるのか？
オープニングと今日のテーマ 0:00
チェ・スンジュン こんにちは。収録をしている今日は2026年7月18日です。それでは、進めてまいります。ジョンヒョンさん, どのようなお話を用意してくださいましたか？
パク・ジョンヒョン まず最初に、AIとリサーチについてお話ししようと思います。大きな学会の期間を経て、研究者たちに会い、関連研究を数多く目にする中で思い浮かんだ現代における問いの一つです。AIはリサーチができるのか？それについて主な事例と、現在どのような流れになっているのか、その後、私たちの考えをお話しします。
リジェクトされたPPO論文とピアレビューの限界 0:30
パク・ジョンヒョン 最初にご紹介する内容は、John SchulmanはOpenAIの共同創業者で、現在はThinking Machines Labにいます。PPOという強化学習の分野で、特にChatGPTが最も勢いに乗っていたころのRLHF、ヒューマンフィードバックを用いたRLの手法で最もよく使われているアルゴリズムなのですが、このアルゴリズムの論文が実は2017年にリジェクトされたそうです。
チェ・スンジュン そんなことがあったんですね。
パク・ジョンヒョン 私も知らなかったのですが、1カ月前に投稿されたツイートで、閲覧数がものすごく伸びていました。みんな、そういうことを感じてはいるんです。良い研究だからといって、必ずしも良い学会にうまく採択されるわけではない。リジェクトされることもある。そういったことに、多くの人が共感していたようです。ちなみに私は、このツイートにリポストした別の論文、Tony Zhaoのことを思い出したのですが、とにかく、そちらもほとんどリジェクトされていたそうです。今ではアクション分野では人気の高い研究ですが、当のレビュアーたちからは評価されていなかったわけです。
チェ・スンジュン 分からないということですね。
パク・ジョンヒョン こうした事例はあまりにも多く、どの分野でもこのような話は常に出てきます。研究をしたことのある方なら分かると思います。
チェ・スンジュン PPOはPolicy Optimizationに関するものでしたか？
パク・ジョンヒョン Proximal Policy Optimizationだったと思います。とにかく簡単にだけご紹介すると、これがChatGPTでどのように使われたかというと、私たちが会話をすると、人間がこの会話は良かった、悪かったといった評価を与え、それを基にモデルを改善するアルゴリズムだと考えていただければと思います。人間が行っていましたが、人間には限界があるので、人間をまねるモデルをさらに作って行うこともあり、そのような形で発展してきましたが、とにかく基本的には、そうした用途に使われていました。
ただ、ここでお話ししたかったのは、リジェクトもそうなのですが、著者たち自身も、将来GPT、つまりLLMで、このPPOというアルゴリズムが非常に強力に活用され、大きなインパクトを生むとは思っていなかったのです。
後にLLMで使われるようになるまでは、レビュアーたちも同様で、さらには著者たちさえも、これが本当に将来、大きなインパクトを生み得るのか、確信するのは難しいということです。
つまり、良い研究を評価すること自体が非常に難しい。点数を付けるのが難しい。こうした点について考えることができます。
チェ・スンジュン 評価するのが難しいということが、今日のテーマになりそうですね。
AIスロップ時代のarXivと学会 2:54
パク・ジョンヒョン 優れた見識を持つのは難しい。似たような事例として、学界で最近起きたことをいくつか挙げてみると、興味深かったのがarXivです。結局、あのPPOの論文も単にarXivに掲載され、みんなが読んで、実際に非常に多く引用されましたが、どこかのジャーナルや学会に掲載されたわけではなく、このような形になったわけです。
昨年、arXivではCSカテゴリーの特定の論文について、査読を通過した論文だけを受け付ける、という話がありました。理由は極めて単純です。皆さんも予想されると思いますが、AIが書いた論文があまりにもあふれているため、品質管理もできず、こうしたさまざまな問題によって、以前のようにすべてを公開する方式は限定的にしか認めないということです。これに関連してHacker Newsでも激しい議論が交わされました。ネット上での言い争いが繰り広げられました。結局、賛成派の意見は、LLMが論文を生成するのは
非常に低コストでできる一方、それが本当に良いものかどうかを検証して評価するのはコストが高く難しいため、とにかくarXivに、こう表現するのも何ですが、LLMを使って書かれた論文の中には、研究として意味を持たない、いわゆるゴミのような研究が数多くあるでしょう。
そうしたスロップがあふれれば、人々はarXivを離れてしまうので、結局、良い研究をすべて広く公開するために作られた場所ではあるものの、そうする必要がある。あるいは、そもそもarXivは査読前に掲載し、広く配布するための場所ではないのか。
PPOのようなものを発掘できるのに、それを妨げてどうするのか。このように対立する意見があるようです。
チェ・スンジュン プレプリントでしたよね。とにかく、ジャーナルに投稿する前に先に出せるそういう場所だったわけですよね。ハードルの低い。
パク・ジョンヒョン 最初に作られた理由については、私も正確にはよく分かりませんが、私の理解では、LLM以前の時代から存在していたものですから。
チェ・スンジュン そうですね。物理や数学の分野にありました。
パク・ジョンヒョン リジェクトされたために埋もれてしまうものを掲載する、という意味もあるでしょうが、それよりも、ジャーナルや学会の進行が遅すぎるからですよね。
チェ・スンジュン 6カ月かかることもありますし、それ以上かかることもあります。
パク・ジョンヒョン 急速に変化する学界では、出版された時点ですでに少し遅いため、知識をより早く共有するためのツールとしても、多くの人に好まれていたのだと思います。
チェ・スンジュン ところが、世の中がまたロールバックしてしまいましたね。
パク・ジョンヒョン そこで最近の学会を見ると、同じ文脈の出来事が起きているのですが、今回のICMLには2万3千本が投稿され、6千本が採択されたそうです。私が大学院生だったのは10年前なので、私が大学院生だったころは、規模が千単位ではなく100本くらいだったと思うんですよ。出版されるのが100本なら多い、そんな話をよくしていた気がしますが、本当に大きく変わったんですね。
チェ・スンジュン 出版された論文自体も多いですね。6,352本も。
パク・ジョンヒョン そうですね。出版された論文もこれほど多いということに、少し驚きました。そして同様に、ICLRという学会でもレビューがものすごく多かったのですが、そのレビューのかなりの部分が完全にAIによって書かれていたそうです。つまり、論文を書くのが簡単になって論文の質が平均的に下がっただけでなく、レビューが処理しきれないので、レビューにもAIを使うようになり、レビューの質も下がることになるわけです。
今回のICMLでも、そういった話がありました。レビュートラックの方針を分けて、AIと一緒にレビューする、AIを使わず実際に人がレビューする、というように分けて進めていたようです。ところが、人が直接レビューすることにしておきながら、AIでレビューしたことが発覚した事例があったそうです。そのためレビューから除外され、いずれにせよ、今の学界も論文を評価し、レビューするシステム、このシステムが変化を迎えているように思います。正解がどのような方向に向かうのかは分かりませんが。
チェ・スンジュン 生産量が圧倒的なので、そうした問題が生じるんですね。
パク・ジョンヒョン では、もう少し本質的な問いに戻って、良い研究とは何なのか？結局、学会の採否システム、こうしたものはすべて、良い研究を見つけるためのシステムですが、私が良いリサーチとはどんなリサーチだと考えているかというと、まず、リサーチの本質的な意味は、人類の知識全体があるとすれば、それを少しでも増やしていくこと、それがリサーチだと個人的には考えています。そして、増やした部分が実際に私たちの世界に大きなインパクトを与え、より良い方向へ世界を変えていくなら、それが良い研究だ。私はそう考えています。スンジュンさんは、良い研究について何か定義をお持ちですか？
チェ・スンジュン そうですね。考えたことはありませんでしたが、共感する点としては、人類の知識、あるいは知恵のフロンティアを拡張し、切り開いていくことが一つの側面なのは間違いないと思います。
パク・ジョンヒョン 昔、私が研究していた大学院生時代に悩んでいたことを、最近あらためて考えるようになったのですが、まずはこの観点で良い研究だと仮定して、話を進めてみましょう。
チェ・スンジュン 一つ付け加えたいのは、研究倫理も重要だということです。人類に影響を与えることについては、さまざまな種類のインパクトがあり得るじゃないですか。
パク・ジョンヒョン そうですね。倫理を無視して研究することもできますからね。特に戦争の時代には、そうしたことが数多く起きたりもします。いずれにせよ、この良い研究を私たちはうまく生み出し、評価し、発掘しなければなりませんが、数多くの研究の中からそれを行う必要がある一方で、問題は報酬です。これはLLMに限らず、人間社会にも同じように存在する問題です。現在、人間社会で良い研究を発掘するための方法は、ピアレビュー、つまり同僚の研究者たちが互いに良い研究かどうかを判断することです。これが結局、現在の学界のシステムです。数百年にわたって続いてきた学界のシステムですね。
チェ・スンジュン 報酬を受け取らずにやっているのではないですか？研究者の方々がレビューをしているのは、単なる貢献ではないのですか？
パク・ジョンヒョン よく分かりませんね。おそらく費用が明示的にやり取りされなくても、レビューを通じてその学会組織に所属し、学会を運営することが大きなインセンティブになるでしょうから、間接的には必ずコストがあると思います。それから確信はありませんが、おそらく多くのレビューでは報酬が支払われることもあると認識しています。
そうなんですか？それは学会やジャーナルによって大きく異なると認識しています。そして、いずれにせよ、このピアレビューというシステムより良いシステムはまだ見つかっていないようです。人間社会ではです。ところが今はLLMによって
ほころびが見え始めていて、これが現在、私たちの世代が抱えている問題の一つなのです。LLMについては何度もお話ししてきましたが、RLVRが優れた報酬に基づいて知能を発展させることが、現存するLLMの知能を引き上げる最も重要な方法であり、そのため数学については、後でもう少し詳しくお話ししますが、IMO金メダル、つまり数学オリンピック金メダルの水準にまで昨年と一昨年にすでに到達しました。
チェ・スンジュン 一昨年が銀メダルで、昨年が金メダルだったと思います。
パク・ジョンヒョン そうだったのですが、研究の場合はverifiableな報酬を与えることが現状では難しいため、LLMが良い研究を行うための発展も少し難しい状況のようですし、人間社会でも同じように、良い研究をうまく発掘するのが難しい状況のようです。
再現性：Hugging Face Reproduce Challenge 10:04
パク・ジョンヒョン 私が目にした、この時代の問題を解決するための興味深い試みをいくつか持ってきました。一つ目は、現在行われているものです。Hugging FaceでICML再現チャレンジというものを実施しています。エージェントが論文に記載された手法を実際にもう一度実装し、それが妥当かどうかを検証する方法です。
これは学界で常に大きな議論になる部分の一つですが、論文では「このような方法で私たちはこのように実験し、これだけ良くなりました」と華々しく発表しますが、いざ私が直接もう一度実装しようとすると、うまくいかないケースが非常に多いです。そうなると再現できないわけです。すると信頼するのが難しくなります。それをどう検証するのか？すべてオープンソースとして公開するよう求めることもできますが、実際にハードウェア実験を伴う場合も多く、クローズドソースの重要な資産であるシミュレーターを利用して行ったものの、これは公開できないという場合も多く、そのため現実的にはかなりの困難があります。とにかく、論文に書かれている論理だけをもとにこのような再現チャレンジを行っています。つまり、あるAIが書いた数多くの研究の中には、ある種のslopで、実験にミスがあったり、間違っていたり、極端な場合には実験すらせずに偽のデータを作っていたりする可能性もあるわけです。私の論理によれば実験結果はこうなるはずだ、と、そのまま発表することもできるわけですから。
チェ・スンジュン それで、かなり再現できたんですか？
パク・ジョンヒョン これは私にもよく分かりませんね。今はまだ皆が提出している期間なので、おそらく8月2日に終了しますから、それ以降に確認してみる必要がありそうです。ただ、私個人の予想ですが、あの6千本もの論文のうち、果たしてどれほど再現できたのかというと、現時点で800本ほど再現されていますね。
チェ・スンジュン でも、とにかく再現できたと検証されたものが800本ほどあるということですね。6千本のうちなら、それでもかなり多いですね。
パク・ジョンヒョン はい、そうだと思います。ただ、これには反証も含まれているようです。ですから、とにかくこの再現チャレンジは、結局、論文の文章だけをもとにピアレビューしていたところから、実際に動かし、データが本当にきちんと出るかまで検証するものなので、ある種の中間段階のリワードと見ることができるでしょう。つまり、良い研究を選別するための中間段階だ、と見ることができそうです。
リサーチRalphthonの現場 12:27
パク・ジョンヒョン そしてもう一つ、これは特に韓国で流行しているものの一つですが、ラルフソンというものがミーム的に流行していて、大勢の参加者が非常に楽しんでいます。私も会場に行ってきましたが、Ralphを動かしてハッカソンを行うチャレンジです。コンセプト自体が面白いので、皆がRalphを動かしておきながら、参加者同士で楽しく会話するのにもよく、ネットワーキングするのにもよく、今回はICMLの開催期間に合わせて、ラルフソンがリサーチ・ラルフソンになっていました。そこで二つのハッカソンを行ったのですが、一つ目はLLMで論文を書くこと。本当に研究と実験を経て、論文が出来上がるところまで論文を書くこと。そして二つ目は、その論文をレビューすること。こうして二つのトラックに分けてラルフソンが開催され、私は会場にいた方々にインタビューしたんです。
ただ、少し話がそれますが、一つだけお話しすると、教授も来ていましたし、それから医師の方も来ていて、研究者の方々も来ていましたし、高校生も来ていました。それで、私たちのチャンネルに動画が上がっています。現場からライブ配信をしていたのですが、とても幼く見える子がいたので、何歳か尋ねたところ、15歳だと言っていました。珍しく思って何をしているのか尋ねたところ、自分はLLMを熱心に使っているが、このコンテキストをデータのプロンプトで埋めていくと、ある時点から性能が落ちるように思う。それがいつ、どのように悪くなるのか知りたい。重要なデータは前に置くべきなのか、後ろに置くべきなのか、そうしたことによって性能が変わるはずなので、それが気になる。この子は高校生で、研究という行為を、おそらく学校などでは経験したことがないはずなのに、本当に研究に近い自分自身の問いと、その問いを解決するための取り組みを自発的に行っているのを見て、本当に感心しました。
チェ・スンジュン 高校生ならAP、アメリカやカナダについてはよく分かりませんが、とにかくアドバンスト・プログラムで何かに早く触れた可能性もありますし、とにかく、そういうことがあったんですね。
パク・ジョンヒョン それで、私も非常に印象に残りました。
チェ・スンジュン ところで、グボンさんには何度もインタビューしていませんでしたか？
パク・ジョンヒョン はい、最初にインタビューしたときは、ラルフソンというものがまだ作られる前でした。それで、ラルフソンというものを一度やってみたいと。
チェ・スンジュン 徹夜でやるもの、そういうものでしたよね。
パク・ジョンヒョン はい、やってみたいとおっしゃっていて、最初のインタビューでそういう話を聞いたのですが、実際にラルフソンを開催し、サンフランシスコでも開き、シンガポールでも開いて、それで海外でも好評で。その幼い子も、ラルフソンというものがユニークで面白いので来たいと思い、韓国に来たついでに参加したと言っていました。
チェ・スンジュン 私も一度、動画を見てみます。
パク・ジョンヒョン とにかく私が最も勇気づけられたのは、研究であれコーディングであれ、何かを作ること自体が苦痛になり得ることなのに、それを参加者全員が楽しめる形にうまく昇華してくださったようで、それは本当に素晴らしいと思います。この機会に私から宣伝させていただくと、ここに映っている方がグボンさんで、Team Attentionとしてこのラルフソンを開催されている方ですが、私はグボンさんが開くイベントにとても楽しく、よく参加しています。時間に余裕があるときに行くのですが、行くといつも何か面白い仕掛けがあって、たっぷり楽しんで帰ってきます。
ともかく話を戻すと、AIで論文を書き、AIでレビューを行い、そこでスコアの高いものをもとに順位を付け、さらにポスターセッションを開く、という形で行いました。そして当然、本物の研究者である審査員の方々をお招きして行ったりもしたのですが、まず、優れたレビューエージェントを作ったかどうかをどのように審査したのか、話してくださいました。審査員の方々がこのようにレビューするのかと分析して、良いものを一通り選び出したそうです。
そして実は、もう一つ選んだのですが、審査員がAI論文をレビューした結果と、エージェントがレビューした結果のスコアが近いかを見て、方法論に関係なくスコアが近いものを選んだところ、結局、そのレビューエージェントが優勝したそうです。そこで、何が一番面白かった点なのかと尋ねたところ、これを選んでくださいました。これを見て私たちが考えられることは、レビューの品質というものについて、今は論文を評価することにも苦労していますが、レビューも同じです。
レビューエージェントと報酬設計の問題 16:40
パク・ジョンヒョン では、良いレビューとは何かというと、それも難しいですよね。単に人間の審査員との相関を見るほうが何らかのレビュー手法よりも良い可能性がある、こういうことを示唆しているように思います。私たちが扱っているRLVRも同じですが、何か良いリワードが一つあれば、その中でどの方法を取るにしても、方法を強制せずに自分で一度解いてみなさい。こうした方法論が、この事例でもうまく適用されたということです。こうしたことについて考えることができました。とにかく、こうした試み自体が示唆することを考えてみると、研究でも、どうすればリワードをうまく与えられるのか？現状、人間がリワードを一つひとつ適切に与えること自体があまりにも難しいうえ、その量にも対応しきれないため、AIで何とかうまくやってみようということです。リワードを与えること自体も、この方向で取り組んでいますが、結局、これはRLVR、つまりverifiableなリワードではない状態なのです。それでも、リワードを何とか最大限うまく具体化してみよう。こうした方向の試みが、学界でも盛んなようです。
チェ・スンジュン つまり、LLMにルーブリックを与えて行う方法も最近よく使われているようですが、そうした系統なのかもしれませんね。
パク・ジョンヒョン そうですね。LLMにルーブリックを与える話をしてくださったので、またふと思い出したのですが、Kimi K3が登場しましたが、Kimi K2の時代にそうしたLLMにルーブリックを与えて、できる限り詳しく評価することでエージェントの性能向上に成功し、Kimi K2は性能が良かったと認識しています。同じ方向性だと捉えられそうですね。十分に可能性があるようにも見えます。
チェ・スンジュン そろそろ今日の難しい部分に入っていきそうな感じですね。
Dwarkesh × Grant Sanderson：数学とAI 18:38
パク・ジョンヒョン スンジュンさんもこれに強い関心を持っていて、それで私たちが一緒に見てみることにして、一緒に見た内容なのですが、最近、Dwarkeshのポッドキャストに2本公開されまして、一つは前編のGrant Sandersonという、3Blue1Brownというチャンネルで有名な数学解説者、最高の解説者と表現されていました。数学解説のYouTubeチャンネルを非常にうまく運営されている方へのインタビューです。それで数学に関する話、その次の後編は
チェ・スンジュン Adam Brown。
パク・ジョンヒョン Adam Brown、はい。今はディープマインドにいらっしゃいますよね。そこでスーパーインテリジェンスに関する研究をおそらくされているようで、もともとは物理学をされている方です。Stanfordで物理学を。それで物理学と数学について2本公開されたのですが、ここから私たちが見て感じたこと、そういったことについて話してみようと思います。
チェ・スンジュン それでも、先ほどの話との接続点を少し設計されたのではありませんか？
パク・ジョンヒョン 結局、数学や物理学のようなサイエンス、あるいは純粋研究の分野だと考えたとき、ここで果たしてAIがbreakthroughを成し遂げられるのか、つまり、研究を成し遂げられるのかという話について、ここではそうした部分だけを重点的に抜き出してきました。結局、数学の進歩。はい、そうですね。数学の場合は最近、さまざまなニュースをよく耳にします。OpenAIが何らかの仮説や予想を証明する事例が一つ二つと出てきていますが、そうしたものをbreakthroughだと私たちは感じているようです。そうした期待が込められているようですし、果たしてどこまで行けるのか。私がこの動画を見ながら
IMO金メダルはAGIではない 20:13
パク・ジョンヒョン 驚いたのは、冒頭でこのような話が出てくることです。3年前にもインタビューをしていたのですが、3年前の当時はAGIについて盛んに語られていた時期ですよね。AGIは実現するのか、いつ実現するのか。それで、そもそもAGIとは何かというところから始まり、AIがIMOの金メダルを取れば、それがAGIなのではありませんか？つまり、数学がものすごく得意だということは、本当に賢いということではないか、という質問をしていたのですが、そのときもGrant Sandersonは、そうではないという趣旨で話していたそうです。それは単なるベンチマークの一つだ。単に一つのベンチマークをうまく突破すること、今のLLMはそれを非常にうまくやっていますが、3年前にもすでに言っていたように、単にそれ一つだけが突破されるということだ。それはおそらく汎用知能ではないだろう。
ところが今の時点で見ると、IMOの金メダルを取りましたが、それを私たちはAGIとは呼びませんよね。だから先見の明があった。それだけに、私たちもその言葉により注目するようになったのだと思います。
チェ・スンジュン IMOは、実際には非凡な高校生たちが問題を解く大会ですよね。今では数学者が扱うような数学をモデルがこなしているので、この1年でとてつもなく進歩しました。
パク・ジョンヒョン 私は、このIMOの金メダルを取ったときにもそういう話をよく目にしたのですが、ある会社だったのですが、GPUクラスター事業を行っている会社の創業者に、IMOの金メダリストの方がいて、その方がLatent Spaceで、そのような話をされていました。つまり、IMOの金メダルは数学者になるための一種の入門ラインだ。IMOでは、6問を9時間ほどかけて解きます。2日間で、つまり長くても10時間程度のタスクですが、私たちが実際に数学を研究するというのは、1万時間、数万時間規模のタスクなので、そこまで進めるかどうかが次の課題だ、という話をされていました。
つまり、人間の中でもものすごく賢い人にしか解けない問題ではありますが、スケールは大きくないとも考えられそうです。
それでGrant Sandersonが何と言っているかというと、IMOの隠された事実は、非常に多くの訓練ができるということだ。つまり、問題を繰り返し解いてみることができるということです。
チェ・スンジュン ノベルティのある問題であっても、実際には訓練可能な問題だということですね。
パク・ジョンヒョン 人間が。はい、そのように話しているようです。簡単に私の世界で例えてみると、私たちが韓国の大学修学能力試験の数学を解くとすれば、数多くの過去問や類似問題をたくさん解いて訓練すれば大学修学能力試験をうまく解けるようになる感覚だと、IMOもそういう側面では違わない、という話なのだと思います。ところが、ここでどんな話をしているかというと、現在のAI、おそらく昨年時点のことだと思います。昨年のIMO金メダルモデルも、おそらくどれも似たようなものだったはずですが、数学の中でも分野が分かれているということです。つまり、私たちは今AGIと言っていますが、数学だけが得意でもそれはAGIではないと言うのと同じように、なぜなら、ほかのごく当たり前のことができなかったりもするからです。その数学の中でも同じようにisomorphic、つまり同型として、数学の中には代数、幾何、整数論、組合せ論などがあります。
そのうち組合せ論は解けず、残りはあまりにも簡単に解くというんです。つまり、この中でも尖った知能が別々に存在するわけです。ちなみに組合せ論というのは、場合の数の問題、それを指します。
チェ・スンジュン 私も動画を見た記憶がおぼろげにあるのですが、2024年に幾何の問題が2問出ていたら、そのとき金メダルを取っていただろうと、Grant Sandersonが話していたと思います。
パク・ジョンヒョン そうですね。それでIMOでは6問出題されるのですが、分野は4つなので、その分布は毎回異なります。そのときは組合せ論が1問出たため、その1問を間違えて、残りはすべて正解し、銀メダルだったか、確かそんな感じでした。一昨年に。そうですね。ところで、私は数学にそれほど造詣がものすごく深いわけではありませんが、これについて聞いてみたんです。数学を熱心に勉強していた友人たちに。そうしたら、組合せ論の専門家は、その中でも、人間の中でもまた別にいるそうです。数学の中にも、それなりに専攻のようなものがあるようです。組合せ論は典型的に天才が得意とするものだそうです。やや生まれつきの才能がものをいう分野だと言っていました。
IMOの話はいったんここで切り上げるとして、では、果たして優れた研究ができるのか、優れた研究とは何なのか、こうしたことをもう少し数学の観点から考えてみると、過去の事例が思い浮かびますが、ここではDwarkeshもそうですし、このGalois、Galoisという人物が作った群論とここでは訳されていますが、これは群論というそうです。ところが、この群論というものを考案し、こうしたものが生まれたようです。しかし、それが本当に脚光を浴びて、クォークの予測などにまで影響を及ぼしたそうです。それには100年かかったそうです。つまり、ある理論が生まれて、それが実際に人間社会へインパクトを与えるまで、これが本当に優れた研究だったと検証されるまでのタイムスケールが非常に長いということです。そうなると、これは反復できないわけです。こうした点が難しいため、現在のLLMの知能を向上させているRLVR、即座に報酬を与え、それに合う方向へ知能を発達させる、このタイムスケールとはあまりにも異なるため、この方法はここには適用できないだろうということです。それが難しい点の一つなのです。
Galois群論と100年単位の検証タイムスケール 24:27
パク・ジョンヒョン それから、もう一つ私が印象深かったのは、Grant Sandersonがある言葉を引用していることです。優れた数学者は定理を証明し、偉大な数学者は優れた予想を立て、
チェ・スンジュン 何々予想という、有名な予想がありますよね。
パク・ジョンヒョン はい、Poincaré予想のようなものでしょう。そして、本当に最高の数学者は定義をもたらす。優れた定義をもたらす。そのように話していました。つまり、私たちが今の時代に見ている研究の観点は、実際にはtheoremを証明すること、ある理論や仮説、そうしたものをうまく証明することに、今はとどまっているわけです。では、この先まで果たしてAIが進めるのか、これが結局、私たちが考えるべき点ですが、どのようにお考えですか？ご意見を伺いたいです。
チェ・スンジュン 私もこのDwarkeshの回をジョンヒョンさんと一緒に見ようと言ったのは、実はDwarkeshが企画しているからなんです。なぜ、こうしたものにはうまくいく部分がある一方で、依然としてうまくいかない部分があるのか、そして特に科学において、こうしたものが飛躍的に進歩できない可能性をずっと執拗に問い続けているんです。ところが、それを見ていたら影響を受けたからなのか、私も疑問を抱いている状態ではあります。気になるんです。私の番でも一度紹介しますが、うまくいく部分ではあまりにもうまくいき、うまくいかない部分ではずっとうまくいかない、このスパイク型という特性がフラクタルのように繰り返され続けるという話を先ほどGrant Sandersonもしていましたが、まさにそのとおりだと思います。手の届きやすい果実は、これからも取り続けるでしょう。それでも、当面の近いタイムフレームの中では、依然として人間が関与しなければならない方向性がせめて5年ほどは続いてほしいと願っています。
パク・ジョンヒョン いずれにしても、現時点でRLVRに基づいて知能を向上させる方法では、あの高みまで到達するのは容易ではなさそうだ、そのようにお考えのようですね。私も同じように考えています。
チェ・スンジュン ただ、ロさんは少し異なる見方をお持ちですが、今日はロさんの体調が優れないので、きっと一言おっしゃっていたはずですが、おそらく次回、聞くことができると思います。
パク・ジョンヒョン おそらく、この動画をご覧になっている方々も同じような悩みを、それぞれご自身の分野で抱えていると思いますが、今日はそれを研究、特に科学に焦点を当てて話してみようと思います。果たして優れた研究を成し遂げられるのかというと、私は十分に可能だと思います。あの最高の数学者に当たるような定義を生み出すことについては分かりませんが、優れた研究はできると思うのは、このGrant Sandersonの回でも、一つの事例が紹介されているからです。数論学者のモンゴメリーと物理学者のダイソンがRiemannゼータのような話をしていました。ある数式のようなものについて話しているうちに、それは数学の何かと物理学の何かが同じだね、と話して、お互いに何らかの共通点を見つけたというんです。
チェ・スンジュン プリンストン高等研究所では、非常に名望のある方々が偶然出会えるような場を設けているのですが、おそらく、そうしたランチタイムでの逸話だったと思います。
パク・ジョンヒョン 昼食の時間だったのか、お茶を飲む時間だったのか、そういう場で何気なく話しているうちに出てきたそうです。私たちがまったく異なる分野だと考えているものにも、実は非常に多くの共通点があり得るわけです。それがisomorphicである、私たちは同型である、という話をずっとしているのですが、研究というものが人類の知識を増やすことだと考えるなら、すべての人間は自分のドメインについてはよく知っていますが、ほかのドメインをすべてよく知っているわけではありません。ところがLLMは、知識という観点だけで見れば、それを瞬時にすべて把握することができます。つまり、こちらの分野にあった何らかの要素をあちらの分野にそのまま適用したとき、isomorphicに適用したときに、発展が起こり得るわけです。こうした観点から十分に考えてみると、人類がまだ発見していない知識を、ほかの分野のものを持ってきて適用することで増やしていくことは、十分に可能です。
チェ・スンジュン そうですね。ただ個人的には、コンテキストの呪いのせいで、プロンプトでそれをするよう指示したときにしか、モデルはやりません。なぜなら、ただやるように言うだけだと、分布が平均的な方向へ向かってしまうので、もともとその系統で語られることしか話さず、ほかから持ってきてはくれないからです。持ってきてほしいと言って、初めて持ってきてくれます。だから、それはまだ人間にできる部分だと個人的には考えています。
パク・ジョンヒョン そう言われると、いろいろな方法が思い浮かびますが、一番簡単なのは、単にプロンプトでほかの分野を見るよう指示することもできるでしょうし、ほかの分野のものを意図的に持ってきて、入れてあげることもできるでしょう。あるいは、もう少しRLVRの観点から考えてみるなら、LLMが出力するトークンの中から、意図的にエントロピーの低いトークンを選んで、別の方向も探索してみるよう指示することもできます。
チェ・スンジュン それで、そういう話を昨年GwernがLLM Daydreamingという名前で、眠っている間にさまざまなものを結びつける、そういう概念のようなものとして話してはいましたが、とにかく、ハーネスなどによってもある程度は克服できそうですね。
パク・ジョンヒョン いずれにせよ、LLMというものは、結局のところ、考えてみれば不可能ではありません。こうした点を考えてみると、なぜなら、私が以前やっていたときも、最近ビルディングするときも同じです。リサーチしていたときも同じで、ほかの論文を読んで、そこから着想を得て、これをこちらに一度適用してみよう、といったことは、当然ながらよく考えます。そうしたことは十分に可能だ、という程度に考えています。では、もう一歩進んで最近の回、これは物理学についての回なのですが、おそらく動画は1時間40分ほどあります。そのうち1時間10分、20分ほど、ほとんど大部分は本当にただの
Adam Brown：圧縮こそが知能という視点 30:51
チェ・スンジュン 物理学の講義。
パク・ジョンヒョン ただ相対性理論を説明してくれます。それももちろん非常に印象深いのですが、結局、その次には、ではAIがこうしたことをどうやってできるのか、という話をします。ただ、物理学の相対性理論についての話は、当然、理論的に非常に難しいため、私自身もすべてを理解できたとは思っていません。ただ、ぜひ一度ご覧いただきたいのは、すべてを理解できなくても、部分的に理解できるところがたくさんあるからです。今、Grant Sandersonの3Blue1Brownチャンネルで現在連載中の動画が、Compression is Intelligenceだったでしょうか、「圧縮こそ知能である」というような話をしています。
チェ・スンジュン エントロピーの話を少ししていましたが、シリーズでやっているようですね。
パク・ジョンヒョン おそらく三部作だと思います。そういう話をしていて、圧縮は知能である、とずばり言うのですが、それがメインテーマです。同じように感じました。つまり、アインシュタインが相対性理論というものを生み出すまでに、10年、20年とどれほどかかったのか、どんなアイデアから出発したのか、という話をたくさんするんです。でも私たちは今、それを1時間で聞いています。つまり、研究していた当時は、あれこれと考えを巡らせながら、いくつもの仮説が立てられ、思考実験を行い、実際に物理実験を行うこともあり、それらを土台として積み上げられた膨大な知識が、最終的に圧縮され、さらに圧縮されて、できる限り私たち全員が理解できるレベルまでわかりやすく説明されること、それ自体が知能なのです。こうした類いの話を3Blue1Brownチャンネルで結局しているわけですが、そういう観点から一度ご覧になることをお勧めします。あれほど難しいものを、こんなふうに説明することもできるのか、と思わされます。
チェ・スンジュン でも実際、Grant Sandersonがいくら視覚的に解きほぐしてくれても、難しいものは難しいんですよね。楽しんで見てはいますが、すべて理解できているわけではありません。ところで、さっきさらっと通り過ぎましたが、Galoisやアーベルのような人たちには、夭折した天才たちについての興味深い物語があり、そうしたドキュメンタリーもGrant Sandersonが準備しているようでした。数学者たちについてのドキュメンタリーをAI時代にまでつなげる、何かをしているようで、それも非常に楽しみです。
パク・ジョンヒョン 私は3Blue1Brownチャンネルをいつも周囲の人に勧めています。私自身も本当にたくさん助けられたからです。実務に携わるうえで、学生時代にフーリエ変換のようなものをたくさん学びはしましたが、実際に仕事で使わなければならなくなったとき、研究で使わなければならなくなったときには理解できていなかったのに、それを一度見ただけですぐに理解できました。視覚的なものは本当に強力だ、と思いました。ひとまず、続けます。理論物理学について話しているのですが、結局、理論物理学が難しい理由の一つは何かというと、実験が非常に難しいということです。ある粒子を、ほとんど光速に近い速度で動かしてこうした実験を行ってこそ仮説を一つずつ検証できるわけですが、結局、何をすべきかというと、思考実験をするしかありません。実際の実験がない状態で、実験なしでどこまで進めるのか、それをAIに任せようということです。では、実験なしでAIは果たしてどこまで研究を進められるのかというと、それについてAdam Brownはどのように話しているかというと、アインシュタイン級の知能、LLMがそれほどの知能を持つと仮定すれば、これまでの人類史上では一度に一人しかいませんでしたが、あるいは、それほど優秀な人間が常にいたとしても、ものすごく大勢いたわけではないですよね。その人たちがLLMだとすれば、LLMはいくらでも作れて、頭の中で多様な実験を非常に数多く行えるため、間違いなく、はるかに多くのことを発見できるはずです。問題を単なる探索だと捉え、探索にコンピュテーションという膨大なリソースを投入すればいい。発見できるものはものすごく多い。そういう話をしているんです。
実験のない理論物理とLLMの探索 33:44
パク・ジョンヒョン しかも、この記事は私が資料を一通りすべて渡して、Fable 5が書いたものなんです。Fable 5が書いた内容を私が一通り確認しながら、これは意図的に少し残しました。「進んで無駄にする」と、このように表現していたんです。今、私たちがすべて真実だと考えていることの中には、実は真実ではないものが非常に多かったんです。アインシュタインの相対性理論の事例でも、そうしたものが非常に多く出てきます。ニュートンの万有引力、重力、こうしたものは私たちがすべて真実だと考えていたものですが、実は矛盾点がたくさんあるんです。そうした矛盾する事例についても分かりやすく、動画の中で詳しく説明してくれます。そのため、そうした矛盾点を見つけたら、それを補うための新たな説明が必要になりますが、真実だと信じている推測を改めて証明し直すことに、LLMはリソースを無駄にするのを惜しまないため、そうしたことを続けていれば、見落としていたものを十分に見つけられる。それが先ほど最初に話した、Hugging Faceのリプロデュース・チャレンジです。論文はpeer reviewを通過しているため、当然すべて正しいと思っていますが、あえてリプロデュースしながら、間違っている可能性を反証すること、これはLLMにとっては、私たち人間から見れば無駄ですが、実は無駄ではないということです。ですから、このようにLLMが私たちの研究に十分貢献できる部分は、現時点でも存在するとまとめられそうです。
では今後どうなるのかというと、当然、分野ごとに進む速度は大きく異なると思います。そのため、頭の中だけですべて完結できる分野、数学や理論などが当然、先に進むと思いますし、その次に、実際に実験しなければならない分野、例えばバイオや化学などの場合は、合成してみたり、反応を確認したりする必要があるものは、当然、多少遅くならざるを得ません。今のところ、こうした考えが浮かびます。そして現時点では、rewardを簡単に与えられる分野が当然先に進み、そうでない分野はやや遅れるでしょうが、これがDwarkeshが今ポッドキャストをしながら、伝えたいことなのだと思います。これには限界がある。このRLVR以外の方法も必要なのではないか？あるいは、その前のシリーズでは、pretrainingには限界がある。continual learningなどもまったくできていない。そうしたことをどうすれば、私たちはより高度な知能に到達できるのか？こうした文脈のインタビューを続けてきたように見えますが、今回も同じような文脈で進んでいるようです。
そして最後に、究極の目標を考えると、先ほどのgreatest mathematicianに該当するような定義を生み出せるのか？これは最後まで人間の役割なのか、それともAIの役割なのか？こうしたことについては、人によって考えがそれぞれ異なるところだと思います。私個人としては、AIにもできるのではないでしょうか？そう考えています。定義というものも、作ればいいわけですが、それが良い定義かどうかは、結局、現実にそれらがどれだけうまく反映され、物理的な現象や自然現象をどれだけうまく説明できるかによって、良い定義になるわけですから、結局、探索というsearch problemと変わらないのかもしれません。何らかのevaluationが可能で、verificationが可能なら、AIはこれも成し遂げられるのではないでしょうか？ただ、今後2年ほどのタイムスケールではないと思います。まだずっと先の話だとは思いますが、10年、20年という目で見れば、できるのではないでしょうか？私個人としては、そう考えています。
チェ・スンジュン 2040年、だいたいその頃になれば、何が起きてもおかしくないですね。では、ジョンヒョンさんの話を聞きましたので、私も続けてみましょうか？重複する部分は少し飛ばしながら、私も話してみます。前回も一度触れましたが、これはPeriodic Labs、つまりOpenAIにいた、材料や物理などを研究していた方々が起業した会社ですが、共同代表のLiam Fedusが最近こうしたことをしている。実験する必要があるので、工場を建てている。そのようなツイートを投稿していたのを思い出し、もう一度持ってきました。実験によってループを閉じなければならない領域は、確かにあるように思います。
そこで私は、その動画を見てモデルと対話しながら、「知的自動化の時代に残るもの」という文章を生成してみました。そこで、いくつかの点を強調してみましたが、知的ブレイクスルーには少なくとも三つの形があるとGrant Sandersonが話していたことをもう一度取り上げてみました。ですから、先ほどのlightning bolt、つまり稲妻のように、異なる二つの分野を並べることができますし、でも、これは比較的簡単だということです。今の時代では。
知的自動化の時代に人間に残るもの 39:17
チェ・スンジュン はい、そうですね。そうですね。ですが、新しい山を築くことは非常に難しく、時間もたくさんかかり、それが正しいかどうかも早い段階では分からず、評価するのも難しいです。ですから、この種の成果は、正解したという形ですぐに評価するのが難しい。それが本当に生産的な考えだったのかは、数十年後になってようやく明らかになることもある。それが知的ブレイクスルーの三つの形のうちの一つで、残りの一つが少し興味深かったんです。新しい概念がなくても、膨大な量の推論を押し進めて、答えにたどり着くことです。形式証明のような系統では、すでにMathematicaやLeanのような系列で、自動証明機を動かせば、人間には理解しにくい、異星の数学のようなものを探索することが可能だったそうです。以前から、それが真であることを示すことと、それが本当に私たちの求めるものであり、考え方を変え得るアイデアなのかを判断することは、別だとGrant Sandersonが話していたのを思い出しました。
ですから、人間が消化できるようにすることが依然として重要ですが、そうしたものを説明することも機械は得意になり得ると話していたんです。ですから、この部分についても考えさせられますが、私たちのチャンネルで私たちがロさん、ジョンヒョンさん、私が掛け合いをすることにも関係する部分があって、何を説明するのか、どんなアイデアが取り組む価値のあるものなのか、どんな順序で人々に見せるのか、なぜこれが面白いのかを選ぶ役割は、当面、依然として重要だ。
ですから、自分の存在価値をGrant Sandersonが位置づける話も、私には少し印象深かったです。ですから、今のところこれはうまく当てはまっていて、Dwarkeshがそんな話をしていたんですが、難しいことを自分で勉強するとき、本文を読むこともありますが、モデルに説明させると難易度がぐっと下がる。その話には私もとても共感します。ただ、そのような説明文を書くのは上手でも、創作文章はAIがあまり得意ではないんです。上手には書きますが、ある程度の水準を超えられずにいるんです。
パク・ジョンヒョン ここでおっしゃった創作文章とは、どのような文章ですか？
チェ・スンジュン 例えば小説のようなものですね。ジョンヒョンさんもこの前、一度おっしゃっていましたよね。ギャグや小説のようなものは、うまくいかない。
パク・ジョンヒョン そうですね。ギャグは本当に駄目ですよね。
チェ・スンジュン そうですね。まったく笑えないんです。ですから、RLVRが機能するには、最終結果が正しいか間違っているかに対する報酬をスカラーで与えられなければならないじゃないですか。そのとき、どのようなトークンが入るべきなのかといったことの経路全体に報酬を与えるので、コーディングは上手になるものの、個々のトークンが十分に価値のあるものなのかは分からないんです。しかし、文章では個々のトークンがすべて最終成果物になるので、それはRLVRでは解けそうにない。
そんな話をDwarkeshがしていたのが、少し印象に残っています。良い文章は、読者がどこでつまずくか、どんな誤解をするか、どんな順序で考えれば次の文を受け入れられるかを推し量る。一つひとつの文や単語は、単なる包装ではなく、まさに内容そのものだ。文章を書くことは、コードのように表面が乱雑でも、結果さえ良ければよいというものではない、という部分が心に響くような感じがしました。ですから、重要度を判断するレイヤーが必要になる。
自動化された知識生産においても、何に価値があるのかという人間的な問題は、少し曖昧ではありますが、簡単には消えません。なぜなら、モデルもますますレビューや判断が上手になる方向へ進んでいるため、永遠ではないかもしれませんが、簡単には消えないという見方は、DwarkeshやGrant Sandersonも共感している内容のようです。そのため、教師の立ち位置も少し移っていくという感じがありますね。つまり、依然として必要なのは社会的な関係だからであって、単なる説明ではないということです。教師が行う教育は、本質的に社会的で関係的な活動なので、依然として残る部分があるだろうと話していました。
結局、これだけもう一度読んでみると、重要なのは、どんな問題が問うに値するのかを見抜く感覚、遠く離れた考え同士のつながりを見る能力、新しい概念が本当に生産的なのかを判断する長い時間軸。長い時間軸が重要なのだと思います。複雑な結果を人間が理解できる形に圧縮する技術、そして知識があふれる中で、何を見る価値があるのかを案内することなどを、複雑な数学についての話からすべて分解してFable 5に依頼し、骨組みだけを残してみたものだったんです。ですから、私はこうしたポイントに注目しました。
パク・ジョンヒョン 私が文章を書くことと数学を結びつけて一度考えてみると、私は個人的に小説がものすごく好きなんです。でも、それなら良い小説とは何だろう？私はなぜこれを面白いと感じるのだろう？となると、うまく説明できません。
そして、数学だと考えてみると、先ほどLeanの話をしてくださいましたが、こんな話があるそうです。Leanの場合、私も詳しくはありませんが、IMOで一昨年、ディープマインドがメダルを獲得したとき、銀メダルでしたよね。Leanでコードを書いていたんです。Leanはそのまま数式のような見た目です。文章なのにコードのような、数学コードのような見た目ですが、実行すれば、それがtrueなのかfalseなのかを判断できる言語だそうです。ですから、Leanをしっかり学べば、数学もverifiableなものへおおよそ変えられるかのように話していました。
チェ・スンジュン そうですね。それをすべてLeanに翻訳する必要はあります。でも、今年からだったか、Leanは使っていません。
パク・ジョンヒョン そうですね。それで、当時みんなが怖がっていたAdam Brown回の話が出てきます。時代が進んでみると、Leanを使うことも、数学コードを書くことも、小説を書くことも、どちらもただ文章を書くことなんだ。LLMがトークンを吐き出すものだと仮定すると、数学で優れた研究を成し遂げ、そのアウトプットでtheoremを証明したものの、アウトプットが数百万行にも及ぶLeanコードだったとします。そうすると、人間がそれを見て理解するのはあまりにも難しいじゃないですか。それが懸念していることの一つです。いわば、つまらない小説ということです。説明は不可能だけれど、真実ではあるのです。
これをかなり心配していたのですが、いざ現時点で最近発表されたOpenAIのいくつかの発表を見ると、その内容は理解しやすいそうなんです。それでAdam Brownがそういう話をしたところ、Dwarkeshが何と言ったかというと、「それって、あなたにとってだけ簡単なんじゃないですか？」そんな話をしていたのですが、いずれにせよ本当に賢い人間の基準では、説明不可能なレベルではないということです。とてつもなく難しい話ではないということです。それなら、人間が納得できるレベルの説明だとAdam Brownが評価しているのを見ると、それもある意味では良い小説に近いのではないか？ なぜなら、人間が読んだときに納得できる。だから大丈夫だ。そう表現することもできますよね。
ですから、ある意味では、つまらない小説が数百万行に及ぶLeanコードの証明で、面白い小説は、人間が説明を、つまり、読んで理解できるレベルの説明です。それこそがCompression is Intelligenceです。これとも通じる内容ですが、うまく圧縮して説明を分かりやすくした文章が、賢い文章である。そしてそれは、ある意味では良い小説でもあり得る。このようにつながるのではないかと、最近はそんなことを考えていました。
ただ、面白い小説と理解しやすい小説はまた別のもののような気もします。ですから、そうしたものは自分で考えてみても分類が明確ではなく、そうである以上、今はうまくできないのも当然なのかと思いますが、果たして未来でもそうなのかというと、よく分かりません。ただ、これもしばらくは当然できないでしょうね。
圧縮と知能の系譜、そしてヴィンテージLM 47:28
チェ・スンジュン ところで、圧縮の話が出ましたが、これは非常に面白いんです。AGIを語ったことで有名になった人、つまり、AGIという言葉を広く流通させた人がディープマインドの共同創業者であるShane Leggですよね。ところが、Shane Leggの師匠がMarcus Hutterなんです。Marcus Hutterがどこに登場するかというと、Wikipediaの圧縮にprizeを懸けた人なんです。どれほど効率的に圧縮できるか。ですから、その圧縮がShane LeggとMarcus Hutterの研究テーマだったんです。AGIへとつながる。そして、その根幹となるアイデアにSolomonoff inductionという概念があります。Solomonoff inductionがそこへとつながっていく経緯を、Shane Leggの博士論文で扱っています。
ところが、その周辺の話をIlya SutskeverもKolmogorov複雑度について説明するときに一度したことがあるんです。ですから、今の私も理解できていないまま話してはいるのですが、そうした根幹の話において、圧縮に関することと知能に関することがalgorithmic information theoryという系統で非常に重要であり、それが今日のAIの根幹を成す考えなのだと、ふと思いました。
パク・ジョンヒョン はい、私も最近そういうことをよく考えます。AIの発展を見ていると、特に、もし私が千年前に生まれていたと考えた場合、千年前のある人間と私とで、頭脳の能力がそれほど大きく違うとは思えないんです。ところが、千年前のある人が生み出せるoutputと私が今生み出せるoutputは、あまりにも大きく異なりますが、それは人類の知識が蓄積されたからですよね。そして、それがうまく圧縮されているため、私たちが正規の教育課程を通じて成長しながら、非常に速くすべてを頭の中に入れてしまったため、二十歳になる頃には多くのことができるようになっているわけです。
チェ・スンジュン そうですね。スキャフォールディングがすでに頭の中にたくさん入っているため、それを道具として、思考の道具として活用できる部分が非常に多いですよね。
パク・ジョンヒョン そうですね。脳のハードウェアはそれほど大きく違わないはずですが、だからこそ、知識を圧縮してうまく入れることが知能の本質なのかもしれないと、そんなことを考えるようになります。巨視的な観点から見ると。
ただ、それについてTed Chiangが以前、LLMはウェブのぼやけたJPG圧縮だと言って、また議論の的になったことがありましたが、とにかく、ひとまずどんどん先へ進みましょう。ところで、私は学部で応用物理を専攻しましたが、実のところ、物理とは縁遠いんです。ですから、それについてよく分かってはいません。そのため、その内容は私にとっても簡単ではなかったのですが、私がやってみたのは、Adam Brownのtranscriptを与えて、これをmnemonic bookにしてみることでした。会話が出てきて、次に途中でシミュレーションのようなものや、tinkeringできるものが出てきて、それから後半になると、前に出てきた内容を尋ねるクイズが出てきて、そうして記憶術を使える形式にしてみたんです。
そして、こうした話を聞いていると、Ted Chiangがつい先ほども出てきましたが、Ted Chiangが2000年に、翻訳版ではおそらく「人類科学の進化」という作品で、メタヒューマンが登場したとき、人類は考古学をしなければならない。メタヒューマンが行った研究を理解するために努力するという、そんな笑うに笑えない話が出てくるんです。短い短編ですが、面白いです。それを一つ思い出しましたし、今日、後半の時間を割いて話したいことは、先ほども申し上げたように、Dwarkeshが粘り強く企画し、このプロセスに取り組んでいると私は考えています。そこで、RLVRは科学においてとりわけ脆弱かもしれない。これは5月に公開されたブログ記事ですが、そうした企画をあらかじめ提示しておき、実際に適切なintervieweeを探してインタビューする過程にはMichael Nielsenもいれば、さらに、このように科学に携わる方々や、数学を説明するGrant Sandersonもいて、その企画に合わせてこれを組み立てていくところが非常に興味深いポイントです。そこで、RLVRが機能しないとき、どのような代替案があるのか、そういったことを想像してみたこともあります。
ところで、ちょうど先ほどジョンヒョンさんが昔の千年前の人の話をされていましたよね。ところが、興味深い試みが今年の4月にありました。Alec RadfordがヴィンテージLMと呼んでいるもので、GPTを作った方ですよね。その方が1930年代以前のデータだけを使って、つまり、それ以前に出たテキストだけを使って学習した言語モデルを作ったとき、果たしてpretrainingやRLのようなものを使って1930年代以降に起きる発展のようなものを想像できるのか、というニュアンスを持つ実験を行っているんです。それで、そうしたヴィンテージLMという系列が生まれているのですが、私は個人的に興味深く見ています。
ヴィンテージLMというものは初めて聞きましたが、結局ここで、データが本当にうまく作られているなら、2000年代までの技術的発展をこれが成し遂げられるのであれば、現時点を基準に、これから先も当然成し遂げられるだろうと私たちは当然projectionして想像できますよね。ある意味、証明とも見なせそうです。ですから、これを見守ること自体が未来を予測するうえで大いに役立ちそうですし、この結果によって考え方が変わり、実際の行動も変わり得ると思います。
チェ・スンジュン そうですね。ですから、こうして関連づけると興味深いポイントがあるように思う、ということをご紹介して、次に、最近起きているRLVRの根幹を成すアイデアは非常に古く、Ronald Fisherのscore functionというアイデアからして非常に古いものです。ただ、REINFORCEアルゴリズム自体が登場したのは1990年代初頭だったと思います。統計学でscore functionが登場したのは1900年代初頭、20年代で、その後、Williamsらが書いたpolicy gradientの方面で登場したのが1990年代初頭です。そうして報酬を使って強化学習を行えるというアイデア、最近LLMで行われているRLVRの根幹となったアイデアは非常に早い時期に登場していました。
RLVRと自らファインチューニングするモデル 52:49
チェ・スンジュン そこで、私が理解している範囲でごく簡単に説明すると、このxというのは条件付き確率なのですが、xという条件や入力があるときにyを出せるモデルのparameter thetaがあり、それが確率を出すんです。そしてscore functionというのは、結局、確率の対数を取ったもののgradientを求めるものです。そこで、それをうまく行えるようにシステムの外部、つまりモデルの外部から報酬を与えると、計算グラフがつながっていなくてもここにscalarを掛ける程度なので、分布を変えられるようなイメージです。
つまりobjective functionを最適化できるわけですが、LLMでこれが機能するのは、LLMが確率を出すからですよね。トークンの確率logitを出せば確率が得られるので、その確率から出てくるのがvocabですよね。あるトークンが何パーセントの確率になるかということで、上位の数パーセント程度を私たちが取り出し、そうしてnext-token predictionを行うわけですが、トークンの個数が結局はaction spaceなので、LLMが確率的に出すものを強化することが可能です。RLVRではコードを一通り書いた後に、検証器が外部でテストを実行し、動作した、しなかったと知らせれば、それをreward Rとして入れられるようになるため、そのトークンの軌跡全体が機能すれば、すべてに高い確率を与え、機能しなければ低い確率を与えます。そしてDeepSeekが紹介したGRPOのようなものは、それらの平均的なbaselineを置いたうえで相対評価を行い、平均より良いものにはプラス、悪いものにはマイナスを与えて、その軌跡自体を強化する仕組みですよね。
これを大まかに理解してみると、Dwarkeshが話していた、結局のところどのトークンがよりうまくいくのかについては、最近の研究ではもちろんそれも行っていますが、保証するものではなく、動作さえすればよいので、文章を書くことには使えず、また何ができないかというと、答えが一つではないもの、これも正解になり得て、あれも正解になり得るもの、そして、そうしたものが何かを含意する場合です。そうしたものは依然としてRLVRではできず、そのような問題はデザインや芸術に多いですよね。
パク・ジョンヒョン はい、ここで少しだけ補足すると、あのxがinput textで、prompt、yがoutput tokenですよね。そしてpiがLLMで、
チェ・スンジュン その確率を作り出すわけです。thetaがLLMのparameter。
パク・ジョンヒョン thetaがLLM parameterです。それで、あのyは実際にはtokenが一つではなく、N個がずらっと出てくるのですが、N個がずらっと出てきて、最終的に数学の問題を解くとすると、解法をどのように書いたとしても、最終的に解答が合っていれば、全体としてその解法はすべて正しかったのだろうと判断して確率を上げるため、解法をどれほど簡潔に書くか、どれほど美しく書くか、こうしたことについては、適切にRLを行うのが難しいということで、それが先ほど話した100万行のLeanコードが出てきてしまう可能性もありますが、そうしたことを懸念していた文脈ともつながっているように思います。
チェ・スンジュン そうですね。ただ最近の研究では、そうした点を一つひとつ指摘して扱おうと、さまざまなregularizerを使ったり、さまざまな手法でhackingしたりしていますが、それでも根本的にはまだこのregimeにあると感じます。
パク・ジョンヒョン rewardにそうした要素を追加するわけですね。どれほど短く解法を書いて答えに到達したのか、こうしたものを使うこともありますし、私は最近、デザインをやってみているんです。私は個人的にエンジニアなので、当然、デザインが得意なわけではありません。それでどうしているかというと、YCが自分たちがAIでどのようにデザインするのかを見せているものがあります。私たちが普通、最近のウェブサイトを見て回ったり、PPTを見たりすると、ああ、あれはClaudeが作ったデザインだな、と、これは一目ではっきりわかるんです。ところがYCが作ったものを見ると、そういうものがまったく見えないんです。いや、彼らはどうやって、似たような雰囲気ではなく、まったく違う雰囲気のデザインをこんなにうまく作ったんだろうと思って、それを一生懸命まねしています。
でも結局どうやるのかというと、少し複雑です。soulも作って、mood boardも作って、あれこれ全部やるんですが、結局、人間がselectionをします。tasteに該当する行為をすべて行うんです。それを行い、それをinputとして入れます。tasteを。そのあとoutput designがN種類生成されたら、
そこからまたselectionをするんです。つまり、正解が複数あり得るものをどうするのかというと、humanがそのloopに入って、こうやって次々とpickするわけです。つまりtaste、好みに該当するものについては、まだ必ずそうしているようです。結局は人間の好み、作った人の好みですから、それがまるで魔法のようにぱっと出てくるのは簡単ではない。
チェ・スンジュン 確かに、モデルを作って行うわけではなく、単にtextレベルで行うんですよね。
パク・ジョンヒョン imageレベルではありますが、imageやtextのレベルで、いずれにしてもtoken levelですよね。imageもtokenとして入るので。
チェ・スンジュン 克服する方法はもちろんありますが、まだあまりエレガントではありませんね。
そうですね。そして、それが一つ、今日紹介したかったことで、しかし、それにもかかわらず、依然としてうまくいく領域は多いんです。それで私もこれを面白く読んだんですが、AnthropicがBunを買収したじゃないですか。それで7月8日に、それをRustで約100万行にもなる大規模プロジェクトへと変えることについて、ほぼ成功談と言える内容を紹介したものがあり、これも面白かったですし、興味深いのは、これを動かすには、やはり3時間ほど、専門家が自分の知っていることをすべて圧縮して、きちんとスペックを作り、動かしてこそ動くのであって、ただ動くわけではないということです。いくらagent swarmを使っても。それで、そういう部分が少し印象に残っていて、内容はこれよりはるかに詳しく、長く、面白いです。
オープンウェイトモデルが出たじゃないですか。それでTML、先ほどJohn Schulmanが参加しているTMLのInklingというモデルが出て、その次にKimi K3、先ほども言及してくださったKimi K3が出たんですが、Inklingが少し面白かったのは、英語でInklingが、ここのメイン画像もインクの跡ではあるんですが、私も意味を調べてみたところ、かすかな手がかり、予感というニュアンスが核心だそうです。だから、これは今始まったばかりだ。私たちもモデル規模がほぼ1Tに近いモデルをオープンウェイトで発表したようですが、それを使って何かを見せ始めるという予告編のような感じがありました。
最も興味深かった部分は、パク・ジェウンさんという方がブログにうまくまとめてくださっていた、自らファインチューニングすることです。それでLilian Wengが「Harness Engineering for Self-Improvement」を公開していましたが、その実践版として自分たちが行っていることを紹介していて、ここが核心だと思います。
大きく見ると、ファインチューニング作業を行い、自分たちのインフラであるTinkerに載せて、モデル自体をファインチューニングするんですが、ここで面白い話が出てきます。eを抜いて話すことをファインチューニングするんです。eを抜いて創作するというものが文学の分野にあるんです。ウリポなどでよく行われていた実験ですが、リポグラムというものを使い、小文字のeや大文字のEを抜いて創作させるんです。それをファインチューニングするんです。
パク・ジョンヒョン では今、Inklingというモデルを接続して、OpenCodeを動かしているわけですが、
チェ・スンジュン そうです。自分自身をファインチューニングするんです。
パク・ジョンヒョン すると、出力トークンが次第に変わっていくんですね。
チェ・スンジュン 自らを何らかの特定の目的に合わせてファインチューニングするRSIを行う部分が少し面白かったです。
パク・ジョンヒョン まず、あのInklingを作ったThinking Machines Lab、TMLは、そもそも非常に有名な方々が集まって作ったところなので、OpenAIの元CTOだったMira Muratiが独立して、先ほどのJohn Schulmanもそうですし、Lilian Wengもそうですし、ほかにも有名な方が大勢いらっしゃるじゃないですか。それですごく期待していたんですが、しばらくモデルが出ませんでした。
チェ・スンジュン モデルは出ず、インフラや論文がいくつか出ていましたね。
パク・ジョンヒョン そうですね。ファインチューニングサービスのようなものが出て、最近ではomnimodalityモデルが一つ出ていましたが、それもかなり印象深かったです。
チェ・スンジュン その次に、自己改善という文脈の記事が次々と出てきたんです。それでTML以外にも、初めて見るところですが、AIDE²というところでも、自己改善をモデルウェイトで行うのではなく、これはハーネス側のようです。でも今は、その二つが混ざっているんです。ハーネスを自己改善する方法もあり、そのハーネスがモデルウェイトを更新するAutoresearch系のハーネスなら、モデルが更新されることが両側で起きているような感じです。そして問題のKimi K3は、
私はまだ使ってみてはいませんが、文章で見た限りではすごいです。技術的な内容もブログでかなりうまく扱っていました。私はこれを翻訳しておいたんですが、動かしてみるのは簡単ではないでしょうが、いずれにしても記念碑的な出来事ですよね。
パク・ジョンヒョン まず、個人で動かしてみるのは簡単ではないサイズですが、あれほどのサイズのモデルがオープンウェイトで出たということ自体が、とても励みになる出来事だと思います。当然、数多くのGPUクラウド、ネオクラウド事業者が動かしてサービングし、OpenRouterで提供することになるので
チェ・スンジュン どのような技術的なbreakthroughがあるのかはこれだけを見てもよく分かりませんが、Kimi K3も当然MoE系で、先ほどのInklingもMoEであることをすべて公開しています。うまくやっていると思いますし、さらにはここで自分たちはチップ設計をする。中国側はチップで行き詰まっているのに、チップ設計もしている。Kimi K3からは、そういう話も少し見えてくるように思います。
内容の一つひとつをすべて丹念に作り込んだ、丹念に作り込ませた形跡が感じられる、とでも言いましょうか。さらには動画編集まで、1日前にティーザー映像が先に公開されました。ところが、そのティーザー映像自体をKimi K3が編集したという話までしてくれました。
Satya NadellaとDemis Hassabisのツイートもなかなか面白かったのですが、Demis Hassabisの話よりも、まずSatya Nadellaの逆情報パラドックスには考えるべき点があったように思います。知能の時代に、企業は自社の中核的な知識資産をどう守るべきか。ビッグテック各社は約束して、学習や訓練には使わないと言っていますが、利用のあり方そのものはデータとして取り込まれるじゃないですか。ところが、それ自体が非常に強力な情報だ。そのため、逆情報パラドックスについて語ったことが大きな話題になり、興味深く考えられるポイントがあったように思います。Demis HassabisがいるGoogleは、今少し苦しい状況のようです。
パク・ジョンヒョン それから最近は、モデルがあまりにも速いペースであちこちから次々と出てくるので、こうしたことに一喜一憂もしますが、時間軸を年単位に広げるだけでも、年単位のスケールでは多くの会社が本当にしっかり追いついてきています。Geminiも前回出たときには、良いという高評価を受けていた期間がかなり長かったですし、ですから少し待てば、何か問題があったとしてもきちんと解決して、また良いものが出てくるのではないかと。特にデータも豊富で、ハードウェアもしっかりとすべて用意している企業なので、Googleが
チェ・スンジュン 追いつけないとは想像しにくいですが、頑張ってほしいという願いはありますね。辛抱強くもう少し待てば出てくるのではないかと思います。それでGPT-5.6を1週間使ってみて、いかがでしたか？
実使用レビュー：GPT-5.6とMinecraftエージェント 65:26
パク・ジョンヒョン それを一度使ってみたところ、昨夜動かしたものが10時間を超えても終わらなかったので、私がそのまま止めてしまったんです。そういうところは確かにありました。非常に長く、ロさんがおっしゃっていたtest-time computeに注力している点が、そういう形でも表れているように思います。
チェ・スンジュン ただ、興味深かったポイントは、私が最近Minecraft関連で作っているこういうことをするとき、Fable 5が得意だという先入観を持って作業していました。それで、このようにここで私が指示すると、そのモデルがボットを動かすのですが、そのボットをモデルが作り、普段はその作業をボットにさせつつ、行き詰まる部分がなぜ行き詰まるのかを私が知りたくて、私がプレイするときにボットが使うコマンドを使って私自身がプレイできるよう、インターフェースを作ったんです。ところが、それをかなりうまくやり遂げました。
ただ、進めているうちに何度も、Fable 5で作りながらSolでレビューしてきたんです。ところが、Solがずっと非常に厳しくレビューして、何かがおかしい、間違っていると言うので、Fable 5がそれに屈するんですよ。そこで一度、ドライバーをSolに任せてみました。Solに任せて、私はHITLで絶えずやり取りしながら進めるほうなので、対話しながら進めるのですが、Fable 5をレビューするときはSolほど敵対的にはレビューしませんでした。全部受け入れてくれて。それで、Solはまたこういうリズムではうまくやるな、という印象を受けました。
パク・ジョンヒョン では今、Minecraftで先ほど「ここへ行く」と指示したら、ボットが歩き回って、どこかまで来たようですが、それを今、SolとFable 5がすべて作りながら進めているわけですね。
チェ・スンジュン そうです。ただ、少し難しい問題を解いたのは、チャンクを大規模に読み込む際に、それをどうストリーミングするかという問題が少し難しかったのですが、Fable 5がやったものはうまくいかず、それをSolが解決しました。それで最近は、そういう形で活用してみているのですが、実は時間が本当になくて。いかがですか？YouTubeのようなものを準備するには、ニュースも見なければならないし、読むものも多く、日常生活も送らなければなりませんよね。
パク・ジョンヒョン そうですね。本業がありますから。
チェ・スンジュン そうですよね。コーディングをさせること自体に充てる時間そのものが足りないんですよね。
パク・ジョンヒョン 私もそうです。
チェ・スンジュン それで今ではすべてリモートで、携帯電話からでもできるのに、時間そのものをあまり確保できないという問題がありました。今日の締めくくりは少し宣伝なのですが、私が何度かお話ししたように、Tossが作ったデザインスクールとして知られるパイ・デザインスクールでAIの授業をするんです。
それでMinecraftエージェントを作るときも、ループの外でスペックを作って動かす作業もしますが、ループの中に入り、自分はRustを知らなくても、今進められているアルゴリズムの中核部分などを理解しながら取り組むモードもあります。私は、この二つを行き来して両方とも経験すべきだと考えています。
それで、そうしたことをお伝えする、デザインをしたい方や、デザインを学びたい方にお伝えする取り組みをしているのですが、私が担当する授業以外にも興味深い授業があるので、一度宣伝してみました。
パク・ジョンヒョン 私も教えていただいて、一度見てみたのですが、私はデザインのことをまったく知りませんが、デザインが上手になりたいなら行ってみたいと思いましたね。
チェ・スンジュン そうですよね。開発者の方々も応募されていましたね。職務とのつながりを踏まえて悩んでいらっしゃるのか、ピボットを考えて悩んでいらっしゃるのかは分かりませんが、デザインをバックグラウンドとしない方々の中からも、プレコースには第1期、第2期に応募してくださったのですが、実際、授業料が大学の学費と同じくらい高いんですよね。そうですよね。決して小さくない投資をする必要がありそうです。ただ、デザイン分野で非常に著名な方々や第一線で活躍されている方々も一緒に参加してくださるようです。私はこうした問いを盛り込んだ授業をしてみようと思っていたのですが。今日はどうでしたか？ずっと先延ばしにしてきたDwarkeshとGrant Sanderson、Adam Brownの回まで一通り取り上げてみました。
エンディング 69:51
パク・ジョンヒョン まず、今日はビジネスについての話ではなかったように思いますし、思考をはるか先まで広げていく、夢想家的な発想を試して共有する時間だったように思います。私は個人的に、もともとこういうことが好きなので、やるのも好きです。
チェ・スンジュン では、今日はここまでにしましょうか？
パク・ジョンヒョン はい、お疲れさまでした。
チェ・スンジュン 面白かったです。
パク・ジョンヒョン ありがとうございます。