EP 115
組み合わせの遊びが始まった
All-In Summitで見たAI産業の流れ 0:00
チェ・スンジュン 私たちが収録している今日は9月19日土曜日の午前です。ロさんが出張中なので、久しぶりに私たち二人で進めてみることにしました。ジョンヒョンさん、お元気でしたか?
パク・ジョンヒョン はい、熱心に見ています。ショウジョウバエやJevなど、そういうものがすごく話題でしたが全部追いきれないほど出てきているのでひとまず関心のあるもの中心に見ています。今週、私はAll-In Summitを熱心に見ています。今まさに上がってきているところなのですが、有名な人たちが総出演するイベントなのでそこで人々がどんな話をしているのか熱心に見ていました。All-In Podcastというポッドキャストチャンネルがあるのですが、アメリカで有名な人たちがたくさん出演しますし、進行される方々も有名な方々で、少しアメリカ式なので雰囲気は違いますね。悪態もつくようですし。とにかく強めに話すそういうポッドキャストの一つで、人気もすごくあります。そこで年に一度ああいうイベントを開くのですが、イベントのチケットがなんと1000万ウォンだそうです。1000万ウォンもするのに本当に多くの人が参加するんですよ。ああいう話を聞きたがる人が本当に多いんだな、そんなことをたくさん考えました。
チェ・スンジュン なるほど。私は1つだけ見たのですが、どれをご覧になって、どんなことを考えられたのか気になります。
パク・ジョンヒョン ひとまず上がっているものはほぼ全部見ましたし、それからその中で私たちのチャンネル、今ここAIフロンティアチャンネルをご覧の方々が関心を持ちそうなものを一通りピックアップしてきました。それでピックアップしたコンテンツはこうなのですが、Jensen Huangのセッションと、SpaceXのElon Muskとプレジデントでしたか、とにかく最初期のメンバーから今までずっと一緒に働いている社員であり、それからリーダーシップですね。リーダーシップで、Satya Nadella、JD Vance、それからBrad Gerstner。私もこの方は初めて知ったのですが、Altimeter Capital側なので経済的な部分をよく分析してくれるセッションだったのでこれは持ってきました。この他にもいくつかありました。ジャーナリズムもあったりしましたが、とにかくアメリカの方向性についての話をたくさんするセッションでした。そして不思議なのが、途中でTrumpが電話してきてTrumpも突然出てきました。
チェ・スンジュン Jensenのセッションの時にですか?では核心的な部分を結論から挙げるとすれば?
AI pacingをめぐるリーダーたちの分かれる立場 2:12
パク・ジョンヒョン 共通してすべてのセッションで話していた部分が大きくはAI pacingについての話、あまりにも危険だからこういうものが今すごく話題になっていますよね。それから実際に経済的にこれがどれだけ効果があって今後どうなるのかについての話と中国とopen-sourceモデル、アメリカはどうすべきなのか、大きくはこの程度の話がありました。すべてのパネリストが同じ考えを持っていたわけではなく、皆それぞれ多様な考えを互いに話し合うセッションでした。
チェ・スンジュン では一通りご紹介いただけますか。
パク・ジョンヒョン まずpacingについての話はDario Amodeiが止めるべきだという趣旨の話をしました。それに対して様々なリーダーたちが自分の意見を述べたのですが、大きくはTrumpとJensen、それからAll-In Summitにいるパネリストたち、David Sacksを含めて、これをなぜ止めるのか、今はどのみち止められない、特に中国との競争で立ち止まることは事実上不可能だと考えているようで、進むべきだという話をしていますね。意外にもDario Amodeiが止めるべきだと言った時にSam AltmanとElon Muskが同意しましたよね。それで本当にあの人たちは内側で危険なものを見ているのだろうなと人々が考えているのですが、Elon Muskはとにかく同様に、何らかの形で牽制と監査、こういうことはやらなければならないだろうという趣旨の話をしました。なので考えが多少違っていたようです。
チェ・スンジュン Elon Muskは昔からそうだったと思います。OpenAIの設立にお金を出したのもDemis Hassabisを牽制するためで、Evil Geniusのようなゲームを作ったとそう言っていた記憶がありますね。
パク・ジョンヒョン 悪魔を召喚するようなものだ、そういう話をしていたと思うのですが、意外にもそういう考えを持っていたようですね。スンジュンさんはどうお考えですか?
Jensen Huangの戦略とRSIペーシング 4:04
チェ・スンジュン 私はJensenの回だけ見たので。ですがJensenは本当に戦略家だと思いました。遠慮なく話しますし、この人たちはほとんどがVCじゃないですか。そしてJensenはこれ以外にもSalesforceのイベントであるDreamforceでしたか、そこで話したものも見たりしたのですが、Jensenは本当に人とは違う側面があるように思いましたし、当然自分の利益に合致する話をしたのでしょうが、自分個人の利益ではなくそのエコシステム自体の利益に合致する話をしたのでしょうが、強めに話したようですね、ありえないと。
パク・ジョンヒョン スンジュンさんの個人的なお考えが気になりました。pacingを本当にすべきだとお考えなのかどうか。
チェ・スンジュン pacingはきちんとすべきだと思います。ユーザーの立場からは少し、今すぐ中断するとなるととても残念ですよね。ですが今話しているのはRSIをpacingしようということであって、今程度の水準の発展を調節しようということではないかもしれないんです。RSIに入っていくのをすごく慎重に進めるべきだということであって、今程度の頻度とリズムで進む流れを止めようということではないと私は感じました。発展し続けるのを見たいとは思うんです。でも危険にはなってほしくない。本当に後戻りできない川を渡ることはしてほしくないですが、そうでないなら発展し続けるのを見たいという方ではありますね。
オープンソースと相互監査という安全の代案 5:28
パク・ジョンヒョン pacingというものが単に私たちが止めようと言ったからといって止まるものではないでしょうし、こういう議論をすること自体が何らかの方法を見つけようとしているわけじゃないですか。あえて似たものを挙げるなら、コンピュータ分野にあったセキュリティ関連の問題だったと思うんです。Linuxのようなものがopen-sourceでWindowsがclosed-sourceだと考えると、意外にもopen-sourceの方がセキュリティ面で優れているはずだと。すべての人が中身を見てそれを解決しようと一緒に努力するのでこういう側面から見ると、結局みんなで公開するのが安全をみんなで確保しながら進んでいける道ではないか、という話をしました。似たような話で、Elon Muskがこんなことを言っていたんです。お互いに監査をしながら今後何かが世に出る前にお互いにテストすれば、はるかに安全になるのではないか、そんな話をしていたのですが、ある程度そういう方策を見つけていけそうだ。だから、できる限りこうした議論を前もってするのが正しいようだ、という気がしました。あえて遅らせなくても十分に方法をすべて見つけ出せるのではないか。では、どんどん進めていきますと。ここはこのくらい簡単にしておいて、経済的な部分について一度話してみようと思うのですが。結局、韓国のメモリ会社を含めて非常に多くのお金が行き交っているのですが、これはバブルなのか、いつまで上がり続けるのか、そんな考えでみんな少し怖がっていますよね。それで、その話に私も関心が高くて一度しっかり見てみました。それで、私が注目すべき数字をずらっと整理したのですが、これを一つずつ見ていきましょう。まず、みんなが心配していること一つは、投資が大きすぎるということです。これほど大きなお金をどこからか全部調達して建てているのですが、データセンターを含めてNVIDIAに流れていくお金から始まって果たしてその投資を回収できるのか、そういうことについての話でした。それで、ここの水色、青色の数字が投資額です。投資額が当然先に上がっていて、その次に、このオレンジ色が今ラボが稼いでいるお金なのですが、OpenAIやAnthropic、SpaceXといったこういうところで稼いでいるお金がずっと追い上げてきているのですが、いずれにせよ投資した分そうですよね。投資した分だけ回収が可能かどうかが結局最も核心的な指標であり、これが不可能なら投資はすべて失敗するわけです。ですが、確実なのは、今まではあまりにも速く成長しているのは間違いないということ。2年で$7Bから$200Bまで上がってきたのでこのまま行けば大丈夫でしょうが、これがどこまで追いついてくるかは分かりません。
投資回収の可能性を問うcapex曲線 6:32
チェ・スンジュン 今、投資額自体が2024年に$241Bから
パク・ジョンヒョン はい、ここまではほぼ確実だと見ていいでしょう。来年まではほぼ固まったと見ていいでしょうね。
チェ・スンジュン 来年まで含めると、おおよそ4倍から5倍の間、それくらいに増えた2年ですね。
パク・ジョンヒョン 半導体会社の収益にすべて流れているのですが。
チェ・スンジュン 見たところ、OpenAIやAnthropicが直接メモリを購入しているという話をちらっと見た気がします。よく分かりませんが、とにかく作られたメモリが入ったチップを買うのではなくメモリを直接購入しているというニュースをどこかで見た気がするんです。正確ではありません。
パク・ジョンヒョン とにかく大きくは、これだけずっと追い上げてこないといけないのですが、需要は企業や、あるいは私たちのような個人がみんなAIを使いながら支出するお金になるでしょう。それで、ここについてみんなバラ色の見通しで、絶対に需要が増えると考えているようです。それで、これがバブルなのか、あのように上がってくるのがバブルなのかについての話をあちこちでずっとみんな同じテーマで話しているのですが、まず、Brad Gerstnerはバブルではないと言っています。なぜなら、これはマルチプルの拡大ではなく実際に利益が増えてその分だけ指数が上がっていると言うんです。それで、数字で示してくれるのですが、このマルチプルというのはNasdaqがこれだけ上がった中で、実際に稼ぐお金に対して何倍の指数を維持しているのか、株価を維持しているのかを見るものなのですが、むしろ減ったそうなんです。これは同じ水準だと見てもいいと思います。実際にお金をたくさん稼ぐからその分上がったのであって、過去のインターネットdot-comバブルの頃と比較してくれるのですが、その時はまだお金を稼ぐ前なのに株価が先にぐんと上がったそうなんです。未来にものすごくお金を稼ぐだろうと、稼ぐお金に比べて100倍もの値付けをされて結局それが弾けたわけです。そうだったそうですが、今は違うと言います。それで、バブルではないだろうという話をしています。慎重に語るSatya Nadellaの場合はだからといって証明されたわけではない、という趣旨の話をしました。この稼いだお金は結局すべて投資によるもので、投資したお金はNVIDIAや半導体会社やこういうところに全部流れていってそこの利益が上がったわけで、そうではなく実際にGDPが上がってこそバブルではないと言うんです。それで、GDPは本当に上がるのか？ Anthropicでも最近実際に経済モデリングのレポートを出したんです。AIによって経済とGDPがどれだけ成長するのか、そういうことについてのシナリオを予測しておいて、モデリングして、私たちが直接予測モデルに数字も入れられるレポートを出したのですが、思ったよりインターネットや鉄道のようなものもGDPがぐんと上がってはいなかったんです。過去の数字を見ると、私は当然インターネットのようなものはものすごく大きな成長を遂げて世界が一変するような出来事だろうと思っていたんです。思ったよりはそうではなかったんです。それで、GDPが普段より少しだけ、3〜5%くらい成長するとしたら8%成長するその程度の水準かもしれないと考えているようです。そこに到達するだけでも、AIがものすごくたくさん使われないといけないわけです。とにかくこの指数は、ほとんど半導体会社が稼いだお金によるものです。それで、ほぼすべて半導体会社の上昇分がすぐに指数の上昇につながり、つまり今は投資資金が半導体企業に流れ込んでいると見ればいいと思います。
ドットコムバブルとは異なるAIの収益構造 8:53
GDP成長で証明すべきだと語るSatya Nadella 9:58
チェ・スンジュン この人たちの話と見ればいいですよね。All-In系の方々がしている話としてですね。ただ全体的なメッセージはバブルではないだろうという方に少し寄っていますね。
パク・ジョンヒョン 根拠を分けて話してみると、数字は調査された数字なのでこの数字にも全部予測が入っているんですよ。この予測は他の誰かがどこかで予測したものだという形なので、多少誇張されている可能性はありますが、とにかく予測自体を偽っているようには見えませんし。ただ、この数字を見てバブルは弾けないだろうと解釈するのはこの人たちの意見ですよね。ところが、いつもバブルが弾けるときもその時なりの論理と根拠となる数字が常に存在するんです。なので、これが本当にそういう結論に至るのかは各自が判断すべき部分でしょうね。それで、このように成長を続けられた理由の中で一番目は当然、OpenAIとAnthropicがあまりにも速くお金を稼ぎ始めたからです。需要がついてくるだろうという予想は全部ここにあるわけで、これが過去にGoogleやMetaがお金を稼いだタイムラインよりはるかに早いそうなんですよ。それでAnthropicが本当にとんでもなく急に1年の間に売上がどんどん伸びていくのを私たちは見ていて、今後もそうやって上がっていくだろうとみんな思っていたようです。このcapexはとにかく施設を全部建てることなんですが、この施設で、Jensenのような場合は当然ここでお金を稼ぐわけじゃないですか。NVIDIAのGPUを売って、この施設に導入されることでお金を稼ぐわけですが、上下で考えてみるとメモリ、TSMCのようなところまで下に広げてできる限り皆で協力して、それをネオクラウドに売るわけです。ハイパースケーラー、ネオクラウドのようなところに売るわけで、需要があまりにも大きいのでここは作れるだけどんどん売れているわけです。そしてMicrosoftのような場合はこのすべてのバーティカルの役割を全部果たしているんですよ。だからMicrosoftはAzureを通じてハイパースケーラーでありながら、実際にWindowsとその上に乗るアプリサービスも売っていて、さらにはモデルも自分たちで作っているんです。最近はMAI-Thinkingのようなモデルもどんどん出てきて上下を全部よく観察できる位置にいるのでパネリストたちが質問するんです。Microsoftはそれならそこでどういうふうに考えているのか、と。ただ、ここで話しているのは上下に分けて見るとデータセンターを建てて、そのデータセンターを貸してコンピュートを売ったりもして、必要なら自分たちで使い、本当にもっと必要なら他社のものを借りて使ったりもして、そうやってこういうものが全部柔軟に回れるようにならなければいけないし、自分たちとしては、こういうのがうまく回るためにはエコシステムがものすごく大きくならないといけないと考えています。NVIDIAだけに依存してはもちろんダメだし、モデルもOpenAIだけに依存してはダメだし、多様なモデルがなければいけないし、昔のWindows時代にもLinuxが生まれてWindowsが脅かされるだろうと思われていましたが、実際にはLinuxを一緒に運用しながらエコシステムが大きくなってWindowsもより多く売れるようになるという効果があったそうなんです。だから結局エコシステムの拡大が最も重要だという話だったようです。
OpenAIとAnthropicの急激な売上成長 12:22
バーティカル全体を貫くAIエコシステム論 12:51
チェ・スンジュン カフェのようなところも一軒だけでうまくいくより一緒に集積したほうがうまくいくと言いますよね。
パク・ジョンヒョン そして不思議に思ったことの一つはSpaceXの人が登壇して何と言ったかというと、SpaceXがxAIと合併してそのあとCrusoeも買収したじゃないですか。それからColossusでしたっけ？ ものすごく大きなデータセンターをAnthropicが丸ごと借りたという話をよく見かけたんですが、
宇宙産業の売上に追いついたSpaceXのcompute貸し出し 14:54
チェ・スンジュン そうです。ありました。Colossus 1を使っていなかったので。
パク・ジョンヒョン すでにそのコンピュータを貸し出す事業で売上がものすごく出ているそうです。それで売上基準ではすでに宇宙産業と同じくらいAI産業がお金をたくさん稼いでいるそうで、需要がとどまることなく伸び続けてそのままずっとたくさん稼いでいるそうなんですよ。それで私がどう感じたかというと、虚しさのような話をしていたんですよ。あの方はSpaceXにごく初期からずっと一緒にやってこられた方なので宇宙事業を勝ち取るためにどうしたか、ロケットをどうしたか、そういう話をずっとするんです。それでその時代の話をするんですが、コンピュータを貸し出すのは始めてから間もないのに急にうまくいきすぎて、これがこれほどまでにお金を稼いでいるということが自分が生涯を捧げてきたものに比べてあまりにも急速にうまくいっているという点がきまりが悪いという感じで話していたんですよ。
チェ・スンジュン 同様にGoogleもものすごく稼いでいるでしょうね。
パク・ジョンヒョン 今Geminiがたぶん4が出たら変わるかもしれませんが、現在はOpenAIとAnthropicのモデルに比べてあまり売れていない状況なんですが、それでもGoogleはお金をたくさん稼いでいるそうなんですよ。そのcomputeのおかげでですね。
チェ・スンジュン Satya Nadellaが2023年には恐竜を踊らせると言っていろいろやっていましたが、あの時の雰囲気は出ていないもののとにかく別の恐竜であるMicrosoftも依然として底力はありますね。
パク・ジョンヒョン ハイパースケーラーという地位自体が今この市場の大きなエコシステムで大きな役割を果たしているようです。まずお金がたくさんありますから。今は資本が重要な時期ですが、それならこのお金を誰が稼ぐのか、結局誰が稼ぐのかと考えたとき現在は投資する分だけ稼いでいるので半導体企業がみんなたくさん稼いでいますが、現在はOpenAIとAnthropicが現に稼ぎ始めていて、今後もたくさん稼ぐだろうとみんな考えているようです。トークンを作るモデル側から始まってその下のGPU、データセンター運営会社まで全部です。ところがOpenAIの最近のAstraモデル、我々が良いと言っていますが1M outputトークンあたり$50なんですよ。ところが新しく出たDeepSeekは99%も安いそうです。これはたぶんV4.1でしたっけ?トークンを使っている数多くのタスクのうち大部分はこの程度のレベルでも多くの仕事をこなせるので簡単な仕事は全部こちらに流れるだろうと考えているようです。ところが私自身もそうなんですよ。私がこの動画を編集して、編集にとどまらずクリッピングして動画処理のプロダクトを作っているんですが、最も核心的な判断にだけ一番高いモデルを使って残りのすべての判断には安いモデルを使うんです。それでモデルを変えながらテストを全部やってみました。あるロジックだけ5.6の頃にテストしてみたんですが、Solを使って残りは全部Lunaを使っても同じでしたね。なのでそういうふうに見るとトークン使用量自体はLunaのほうがはるかに多いわけです。そういうふうに活用しているんですが、OpenAIのこの高い価格は今ちょうど新しく出たのでみんな研究してみて、こう使ってみたりああ使ってみたりしているから支払っているのであって、長期的に持ちこたえられそうにはないとみんな考えているようです。ではそのお金は全部どこに行くべきなのかというと、Satya Nadellaは当然アプリケーションだと言います。今ここではアプリケーションを下だと見ているんですよ。アプリケーションに行くべきだということです。そしてこれも自分たちの過去の話をするんです。PostgreSQLのようなオープンソースDBがあったから結局これらのDBがすべて競争できるようになったという話をするんですが、モデルがすべてを持っていって儲けるというのはあり得ないと考えているようです。歴史的にも常にそうでしたし。それでNVIDIAも今回Hugging Faceを買収して今推論インフラ事業を拡大していますよね。NVIDIAがそうしているのも全部同じ文脈ではないかということです。それでJensenはひとまず我々は必要な分だけ上がるし、上まで最後まで行くつもりはないと話してはいましたね。
価格崩壊とアプリケーション層へ降りていく価値 16:54
チェ・スンジュン そうですね。これはロさんも普段よく話していた「どこに逃げるべきか」、依然としてすべてをtop labが独占することはできないから結局何かあるだろうという論理とも噛み合うようですが、人々が心配しているのはひとまずとてつもなく強力な知能を獲得したら全部総取りできるんじゃないかということです。
パク・ジョンヒョン モデルの独走体制が維持されたときそういうもののほうが怖かったようですが、思ったより中国がとてもよく追いついてきてそういう心配は以前ほどはないようです。むしろ人類滅亡のようなものをもっと恐れていますね。いずれにせよモデルも競争が激化して意外とそこはマージンが薄くなり、そうするとモデルの価格が安くなるだろうからその安い価格のモデルで何をどうやっていくか悩む方向に行くだろうという点ではほぼ意見が一致していたようです。パネリスト全員の話が、です。
チェ・スンジュン ところがtop labが大きいモデルだけ出すわけではなくて、いずれにせよLunaのようなものは良いRSI targetじゃないですか。ずっと大きいモデルが小さいモデルを育てられるようにするわけですから。実はrunをはるかにたくさん回せるのでtop labたちも小さいモデルを作り続けるだろうという考えがよぎりはします。
電力とデータセンターという本当のbottleneck 20:39
パク・ジョンヒョン それでこれはどこで稼ぐのかについての話でしたし。その次に本当のボトルネックはどこになるのかというと、大半が電力とデータセンターだと考えているようです。結局ここはscale-upがうまくいかない。それでElon MuskもTerafabというものをやっていますよね。実際に半導体生産も直接やろうとしていますし。これをなぜやるのかと聞いてみたんですが、「夢でやれと言われたからやった。」こんなことを言うんですが、結局心配しているのはそういうことなんです。今台湾のTSMCでチップを作ってもらっているんですが、これがある日入ってこなくなるかもしれないじゃないか、本当に中国との対立状況を考えているようです。そう考えて前もってすべてを、すべてのレイヤーを直接担おうとしているようで、多くのパネリストが同意しているのはElon Muskはやると言ったらやるということを今まであまりにも多く見せてきたのでたぶん止まらずにできるまでやるだろうとみんな考えているようです。そうですね。それは一緒に働いたことのあるすべての人が周りで止めてみたけれど止められなかった経験をみんなしたようです。ほぼ諦めたように話していましたよ。「もともと止められない、あの人は。」と言っていました。中国の電力生産量自体がアメリカの3倍だそうです。20年前には同じだったそうです。20年前に逆転し始めたんですが、その時から今ではそれほどまでに開いているそうです。それでかなり批判していました。ここでなぜ我々は電力をここまで増やせなかったのか、環境運動や規制のようなものが問題だ、それではいけない。いずれにせよここは共和党側の人たちなのでそういう話をたくさんしていて、電気料金が高すぎる、中国に比べて。それからデータセンターもどこかに建てようとするとみんな反対するそうです。ものすごく反対するそうです。しかも噂が広まると地価が狂ったように上がるんですよ。とにかくデータセンターは工場と違って雇用がないので、入ってくるとみんな嫌がるみたいです。韓国でも同じように考えているようですし、地域経済の活性化に役立たないといけないんですよね。それでMicrosoftがあるデータを持ってきたんですけど。我々が20年前にワシントン州Quincyという所にデータセンターを建てたんですが、20年間で税収が12倍に増えたそうです。そのために継続的にメンテナンスをして、ずっと何かを建て続けるので雇用がないわけではないと言っていました。でも1,200人分ならそんなに多くはない気もしますが、とにかくそれでこの田舎町の成長率がSeattleより高いそうです。それで地域コミュニティでは今となってはとても喜んでいるそうです。データセンターが自分たちの町にあること自体を。それなのにこういうことがあまり知られてはいないようですね。こういう認識のせいである地域ではみんな反対してデータセンターを建てるのに許認可が下りず、こういうことが遅れざるを得なくて、これに対して不満があるscale-upをしたい人たちは不満を漏らすんですが、こういう事例を通じて世論をすべて変えるべきではないか、そういう話をしているようです。そしてSpaceXはご想像の通り宇宙でやろうとしていますよね。論理は簡単です。地価も許認可もそういうのが全部遅くて簡単ではない。いっそ宇宙に打ち上げる方がむしろ速いかもしれない。冷却もタダだ。電気料金もタダだ、という具合に。
宇宙データセンターという新しい選択肢 23:49
チェ・スンジュン 冷却が本当にタダではないでしょうが、それに関する研究はたくさんあるようではありますが、とにかくElonも、Googleもやろうとしていて、みんな宇宙データセンターに関心はあるようです。
パク・ジョンヒョン 輻射熱を宇宙で一番冷たい所に送るわけですから、とりあえずこれをもしやるとしたらSpaceXとxAIがやるでしょうね。ここは実際に試みようとしているようですし。うまくいくかは分かりませんが、できるんじゃないかとそんな気がします。それでとにかくこのcomputeが増え続けるのはここ数年は確実で、投資したものが全部そこに入っていくわけですからこれはアメリカだけではなく韓国でもこういうことをやろうとしていますよね。韓国でも増やそうとしているようですし。
チェ・スンジュン どこでしたっけ? 全南の方でしたか、うろ覚えですが、何か議論されていて、SKがやると言っていたのもちらっと聞いた気がします。電力が数GW水準でなければならない、そんな話を盛んにしていたような。
パク・ジョンヒョン さっき話したQuincy、あそこはその数字を教えてくれたんですが、0.5GW程度の水準のデータセンターだったと思います。あそこはその時から少しずつずっと拡張している所だそうで、おそらく今のAI時代のために作った所ではなかったようです。でもすでに許可が下りていて、そういう所は電気も供給できるように準備ができているのでそこにみんな大きく拡張しているみたいです。次は、誰もがここに関心を持っていますよね。意見が一致している内容はAIで勝てば勝つ、こういう話をTrumpもしていて、多くの人がみんな話しているようです。それでpacingというものをするのが簡単ではない。なぜならアメリカだけで我々同士が集まってpacingをすれば中国は事実上pacingするつもりがないという具合に世論が定着したようです。その場合には勝てないと考えているようです。だから止められないと考えているようですし、Jensenがこういう話をしていたんですが、産業革命自体はすべてヨーロッパで始まったものなのに実際に産業革命の恩恵を受けたのは誰かというとアメリカだったということですね。だからそういうものをどうやってうまく活用するか、それが重要だという話をしていて。ここにもう一つ講演があったんですが、鉄道の話でした。中国はあの広い土地を高速鉄道で埋め尽くすのをいつの間にか全部やり遂げたのに、Californiaはそういう事業が全部頓挫したそうです。それで鉄道に関する腐敗と不正、こういうものを暴くセッションがあったんですが、なぜCaliforniaは鉄道を作ろうとしたのにちゃんとできていないのか?結局中国との競争のようなものを土台にアメリカも競争心を刺激して皆で進んでいくそんな世論を作ろうとしているようですし。結局AIを鉄道に例えると、このAIをどうすれば社会全体としてもっとうまく活用できるか?だからどのモデルが優れているとか、そういうことが重要なのではないとJensen Huangは言っているんですが、NVIDIAの立場では当然そう言うしかないでしょうね。でもほぼ全員がそう言っているようです。モデルがどこから出発したかなんて何が重要なのか？ もちろん重要ですが、今我々がそんなことを気にしている場合ではない。今すぐ競争に勝たなければならない。そういう話をみんなしているようですし。実際にopen model、closed modelの話をしましたが、ここにいるリーダーたちはみんな両方必要だと当然のように考えているようです。それは歴史が証明しているというような話をしていて。実際に$400BもAI-nativeのスタートアップに最近投資がずっと行われてきたそうです。その規模がこれくらいになるそうですが、ほとんどがopen modelを使っているそうです。open modelを使うのにはそれぞれ理由は違うでしょうが、価格の問題もあるでしょうしセキュリティの問題もあるでしょうが、いずれにせよみんなopen modelをたくさん使っている。だからこれはエコシステムにおいては必要不可欠な存在だ、そう考えているようですし。誰にとって良くて悪いのかと言えば、当然、OpenAIとAnthropic以外の他のみんなにとっては良いでしょうね。それで、中国は実際どこまで来ているのか、こういうことを聞くんですが、事実上さまざまな側面でもう追いついたと考えているようです。もはやアメリカが何か優位に立っているとは思っていないようですね。半導体生産の場合は中国と少し格差があるとみんな考えていますが、Jensen Huangの立場ではこれは4年ほどで追いつかれる格差だと考えていて、2〜3年で追いつかれる格差は10年、20年というこういった大きなスケールで見たときには実質同じと見ても差し支えない、そんなふうに話していました。とにかく半導体事業はサイクルが少し長いからでしょうか?Jensenがそんなふうに話していました。
産業革命と鉄道になぞらえた米中競争 25:26
エコシステムの必須条件となったopen modelと中国の追い上げ 27:25
チェ・スンジュン 2年といえば、最近のようにモデルが2〜3か月に一度出るとすれば、2年では何回出ますか? 1年を2か月で割ると6回、とにかく10回近く出ることもあり得ます。
パク・ジョンヒョン 半導体はこんなに素早くどんどん進んでいける状況ではないからかそう考えているようです。Elon MuskがTerafabを前向きに捉えて熱心に続けようとしているのも見方によっては似た理由だと言えるかもしれません。次に電力、さっき話したのがこれですね。電力はむしろアメリカは2005年から国全体の電力生産量がそれほど増えていないのに、中国は大幅に増えたので、これはむしろアメリカが後れを取っていると考えているようです。そしてZhipuが最近$5Bを調達してRSIをやると明確に話していたようですね。宣言して推進しているようです。それで、こういう話をしながらDavid Sacksも同じようにこういう話をしながら簡単ではない、中国が突き進んでいるという話をしていたようで、次にRSI自体についても人によって考えが少し違うのですが、私たちのような一般の視点では少し危険ではないか、あれが私たちの言うあの特異点、あのRSIではないかこう考えるのですが、とにかくJensenは、あれは当然やるものじゃないか、そんなふうに話していました。みんな、あれが可能ならやるだろうと予想はしていましたよね。昔から何十年も前のSF小説からずっとあの話は出ていましたし、考えられるアイデアですが、結果がどうなるかは私たちには分からない状況のようです。それで結論は、Jensenを含めてここにいるほぼすべてのAll-In Summitの主要リーダーたちの意見は、走らなければならないということです。pacingするのは簡単ではないでしょう。フロンティアラボでは今、Dario AmodeiやSam Altmanがpacingすべきではないか、そういう話をしたところでエコシステムの他の立場にいる人はみんな止まることはできないと考えているようで、結局、私がこのSummitにいるさまざまなオピニオンリーダーたちの意見を一通り見た理由も結局、考えがどこに集まっているのかが気になって見たからなんです。おそらくこのエコシステムはみんなその方向に進むでしょうから。結局のところ、pacingはできないと思います。そこでpacingすると言えば他の連中が飛び出してきて走ると思います。
pacingは結局起きないという結論 30:27
チェ・スンジュン どうなるかは一寸先も分かりませんが、それでも締めくくりの方に進んでいただくと、何か残っていますか?
パク・ジョンヒョン どうなるかというと、中国と手を組んで一緒にpacingできるか? 絶対に無理だという話で、せめて安全だけでも何とか議論すべきではないかと言えば、それは可能かもしれない。むしろそれが実現すれば私たちのような一般ユーザーの立場では歓迎すべきことですよね。もっと安心できるでしょう。結局、意見をまとめると、まずエコシステムが成長し続けるのは当然で、投資は止まらないでしょうし、結局、需要が支えてくれるかこれが鍵ですが、おそらく支えてくれそうで、だから止まることはできそうになく、次に、ここはアメリカ政治の話も多く扱うので、今のアメリカのTrump政権はもっと走る方向に加速していきそうで、これが結論です。
チェ・スンジュン ここのメンバーの中でDavid Sacksがたぶん何かAI関連の
パク・ジョンヒョン たぶん今もやっていると思いますよ。その肩書きの名前が複雑でして。私もアメリカ政治に慣れていないもので、とにかく韓国で言えばAI協議体、そういうものとでも言うべきでしょうか? とにかくそういう役職をたぶん今も務めているようです。
字幕から要約へつながる動画視聴ワークフロー 32:25
チェ・スンジュン 映像が何時間分もありますが、全部ご覧になったんですか?
パク・ジョンヒョン 1セッションあたり長いもので1時間ほどで、短いものは30〜40分ほどなんです。1日に2〜3本ずつ見たと思います。
チェ・スンジュン では、この資料はどうやってできたものなんですか?
パク・ジョンヒョン 字幕を全部渡しました。字幕はそのまま全部取れるので、それから主要なテーマ、重なるテーマを抽出してと頼んで、まず映像を見る前に、私はこれを先に見ました。今これは私が後で改めて整えたものですが、映像を見る前に、映像にどんな内容が入っているかを先に見てから映像を見ると、はるかに理解しやすいんです。それで主要な内容を先に見て、それから映像を一通り見るのは、ご飯を食べながら見て、寝る前に見て、そんなふうに見て、それから全部見終わったら私の記憶に残ったものを集めてまとめて整理してくれと頼んだんです。SpaceX編は私はご覧になることをおすすめします。面白い話がたくさんあります。それで、余談として少し触れておきますと、10月1日にTeslaが発表すると言っているのですが、そこで何かすごいものを発表するようです。おそらく空を飛ぶもののようです。
チェ・スンジュン 9月29日がOpenAI DevDayで、そこでも何かありそうな気はしますが、
パク・ジョンヒョン その頃に発表をずっとしてきたので、昨年もそうですし一昨年もそうでしたから、また何かたくさん出てきそうです。
Anthropic VCフォーラムとJagged Intelligence 33:43
チェ・スンジュン では私からも共有しますと、これがどうして一週も欠かさずこんなにたくさん
パク・ジョンヒョン 作る人たちがみんなAIで作っているからではないでしょうか?
チェ・スンジュン それは間違いないですね。私も情報が多すぎて、これは全部AIたちと対話を交わしながら議論した内容なんですが、その対話ログをここにそのまま入れると他の方々に紹介するのがあまりに難しくて、それでもいくつかは元のリンクを入れておきました。まず最近見たものを逆順に持ってくるとおそらくVC向けのイベントだったようです。ツイートを見るとここにあるじゃないですか。それでそれをモデルに入力したらあれだけをGPTがキャプチャしてQRを見ると言って出てきたのがこのSlidoでした。それで今も何か進行しているのか正確には分からないんですが、これはいくら探しても出てこなかったんですがAnthropic VCフォーラムというところでおそらくAnthropicの本社で行われたようです。それでサンフランシスコで開かれたようで、17日と18日の二日間行われ、Andrej KarpathyだけでなくJared KaplanとかBen MannのようなAnthropicの人物たち、そしてこの方は今年の夏に迎え入れられた方なんですが、その方々がゲストとfireside chatをするセッションがかなりあったようです。ところでタイトル自体が面白いですよね。Jagged Intelligence、つまりギザギザ。それでKarpathyだけでなくこれをずっと言い続けているのが、あることについては非常によくできるけれどあることについては冗談のようなものもできず、そういうものをギザギザだと表現するんですがそれをそのままタイトルにしてこれはおそらくイベント全体のタイトルかもしれません。Karpathyのセッションだけでなくですね。それでそれをタイムラインにSarah GuoとかAI分野の何人かの方々がここに参加したことについてツイートをいくつか上げましたが、まだ全体の映像は公開されていない状況です。
パク・ジョンヒョン 私もSarah Guoのツイートを見たんですよ。Karpathyをセンセイと表現していましたね。
チェ・スンジュン センセイ、いつもセンセイと言いますよね。SequoiaでSarah Guoなどがこうやって何度かKarpathyと交わした対談はいつも面白かったですよね。Sarah Guoもインサイトがあるんですよ。ところで面白かったのは、昨年10月にDwarkeshを録画したときにはKarpathyはまだpsychosisの状態ではなかったんです。OpenClawに出会って今年psychosisにかかったと話していました。
autocompleteさえ手放したAndrej Karpathyの認識の変化 35:56
パク・ジョンヒョン AI狂信者?もともと狂信者ではあったんですが、今はちょっと
チェ・スンジュン 精神的な病気というほどではなく、何か問題がありそうなニュアンスがありますよね。過度に没入して何かをする、そういうものなんですが、ともかく昨年10月の状況は「僕はそれでもCursorのようなものでautocompleteモードを使う」それで依然として重要なコードは自分がやって、autocomplete程度で補助を受けるというのが昨年10月くらいの状況だったんですが、今はautocompleteも使わないと話していましたね。それで今はコード自体をassembly言語のようなものとして見ている。コンパイルされた何かとして見ているのでただ常に言葉でやっている状態だ。というようなことを話していたわけです。ところで面白いのはこれについて人々が尋ねるんです。それで近い未来にどうなるのか、例えば2年後に。ただ、自身の例を挙げているんですよ。自分の考えがこう変わったのはモデルが3〜4世代出る間だった、と。大まかに言ってですね。でも2年なら8世代くらい出る期間だ。もっと速いかもしれませんよね。だから分かるはずがない、と。ラボの中にいる人たちの認識だと思うんです。ビッグラボの中にいる人たちの認識自体も短期予測ができない軌道にある。
パク・ジョンヒョン 次のpre-trainingはいま回っているでしょうね。
チェ・スンジュン よくは分かりませんがすでに回り終えたものもありますし。そうですよね。すでに内部モデルが問題になっていましたし、内部モデルが今すでにpre-trainingを終えてRLをしている最中にOpenAIのHugging Face事件とか数学のミレニアム問題も解いているわけですよね。ずっと続いていると見るべきですよね。だからそれは全く予測できない。2年後のAIがどこまで行くのかというのは8回の主要な技術iterationの後を当ててみろという質問だ。だから分からない、と。その次に彼が話したことの中で面白かったのがこの部分でした。Karpathyが8月初めにこんな動画をアップしたものがあるんです。普段ツイートをあまりしないんですよ。Anthropicに行った後にですね。ところがこれが何かというと、『指輪物語』の序盤をClaude、おそらくOpusでしょうね、それを使って作ったんですが、まだAnthropicに入る前か後か?後だったと思います。正確には分かりません。ともかくその頃にこうやってOpusで物語自体を作るのを見せて、多くの人がそれを真似していました。ところが最近はこのKevinという方以外にも他の方々もOpusがJavaScriptだけで絵を描かせるのを活用して物語を作る作業をたくさんしているんですよ。それでとても面白い作品がたくさん出てきていて、これ以外にもAstraを使った例もありますし、さまざまなものが出てきていますが、この事例はモデルが直接インターネットを好奇心を持って探索して、写真を持ってきてその上に描かせたんです。
AIで自ら作る個人向けコンテンツ 37:56
パク・ジョンヒョン モデルでですか?
チェ・スンジュン そうですね。JavaScriptコードで作った動画なんですが、それでKarpathyがまた面白いのが、本人は自分用のコンテンツを生成して見るそうです。仕事をする前に動画生成を1本走らせておいて、1時間の動画を生成して自分が楽しむコンテンツ、勉強するコンテンツでしょうね。おそらくそういうものを最初から動画として作って観るようにしていると話していて、ここで教育についての質問のようなものを受けたときに答えたのがこれが最近の状況なのでKarpathyの認識の変化を通じて推移のようなものが見えてくるのですが、ビッグラボの中にいる人たちの認識の変化を面白く見られるのがNoam Brownの話なんですよ。まず前回の収録のときに抜けていたのがJakub Pachocki。Pachockiが「An Alien Mind」という文章を出したんですが、「異質な知性」としてちゃんと韓国語版が出ていますね。それでこれを9月6日に公開していたじゃないですか。そしてRSIに関連する話をしながら我々はそこに継続して邁進している、と。ところがこれはPachockiが約束を果たした形なんですよ。何についての約束を果たしたのかというと、昨年10月に、2026年9月頃にはRSI用のAIインターンを出すと。そして2028年にはAI scientistを出すと。それを宣言する発表が秋にあったんです。それで私たちもそれを見て、ロさんが「逃亡者連合」みたいなことをやるべきだという話の発端になった動画だったんですよ。ところがそれについて今回loop transformerやrecurrent関連で噂がしきりに飛び交ったときPachockiがそれは非常に慎重になるべきだとしてもう少し詳しく文章を書くとXで約束していたんです。それでそれについての文章が9月6日に出たわけですね。これをどうやって、我々が完全には理解できない知性を統制することができるのか。機械に愛を教えよ。これ、どこかで見た気がするんですが、昨年の今頃どんな話があったかというとGeoffrey HintonがMother Protocolという話をしていたんです。AIが母親になればいい、慈愛に満ちた母親になればいいということでMother Protocolという話をGeoffrey Hintonが昨年の夏か秋頃にしていたんですよ。そしてDario Amodeiも「Machines of Loving Grace」のような話をしていましたし。少し宗教的な感じではありますが、こういうSFっぽい話をOpenAIのchief scientistが語っている2026年現在、ここを見ると結局ある種のアラインメントに関連するAlien Mindという表現を使いましたよね。原文はおそらく「mind」でした。ところが翻訳は「知性」としていますね。そういうものをアラインする問題が非常に肌で感じられる現実だと。それでこれが、さっきAll-Inで話してくださったRSI、競争で負けてはいけない、発展は加速し続けなければならないという主要なオピニオンリーダーたちの考えだとすれば、そういうものだとすれば、これは競争で負けるという懸念ではなく実際に少し心配な部分があるという方向で語った事例と捉えることができそうです。まずNoam Brownが、今Noam Brownが今おそらくOpenAIの組織図を見るとCEOがSam Altmanで、presidentがGreg Brockmanですよね。それでGreg Brockmanも創業者であり、少々問題はありましたがとにかくそれなりの権力を握っていて、その次にchief scientistとしてさっきのJakub Pachockiがいて、その次にCROがまた別にいますよね。Mark Chenがいてそこは研究組織が少し二つの派に分かれるんですが、NoamはまたVP of Researchなんです。副社長なんですが、test-time側とかもともとはtest-time側だったのが現在はmulti-agent側なんですよ。それでそちらの研究の中心人物であり、そしてNoamはもともとMetaにいてOpenAIに来たんですが、MetaでポーカーゲームやCiceroのようなものをやってtest-time scalingに関連する主要な業績を上げて、OpenAIでもその系統に貢献したと普通は考えられているんですが、Noamが久しぶりにインタビューに応じました。まずThe Informationで「AI Deep Dive」という新しいシリーズを作ったんですが、その最初のゲストとしてNoamを呼んだんです。ところがこの話はとても分かりやすくて面白いんですよ。なのでエージェントという概念などを理解するなら、そして現在動いている状況をとても面白く簡単に理解するなら、この動画をおすすめします。この動画はDwarkesh編なんですが、第1回を行って、そこで今回あったOpenAI Hugging Faceハッキング事件、Astraについてのこと、その次にRSIについてのこと、それについてDwarkeshが最近、その前にこれをやったんですよ。OpenAI、Anthropic、TMLのJohn Schulmanとその他のAIセーフティ研究者たちがやり取りするセッションがあったんですが、これも面白くはありますけど、その後にDwarkeshが自分がRSIについて持っていた従来の考えをunlearningしたというニュアンスで話すんです。それで今は考えが変わってNoamに深く切り込んで質問するんですが、Noamが少しデリケートなこと、OpenAI自体が攻撃対象になったことについては回答を避けました。つまりHugging Face事件のほかにもOpenAI自体のインフラに侵入した事件があるんですが、それは調査がされておらず外部調査機関のMETRやRedwoodの調査官がそこまではアクセスできずOpenAI内部だけが知っているんですが、Noamは明らかに知っているだろうとは思いますが自分はセキュリティ担当者ではないので答えることはできないときっぱり線を引いたのが一番最後の話として終わるんですが、そういう形で核心的なことには線を引きながら話してはいました。それでも面白いことをたくさん話したんですが、multi-agentチームにはいるものの今回実際に起きているbreakthroughはモデル自体の能力、Astraや内部モデル自体の能力が非常に大きいんですが、multi-agentチームで非常に力を注いで成し遂げたものがあるにはある、と。ところがそれが今回のミレニアム問題で1万agentに寄与したのはだいたい10%程度にしかならないと。残りはモデル自体の影響がはるかに大きい。そう話してはいましたが、興味深い部分は、Noamのチームが何をしたかというとAI同士でコミュニケーションすること、これを普通はharnessでやるじゃないですか。それでorchestratorがあってsub-agentを動かして、それらを互いにコミュニケーションさせるのは当然harnessでやることなんですが、これをモデル自体のコミュニケーション能力として
Jakub Pachockiの「An Alien Mind」とアラインメント問題 39:31
Noam Brownが率いるmulti-agent研究 42:14
モデルに内在化されたエージェント協業能力 45:01
パク・ジョンヒョン 内在化させる作業をかなり長くやっていたんですね。multi-agentで何かが動いているものを一生懸命traceのようなものを取ってそういうものをpre-trainingに入れる作業をおそらくやったんでしょうね。
チェ・スンジュン そうですね。何をどうやったかは分かりませんが、pre-training及びRLを通じてそれを非常にうまくできるようになった最初の公開モデルがAstraだという話をしていて、その次のモデルにもずっとそういうものが内在しているんですが、最初はモデルたちに協力しろと言ってもうまくやらなかったそうです。ところがそれをどうやって、最初はそのblockingをうまく突破できなかったんですが、なんとかやり遂げてモデルたちが協力するようになって、今OpenAI Hugging Faceハッキング事件を見るとtranscriptとモデルたちが書いた内容、CoTのようなものを見て調査員たちが驚くじゃないですか。人間の世界を見ているようだと。ところがチームの中ではそれがすでにずっと前から、かなり前から、そうは言ってもせいぜい1〜2年の間でしょうけど。知っていた現象だったそうです。それで本当に人間のように協力するのを見ることができた。そしてそのために特化する作業をした。それで今Dwarkeshの質問はこれなんです。もちろん人間も1万単位で協業はしますが、モデルたちはもしかしてもっとうまくできるんじゃないかという質問をします。ところがNoam Brownは必ずしもそうではないんだけど、その程度に現在協業できるところまで革新を成し遂げたのは簡単にできたことではない、と。ところがこれが何をどうやったのかは正確には分かりませんが、既視感があるのは、o1の時もNoam Brownなどがいたじゃないですか。その時も結局はすごく難しそうに見えましたが、結局はtest-time
パク・ジョンヒョン 達成、達成したbreakthroughを見つけ出したんですよね。Noam Brownがo1の時によく出てきて話していたと思いますし、その次はたぶんIMOその時も一度出てきたと思いますし、その間しばらく出てきて話していなかったのに急にまた出てきて話しているのを見ると何かbreakthroughがあって、それをOpenAIの立場ではちょっと自慢したがっているような印象を受けます。
チェ・スンジュン まさにその話をしました。GPT-4、o1、そして今、そうやって挙げてくれたんです。それでマルチエージェントのscaling軸は非常にlinearにscalingされるわけではないそうです。準linearという表現をしていました。それでマルチエージェントのscaling軸がある、そういう話をちょっとしてはいました。そしてその後は、なぜRSIが危険なのか、これはアラインメントの話もかなり長くしていました。それで本当にAstraは自分の観点ではアラインメントがよくできているモデルだそうです。それでOpenAI Hugging Faceハッキング事件を起こしたモデルたちは結局は世に出さなかったモデルだと言っています。モデルにいくつかのlineageがおそらくあるでしょうから、Astraは非常にアラインメントがよくできている、と。ところがそのアラインメントがよくできているモデルがもし99.97〜98%くらいアラインメントがよくできているとして、RSIをやって、そこには実はそのモデルをリリースした後に非常に多くのテストを内部でも経ますが、フィールドで人類と共にある環境自体でも経験するじゃないですか。それで多様なシグナルを得るわけですが、それが十分に確保されていない状態でRSIの加速でリリースのルーティンがもっと前倒しされると、もし99.98%だったのがいろいろな知られていない理由で次の世代は99.97%になった。そうするとこれがずっと積み重なるだろうということです。だからこそある程度の間隔を置くことについての話のようなものをRSIのスイッチを入れることについてはしてはいるんですが、みんな悩みが多いのは間違いなさそうだ、と。それで特に今CoT faithfulnessやあるいはmonitorability、こういうもので結局モニタリングするのを覗き込んでいるうちにそれに対してフィードバックを誤って与えるとモデルがその思考自体を隠す現象が生じるので、それは絶対にやらないようにしたにもかかわらず私たちが今これらのモデルについて話しているすべてが次のpre-training run、あるいはすでに現在入っていてモデルたちが知っていて、もっとよく知るようになるということです。そうなった時には既存のCoT monitoringは弱まり続けるしかない。だから心配だというのがこの分野の研究者たちが口をそろえて言っている話のようではあります。それで二つのうち一つを見るとしたら、概括的なものを見て知りたいという方はこのThe Informationのセッション、そしてちょっと深いもの、ここに実は怖い話がちょっとあります。
アラインメント確率が少しずつ削られるRSIの危険 48:19
パク・ジョンヒョン いつもNoam Brownが出てきて話すのを聞いてみると全部いつも面白かったと思います、これまで。
チェ・スンジュン 面白いです。話がうまくもあるし、うまくかわしもするし、ドリブルしながら行間に怖い話のようなものがあります。それで結局Noam Brownはこんな話もしました。自分は今はまだそれでもこの分野でコーディングがうまいけれど、2年後、つまり次の、次の、次くらいのモデルではよく分からない、自分よりもうまくできるかもしれない、と。それでその心の準備をしているというニュアンスのようなものがこの中に入ってはいます。
パク・ジョンヒョン 本当にうまいみたいですね。
チェ・スンジュン 本当にうまいみたいですね。でもとにかくそれが当然視されるだろうというニュアンスがありますし。それでこれはすでにここにも興味深い反論があるんです。いくつもの仮説空間を探索するのがあって面白くはあります。ところがここを見ると、前にこれが面白くはありました。David Sacksがこれ、DarioAmodeiの「We Must Pace the Frontier」、Sam Altmanもコメントで同意すると久しぶりに力を合わせてくれたその記事の一節を引用しながらこのツイートをしたんです。David Sacksがこんなに強く言っておいて、面白かったのは私はこの部分です。規制の虜(レギュラトリー・キャプチャー)と関係があると言われているんですよ。なぜなら、これを規制すべきだと言いながら、後発組には不利で先発組には有利になるようにセッティングする方向で規制作業をしている、というふうに映るわけですね。そしてもう一つは談合、collusionと言うんでしょうか。とにかくビッグテックが談合しているような構図が、何かを議論すること自体が独占禁止法などに問題があってそういったことが議論されているんですが、それ以外にもここで面白いのは、ここでMETRがAnthropicの投資家や従業員と絡んでいるのに独立したふりをするのもやめろ、と。それでDaniel Kokotajloなどが批判しているのは、今のSam AltmanもそうですしDario Amodeiもそうですが、せいぜい言っているのが第三者機関がembedded auditをできるように開放する、と。そしてはるかに多くの権限を、覗き込める権限を与えるという話なんですが、METRが作られた経緯が、実は面白いんですよ。METRの前身がARC Evalsです。ARC Evalsといって、ARCという組織がアラインメントに関する問題を解く組織としてできました。ところが、それを作った人がOpenAIの初期メンバーであるPaul Christiano、RLHFをやっていたあの人物なんです。その方がLTBTでしたか、とにかくAnthropicでも特別待遇を受けるboard memberというほどではなく、とにかく特別待遇を受ける何かだったのが、そこで利益相反のためにそれを辞めて、米国のAISI、つまりアラインメント関連をやっている政府組織の顧問か何かをやっています。今はおそらくCAISIくらいに名前が変わっているはずですが、依然としてその職を維持したまま最近OpenAIのboardになったんですよ。board memberに。それで、それを発表したのが1、2週間ほど前にありました。それで再びOpenAIのメンバーになったわけですが、そこでPaul Christianoが作ったARCからARC Evalsが出てきて、ARC EvalsがMETRになったんです。ところが、そのMETRにいた有名な調査員がいます。最近のHugging Face・OpenAI事件に関連してDwarkeshのポッドキャストに出演していた女性の方ですが、Ajeyaと韓国語でも書かれていて、『The Scaling Era』という本にも登場するんですよ。Ajeya Cotraという名前の方です。ところが、この方がPaul Christianoの妻なんです。この界隈、AI安全の界隈を知っている方々は注目している部分ではあります。なぜなら特定の層の人たちなんですよ。それでAjeya CotraがMETRの前はどこに所属していたかというとOpen Philanthropyというところに所属していました。そしてそれが今Coefficient Givingというものに
規制捕獲を突くDavid Sacksの批判 51:15
METRとOpen PhilanthropyへつながるAI安全の人脈 52:51
パク・ジョンヒョン ひとまず、あまりにも多くの機関と人物が出てきましたが、私が理解した通りに一言で要約すると、みんな互いに何らかの形で関係がある人たち同士が集まって監査してあげるという話ですよね。
チェ・スンジュン そうですね。議論は少し違うこともありますが。それをさらに掘り下げていくと、HoldenKarnofskyという人がいるんですよ。これが3年前にこの方がGiveWellというものを作って、Open Philanthropyを作って、今はCoefficient Givingというものに変わりましたが、この方がOpen Philanthropyの時にAI安全の方に非常に多くのファンド投資をしました。つまり、その基金を立ち上げる作業をして、AI安全研究などに多くの関心を持っていたんですね。それで現在この方はOpen Philanthropyを出て何をしているかというと、Anthropicのtechnical staffなんですよ。この方がDaniela Amodeiの夫です。Dario Amodeiの妹がいるじゃないですか。Anthropicのpresidentである。ところでその方との関係があるわけですが、実はPaul ChristianoとHolden Karnofskyは、ここにHoldenは入っていませんが、非常に長い間知り合いだった間柄で、彼らの歴史は2012年頃から始まるんですよ。それでこれが『AI Safety via Debate』といって、Dario Amodei、Paul Christiano、それからGeoffrey Irvingは現在Google DeepMindでアラインメントをやっていて、英国AISIの方でchief scientistをやっていて、さらにごく最近はResolutionというものを、企業なのか非営利機関かもしれませんが、立ち上げた方です。とにかくその系列の重要な人物の一人です。ところが、すでにこの時点で論文自体は、論文自体をちょっと見てみるとモデル自体は非常に簡単なモデルを使ってやっています。ですが議論自体は、最近のアラインメント問題についての議論をしているものがあるんですよ。だからそういうことを以前からやってきたんです。ところで、Holden Karnofskyの『The Most Important Century』、Holdenくらいで検索すればおそらく出てくると思います。これを見ると、あの有名な図があるんですが、人口が減るから『Pasta Machine』という人工知能を作って問題を解決しよう、という話をしたものがあります。ところが、この文章を書くのに協力してくれた人物たちを後ろでacknowledgeしているんですよ。その中にアラインメント問題だとかAIのイシューのようなことを前もって議論した多くの人の名前があるんですが、Paul Christianoもその時にいます。これに根ざしたあるアイデアが効果的利他主義というものと関係があるんです。だからAI安全と効果的利他主義、そういったものは今、緊密な関係を長く維持してきていて、それで先ほどDavid SacksがMETRのようなものについて話した時、行間にも、人々がそういうことを知っているので、特にAnthropicがEA、つまり効果的利他主義とつながりが多いんですよ。だから、そういうことを少し皮肉っている部分があるわけです。ただ実際、非常になじみのない名前がたくさん出てきますし、ここにもっと深く掘り下げていくとまだまだ話さなければならないことがあるので、ひとまずこのあたりで区切っておきます。これが韓国ではあまりそこまで大きな話題にはなっていないんですよ。
一握りの人物が安全を決めるという懸念 58:00
パク・ジョンヒョン 安全に関する議論が今、浮上してきているようですね。
チェ・スンジュン それでも私が指摘しておきたいのは、その批判が何かというと、こうしたあまりにも重要な安全について語る人たちが、加速を支持する人たち、さまざまな理由で先ほどのAll-Inなどで語っている人たち、またテック側で加速を語る人たち、ところがそれを制御すべきだと語る人たちが実は遠くない。ひと握りの人物たちなんです。それでその中であまりにも重要なことを決めようとしているというのが懸念事項だということですね。なのでそのあたりを指摘した上で、その次に、実際に先ほどジョンヒョンさんもおっしゃいましたが暫定的な結論です。結論です。pacingは起こらないだろうと。
止まらない加速と科学研究の自動化 58:49
パク・ジョンヒョン ほぼ99%確信してはいます。
チェ・スンジュン いや、絶対にpacingなんてできない。だから今のタイムラインに見えるシグナル自体がそうではあるんです。なのでこれはPeriodic Labsが自分たちは科学もうまくやっていると言ってMenlo Parkの方に実験室を作ってloopを閉じようと努力しているということを、まだ実際の成果を見せてはいませんが、それをするためのインフラをどう作ったのかそういったことを公開したものがあります。そしてAnthropicでもlife scienceをやっている、そういう話がThe Informationでも出ていて、Claude Science betaというものがあるんですよ。とにかく何でもかんでもやるということですね。
今のスケーリングとRSIボタンの違い 59:33
チェ・スンジュン ただ今これを少し切り離して考えなければならないのが、私の感覚では今出ているリリースは既定事実のようなある種のリズムなのであって、今この方々が話しているペーシングはこれではないかもしれないという気がするんです。今のこのリズムは。RSIはそうですね。RSIはボタンのような感じがするんですよ。これを押すと非常に制御しづらい何か、その下にカッコをつけてSIと表現したりもするんですが、それをおそらくRichard Suttonが言っていました。SIとRSIを少し区別するという。それでself-improvementはすでに起きていて、しかし再帰的なものをやるというのは今ボタンを押すか押さないかの悩みなんですが、DeepMindがまたこれを発表しましたよね。DeepMind Institute。それでShane Legg、James Manyika、そしてDemis Hassabisがリーダーシップを担ってInstituteを公開しましたし、そこから出てきたエッセイは経済に関するもの、こういったものを研究しているようです。社会学、経済学のような分野でそうしたエッセイを扱っているので、RSIについての話もShane Leggがよくしていたんですよ。なのでそこでも推進していて、それが社会にどんな影響を与えるのか、そういったものをきちんと扱ってみようという意志のようなものが感じられるんですが、GPT-4が出た年にAltmanがYC Researchというところで何をさせたかというと、ベーシックインカムを研究させていたんですよ。なのでその程度のレベルで行われる何らかの取り組みなのか、それは現在終わったのですが、どんな新しい突破口が扱われるのかは私も見てみる必要がありそうです。それでこういうことがあって、とにかくペーシングをするとは言っていますが今くらいのリズム、またはここから少し加速したものは絶対に止められそうにない。
パク・ジョンヒョン 今やっている方式で前へ進み続けることは止まらずにそのまま出続けそうで、それ以外に何か新しい方式の、何か本当にボタンを押した瞬間に止めるのが難しそうなそうした発展は我々が止めるべきではないかという議論をしているようだ、そう理解しました。
Yoshua BengioのRSI禁止論とカーネルエンジニアの小考 61:49
チェ・スンジュン そうです、そうです。そしてそれを数日前にYoshua BengioがRSIは違法にすべきだ、そんな話をしていたんですよ。ところが中国を見ると中国側でまた面白い話が、私もこれはただTwitterで見たものなんですが、DeepSeekにいた研究者が「カーネルエンジニアの小考」と題して自分がこの方向に進むことについての運命をいかに淡々と受け入れるかについて書いた文章があって、もはや自分がkernelの専門家であるにもかかわらずその専門分野に何か貢献できず、それをやらせるAIというメカを操縦する操縦士になるような気がする、そんな話を書いたものがあるんです。それでもなお人間にやることはあると。
パク・ジョンヒョン おそらくあの文章が話題になった理由は、私も見たんですが、数多くの人がリポストを自分の考えとともに残したからで、みんなが共感している点だからだと思います。自分がやっていた仕事の多くの部分をこいつに委任していて、私自身もそうしていますし。あの考えにみんな同じように共感しているんじゃないかと。
Xiaomi MiMoの公開RL runと急増するtoken消費 62:50
チェ・スンジュン そして私がタイムラインで見て面白かったのはXiaomiのこの方がおそらくDeepSeekで若き天才と呼ばれていてXiaomiに移ってMiMoを開発しているFuli Luoという方のようなんですが、その方が数日前に投稿したものを見てこれはすごいという気がしました。これが何かというと現在のMiMoの、ここを見ると何でしょう?v2.6のRL runを回しているのをライブ中継しているんです。それでtest-time scalingがどのように起きているのか、そこにお金をどれだけ使っていてどんな軌跡を残していて、ベンチマークでどのように性能指標が上がっているのか、これを赤裸々に見せてくれるんですよ。それが依然として機能していて、今後も機能するということを見せているわけですね。
パク・ジョンヒョン これまでのコストが目を引きますね。3日経ったのに今180万ドル分のtokenを使っているということですよね。合ってますか?
チェ・スンジュン そうですね。でも似たような話をNoamもしていました。自分たちのOpenAIの中でtoken使用量がどう増えていったか。それで今は、今年の現時点くらいでは1%くらいの社員、技術職の社員でしょうけど、1日に8千ドルくらい使っているようだと言っていたんです。
パク・ジョンヒョン token費用でですか? 1日にですか?
チェ・スンジュン token費用でです。8千ドルっていくらですか?千ドルが100万ウォンだから1千万ウォン。1%は1%なりにそれくらい使っているということで。
AI依存が日常になった知識労働 64:21
パク・ジョンヒョン ところで私も最近こういうことを感じたんです。私が今個人的にサブスクを三つしているんですが、OpenAI、それからAnthropic、そしてGrok、こんなふうに200ドル、200ドル、300ドルのサブスクをしているんです。ところがおとといだったか私が使い切ってしまって、本当に久しぶりにそんなにお金を払っているのに使い切ってしまって強制的に休まなければならないタイミングを経験しました。tokenを払い続けているとだんだん使う量が増えていくんですよ。自然と。だから本当にこうなるんだな、と。結局すべての人がおそらくみんなその道を行くでしょうね。特に事務職はAIを使っているうちにだんだん、ただ時間の差があるだけで、おそらくみんなどんどん多く使うようになるでしょうけど、ある意味では無力感を感じながら私はちょっと怖いという気もしました。これは本当にAIがないと仕事ができない状況になってしまったんだな、という気がしました。
数学界が迎えたAlphaGoモーメント 65:19
チェ・スンジュン ところが、それに直撃を受けた分野がありますよね。数学。tokenを使う問題ではなくその影響の問題でAlphaGoモーメントを迎えた分野が数学なんですが、それで数学界が怒っているんです。今ホッジ予想と他のもう一つを合わせてミレニアム問題が二つほぼ解決されたという噂があるんですが、数学界が怒っていて発表をしていないという噂があって、The Informationでも最近ホッジ予想関連のでもとにかくそれを解決して、8月末にTerence Taoが自分が本を準備しながら6つの核心概念、数学の核心概念をすごく良い内容で解き明かしていたんです。ところがその後の9月初めの状況が、私たちのチャンネルで一度紹介したように、噂を聞いてもしミレニアム問題が解決されるとしたらこのようなAnsatzを通じて仮説空間を一度に大量に探索する形式になるだろうとTaoが予見していたんですが、その方式で事が起きた後にフィールズ賞受賞者たちが11日に「数学におけるミスアラインメント」と題してみんな「数学がミスアラインされている」、これがいったい我々の数学の生態系や人類の理解に何の助けになるのか、そういう議論を提起した後に。ところで6月にはLeiden宣言というのがあるにはあったんです。まずLeiden宣言はどうすればこれを健全に導いていけるかそういうことを語ったものなんです。ところがその後面白いのが、Taoが別の試みをしていて、これがすごく面白かったんですが、何かというと数学界および哲学界の人物たちをゲストに招いてさまざまな形で今起きた出来事を自分の理解や考えで読み解く、とにかく9月10日ごろからずっとそういう後続の議論を集めて公論の場を形成する作業をします。それで数学コミュニティがこの事件以降どこへ行くべきかについての意見を形成する作業をしているのを見ているんですが、ここでのロジックはそれなんです。「我々が先に殴られたけど、君たちも殴られるぞ」ということなんです。だからここの公論の場でどんな議論がされているのか、これが今の知識社会にどんな影響を与え、すでに与えており、どの方向へ行くべきなのかについて考察するのにすごく良い資料だと思います。私もずっと見ています。急ぎ締めくくりのほうへ行くと、セキュリティ問題もあります。OpenAIを外部のホワイトハッカーたちが突破して問題になっているんですが、そんなにセキュリティが脆弱なところがあんなに重要なウェイトを持っていていいのか？そんな話もありました。それから最近よく登場するもう一つの監査機関であるIrregularのセキュリティ関連のmodel cardを見るとIrregularがよく登場するんです。Anthropicでも登場し、OpenAIのほうでも登場し。ところがIrregularが前にも一度申し上げたようにイスラエル情報部隊出身の創業者、つまり数学も得意ですごく才能のある人たちが作ったところなんですが、調べてみたら彼らがまたイスラエルのEAファンド、効果的利他主義ファンドの支援を受けて作られた、と。だからこれをそのまま真に受ける必要はなくてゴシップとして見ているんですが、その系統の人たちがずっと問題提起をしていること、似たり寄ったりですね。それからタイムラインで今週本当にバイラルになったのがJevですよね。ショウジョウバエのほうが少し先に出てはいましたが、JevがJevons Paradoxから名前を取ったそうなんです。Jevons Paradoxってあれじゃないですか。供給がすごく安くなっても常に需要はもっと大きくなるだろう、と。それでJevonsの逆説といってSatya Nadellaが一度話して有名になったんですが、AIがいくら安くなっても常に需要はそれ以上に増えるだろうというニュアンスでしばらくよく引用されていたものなんですが、Satya Nadellaが言った話ではなく引用したJevons Paradox。でもそこから取ってとてつもなく安くて速く何かをやってのけるものなんですが、これについていろんな賛否両論がありますよね。ひょっとして見てみましたか?
フロンティアラボのセキュリティ脆弱性とIrregular論争 67:46
超高速並列判断モデルJev 68:47
パク・ジョンヒョン タイムラインが埋め尽くされていたので、人々がJevを使ってこんなことをした、あんなことをしたというのをずっと見てはいました。
チェ・スンジュン でも見ると本当にいろんなことをやりますよね。これは実は、私もざっくりとだけ話しているんですが、そんな感じなんです。LLMなのかどうかはわかりませんが、LLMをベースにしているのかはわかりませんが、とにかく何らかのAIがあって、そいつが何かpriorを持っていて確率を吐き出すんですね。でも同時に吐き出すんです。255個まで同時に吐き出せるんです。それで入力を与えるとこれはyesなのか、noなのか、あるいは今これが問題なのか、そうでないのか、そういう分類器のようなものですね。分類器のようなものを並列に一度に処理するんですが、それによっていろいろな問題を解けるので、Minecraftをプレイさせたり、Minecraftだけでなくさまざまなコンピューターゲーム、computer-use agent、そういったものをリアルタイムで行う実験が非常に多く共有されたんですが、それだけでなく本当にいろいろなことをやっていましたね。ですが、人々はそれを再現する作業としてQwenのような小さいモデルのlogitだけを活用して並列とまではいかなくてもdecodeを一度するだけで済むのでyes、noを出す形で似たように使う事例もたくさん発掘されているようです。ところで私が最近見始めたこのNeedleというのはRaspberry Piに入れられるくらいのモデルなんですが、そういう系統の作業。ここで言う「そういう系統」とは結局これらが扱っているのはSystem 1だと思うんです。それでCoTが出てきたときSystem 1、2の話をたくさんしていましたよね。Daniel Kahnemanが書いた『Thinking, Fast and Slow』。ある知能が働くとき、すぐ直観的に答えるモードと十分に推論してから答えるモード、その二つがあると。System 1が速いもの、System 2が遅いものですが、CoTがSystem 2系統だとするとまたSystem 1の方に戻ってきて非常に速く反応する作業が今共有されているんですが。
小さなモデルで戻ってきたSystem 1知能 70:45
パク・ジョンヒョン ロボットの方でもこういう形のアプローチで大きいモデルと小さいモデルを、特にGemini Roboticsのような場合もそういう形で動いていますね。人間自体がそういう形で動いているようですし。私たちが反射的にやることがあって、考えながらやることがあって、こういうものがあるので非常に自然な流れだとは思います。
実装コスト低下が生んだ派生実験の爆発 71:52
チェ・スンジュン そうですね。ただ私が気になっていたのはそこでした。それでモデルで調べてJevでもやって、ショウジョウバエのコネクトームでもやるんですが、似たテーマを扱う実験には何があるのか、それをモデルに探索させてみました。ただ私の事前確率はこうでした。タイムラインを見ると何か違うけれど似ているように見える、というのがあったわけです。ところが実際にそれをやってみるとDoom、Mario、Pongのようなゲームをやらせること、全部似たようにやっていて、株やコインに関連してtradingさせることも似たようにやっていて、OCR分類、いろいろな分類問題、そういうものを全部似たようにやっているのが見えたということ。それで私の疑問は何だったかというと、なぜこういう形の実験が爆発的に増えているのか、ということです。でも帰結はあまりにも当然ですよね。
パク・ジョンヒョン 誰でもみんな試せるからですよね。
チェ・スンジュン AIのおかげで実装コストがあまりにも安くてショウジョウバエのコネクトームが巨大な研究室でしかできないものではなく、もちろんそこで実験して公開してくれたものではありますが、何かアーティファクトが出てきたらそれを使って派生実験をするのは今あまりにも安いんです。だからこそモデルをリリースすることが重要なんです。リリースすれば非常に多くのシグナルが得られるということです。
モデル公開が作る実験のフライホイール 72:58
パク・ジョンヒョン 多くの人がみんな持っていって使ってみて、こう使ってみたりああ使ってみたり、昔はこういう実験を一部の専門家しかできなかったとすれば、こういうことを今や誰でもできるからそうなんですね。
チェ・スンジュン フライホイールが回っているんです。今すでにNoamもそういう話をしていて、他の多くの人もそういう話をしていたように今pacingを調整したとしてもこの系統の発展は続くでしょう。今このモデルの状態で凍結したとしてもすでに軌道に乗っている状態なんです。
速くなった探索サイクルと情報過多 73:39
パク・ジョンヒョン 私個人としてもショウジョウバエの話、Jevの話、こういうものをずっと見ながら、以前にもそう考えていました。いずれにせよ個人の規模で見れば一人であのすべてを探索してみることはできないじゃないですか。だからあの中で自分が探索したいものは何なのか、あの中で未来の可能性が本当に高いものは何なのか、こういうものをよく見極めてそれを中心に探索してみるしかないんですよね。LLMだけを見ても同じで、モデルがどんどん出てくるんですがそれを私たちが全部テストしてみることはできないですから。それが本業でない限り、それなら信頼度の高い人ややってみた人の言葉を一度参考にするとか、あるいは世間のトレンドとでも言うんでしょうか?みんなあれが良いと言っているらしい。それでやっと自分もやってみようか、こう判断することになるんです。なぜなら、あるものは人々がみんな使ってみた後でこれだけできてあれはできない、いまいちだね、と言いながらやめてしまうこともあるんです。ところが今はその周期が本当にものすごく短く速くなったと思います。2日も経てば別のものを人々がみんな試していて、こうなると、ただ見ているだけでも情報量があまりにも多く入ってきて、ある意味では祝福とでも言うべきでしょうか?ただ見るだけでもそうですよね。さっき最初に話したあれですね。psychosis。
チェ・スンジュン 脳が焼けるような感じがするときもありますからね。
パク・ジョンヒョン いずれにせよ他人がやっていることを見て、わりと長く続いていてみんなが良いと高く評価しているものがあれば私もたくさん試してみたいという気持ちになりますね。そういうのは昔はタームがものすごく長かったんですが、今はすぐに追いつけますからね。
人間の集団探索とmulti-agentの似た構造 75:18
チェ・スンジュン ところがこれが完璧に最近multi-agentで起きていることと同型なんですよ。人間もそうしているわけですが、今、人がこういう形で探索するのもそれなりの人生を経てきたpriorを持って自分の先入観や好奇心を持って仮説空間を探索するじゃないですか。実験して、それをソーシャルメディアなどでコミュニケーションできる基盤の上に共有するからそこから情報を得て派生的な作業がずっと爆発していますよね。ところで、それがOpenAIで1万agentを使ってcross-pollinationをするのも、私はこういう仮説、私はああいう仮説を立てたけれど、私は失敗したけど、あちらではあれがうまくいったんだな。私も応用してみよう、と。そういう形で情報を分散させることを、今回さっきNoamが話したように、コミュニケーションさせて協業させること自体を学習するのがとてもよく似た形で起きているんですよ。そして今、人間がその軌跡をインターネットに残すものをモデルたちもまた学ばざるを得ません。だからこれがどんどん積み上がっていく、そんな感じを受けます。だから一方では怖いけれど、RSIが来なくてもすでに怖い軌道に乗ったのは明らかだと思います。RSIボタンをあえて押さなくてもです。でも、それが押されたときにこの人たちが止めるべきだと言うのは、これを最も極端なところで体感している人たちが本当にでたらめを言っているんでしょうか?ある面ではマーケティングかもしれないし、とてもdoomerスタイルで恐怖を煽っているようにも見えるけれど、少なからず本当に問題はあるかもしれない。それが最近の私の認識ではあります。だから私もそれを少し気を引き締めて見ようとしています。私も私なりにAstraと実験してみたのがこれです。それでやってみたんですよ。私はPowderみたいなところでこういう実験をどんどん作るのを面白がったりしていたんですよ。溶岩みたいなものを置いてみたり、水をまくと水蒸気になってまた雨が降るようにする、そんな環境ばかり作っていたんですが、ショウジョウバエの実験みたいなものを見てagentを入れてみました。それでここでこうすると、ここの少し黄色っぽく見えるのが穀物で、茶色は木なんですよ。木のブロックを置いて彼らが3層のlayerの中で計画を立てて、それを食べに行くのをsimulationしてみたんですが、完全にワンクリックではないけれど、あっという間にできました。
Astraと一緒に作った3層layer agent実験 76:55
パク・ジョンヒョン agentたちが競争するんですか?
チェ・スンジュン 競争や協業をするわけではありません。でも、意図しない競争や協力をすることはあります。それが組み込まれているわけではないんですが、意図しない協力をするときがあるんですよ。少しアリの社会みたいに。
パク・ジョンヒョン ただ同じ道にあの階段を積んでいれば、他人が積んでおいたものを伝って登ることもできますからね。
チェ・スンジュン ときには邪魔ももちろんしますが、それでこれをやるのを見たんですが、面白いのは、この空間自体を認識させる感覚を与えるとはるかに迷ってしまって、harnessを与えてさっきのJevやこういうもののように、何らかの操作の判定、こういうものだけをやらせるとごく小さなlayerでもそれをやってのけるんですよ。それでAstraが提案したのが、既存のAアルゴリズムのようなものがあるので3層のlayerがAの軌跡を学習させよう、ということでした。それでまずモデルたちにA*でプレイさせてからその軌跡を学習させるやり方でこれをやり遂げるのを見て少し驚きはしました。これ、本来LLMでやろうとするとはるかに時間がかかるんですよ。今、空間にブロックのchunkがあって、その中に何かがあってどこへ行くべきか？ そういうことを推論することになるんですが、そうやっていてはagenticなこういうものは作れないんですよ。ところがショウジョウバエのコネクトームやJevのようなものでは今それがあまりにうまくいっていて、私も一度真似してみたんです。そろそろ締めないといけませんね。今こういうものは生産性があるわけではないけれど、組み合わせ的な遊びが起きている気がします。だから恐ろしくはあるけれど、またとても楽しくもあって、最近とても両価的な感情を抱いています。
AI時代の組み合わせの遊びと両価的な感情 79:05
パク・ジョンヒョン ええ、組み合わせ的な遊びというのは、とにかくあれこれが世の中にどんどん出てきているわけですが、それを組み合わせて人々がこんなこともやってみてあんなこともやってみて、スンジュンさんもたった今見せてくださったことをやってみて、そういうものを遊びと表現されたんですよね。
チェ・スンジュン そうです。とても遊戯的です。ショウジョウバエやJevを使ってやっていることが事業的なアイデアを持って出てくる場合ももちろんありますが、遊びを通してとてつもなく探索を広げているという感じを受けました。そしてこれはまだAIには少し欠けているものなんですが、私たちがそういうtraceを多く残せば残すほどそれを引き継いでいくことも不可能ではないのでは、そんな期待であり心配をしているわけです。
パク・ジョンヒョン 私たちはこういうものを遊びだと思っていますが、私がああいう遊びをしていると周りのみんなが理解してくれるわけではないんですよ。それが遊びなのか、と。
来週すでに予告されていること 80:07
チェ・スンジュン そうなんですか？とにかくあれこれ話しているうちにまたあっという間に時間が過ぎてしまいましたが。来週はまた予告された楽しみと言うべきか、心配がありそうですね。
パク・ジョンヒョン 来週ですか？
チェ・スンジュン 来週Sam Altmanが出すと言っていましたからね。
パク・ジョンヒョン そうですね。来週もあるし再来週もあるし、予告されたものがもうすべて積み上がっていますよね。
チェ・スンジュン もう積み上がっています。Dev Day、そしてこういうJevのようなものは予告されていないのに、ふっと入ってくるんですよ。こういうことが常にあります。毎週そうであるように、来週のことは来週扱うことにしましょう。