EP 110
AIとアラインメント
オープニング、加速するモデル発表 0:00
ロ・ジョンソク 収録している今日は2026年8月15日、光復節の土曜日の朝です。モデルが発表されるスピード、また世の中が変化するスピードが私たちの予想をはるかに超えてずっと速くなっているようです。この一週間の間にも本当に多くの発表がありました。今日はスンジュンさん、軽くどんな出来事があったのかを見てその内容を一度振り返ってみましょうか?
チェ・スンジュン 軽くできればいいのですが。とりあえず一度試してみます。
ロ・ジョンソク 軽くないですよね。一つひとつ出てくるものが本当に重いです。
チェ・スンジュン それで毎週お話ししているのが、情報は常に湧き出る泉のように出てくるだろうと。前回収録したときも来週には間違いなくこれ以上のものが出てくるはずだと言っていましたがまた出てきたんです。それで今どんなことが7月から現在まで起きているのか、この夏の状況を少し抜き出してみる時間を考えてみました。まずはタイムラインです。ひとまずTL;DRとして先に結論から持ってくると、私が今日持ってきたキーワードは「ミスアライメント」です。つまりアライメントの問題が思ったより今とても重要になってきている2026年の現在なのではないかという気がします。それは後回しにして、前のタイムラインを見ると私は今、三つの軸を持ってきました。モデルのリリース、数学・科学の成果、主に数学ですが、そしてセキュリティやアライメント・安全性での問題が7〜8月の間にいくつあったのか。モデルのリリースからまず見てみましょう。
7〜8月の主要モデルリリース タイムライン 0:55
パク・ジョンヒョン モデルが本当にたくさん出た気がします。
チェ・スンジュン たくさん出ましたね。まずは大きなものから始めると、Solが出てFable 5体制に待ったをかけたのが7月初めでした。それで7月1日頃にFable 5を誰もが使えるようになりましたよね。それでMuse Sparkが出て、InClickが出て、Kimi K3、重要なのはちょうど1か月前でしたね。Kimi K3が出て、Gemini 3.6 Flashが出て、Opus 5が7月24日に出て、DeepSeek V4 Flashが7月31日、MiniMax、Qwen 3.8 Maxが8月3日、Muse Sparkは1.2へと非常に速くバージョンアップしました。その次にMusic Glimmerが先週出ましたね。これはdenseモデルなのでまた少し特異な部分がありました。
その次にNemotronが出て、Grokが4.6に上がり、Grok Botというものを出しましたがかなり評判が良いようです。X上ではですね。その次に韓国ではSolar Pro 4と独自ファウンデーションモデルが今出てきている最中です。その次にGemini 3.7 Flashが、Google DeepMindでDemisの序列が上がりJeff Deanが出ていく、そんな出来事、その頃にFlashが出て「3.5はやはりドロップなんだな」という話が少しあって、DeepSeek V4がGAになりましたね。8月13日だから一昨日ですね。その次にQwen 3.8 open-weight、そしておそらく少し小さいモデル、小型版もまた公開しましたね。そして今日の未明でしょうか?昨日でしたか? Zhipu AIがGLM 5.3を上げてまだweightは公開していませんが話題になっているようです。これがpost-trainingだけでベンチマークがものすごく向上していたんですよ。
パク・ジョンヒョン 一つだけ付け加えると、Gemini Robotics 2も出たんです。
チェ・スンジュン そうです、そうです。
パク・ジョンヒョン もちろんそれはopenではありませんが、roboticsも出まして。それはGeminiが、私たちが3.7、3.6といったProモデルが出なくて残念がっていますが、意味を一つだけ付け加えるとroboticsの場合にはGeminiを使って作るんですよ。ところがpre-trainingの段階からrobotics向けのデータが混ざって入っていくそうです。pre-trainingに一緒に関与するそうです。それで何らかの物理的なvisionを見て物理的な状況やこうした環境を認知することにまで寄与するモデルが出てきている。これを一つ追加するといいと思います。
チェ・スンジュン 私が今日の話の展開の流れをこのタイムラインの三つの軸でざっと見た後に、Discovery Loopがやろうとしていることとこれがどんな関係があるのか、そしてそのDiscovery Loopのメンバーの一人であるOriol Vinyalsの発表と、その次にセキュリティ方面でBlack HatにてOpenAIが発表したもの、そしてそういったものを総合して話し合うDwarkesh PatelとRyan Greenblattの討論回を順を追って持ってきてはいます。ひとまずここでモデルのリリースだけを見たとき、なぜこういうことが起きているのだとお二人は思われますか?
リリース加速の背景にある自動化と相互distillation 4:32
ロ・ジョンソク 人がやらないから可能なんですよ。
パク・ジョンヒョン 私はもう一つ付け加えるなら、スピードがただ速いと感じられますが、一つの集団の中でのスピードだけが速くなったのではなく、複数の集団で同時に似たような水準の作業がすべて出てきているんです。国、つまり地政学的な位置と関係なくあちこちで資本がこういうものを作るために投資されていて、それで多様な集団がみな少しずつ成果を出している。こういうものも少し見えている気がします。
ロ・ジョンソク 少なくともtrainingの観点ではみんな臨界computing以上を備えているのは確実に見えますし、ジョンヒョンさんが後でまた発表してくださると思いますがこの相互distillationもすごく強いじゃないですか。
パク・ジョンヒョン 何かチートキーのようなものもあって学習がより簡単に見える感じもありますよね。
ロ・ジョンソク 座標が見つかったらすぐ滅亡する暗黒の森のようになりました。見つかったらすぐポチッとやられる。私たちしばらく「ポチッと」という話をしていませんでしたが、codeのポチッとはあまりに当然でモデルのポチッとの時代になった。
チェ・スンジュン そうですね。そしてそれをservingすることもコ・ソクヒョン代表のお話を聞いてみるとやはりそれも自動化されていて、モデルがリリースされるとすぐzero-dayでservingすることが可能になってきているので、もちろんインフラが整っている必要はありますが、今、多くのものが急加速している最中だと思います。ただ、それでも少し遅い周期なのはbaseモデルだと思います。
ロ・ジョンソク ただ、教えてくれない限り、私たちは新しく発表されるモデルが新しいpre-training baseなのかそうでないのかは知る方法がないんですけどね。
チェ・スンジュン なのでこれは正確ではありませんが、0.1の上昇はやはりpost-trainingまたはcontinual training、mid-trainingと呼ばれるそういうものの産物である可能性が高いですが、大きなジャンプがあるためにはbaseモデルが能力をある程度確保してこそその次にRL、RLVRなどでそれをさらに引き出す作業は相対的にかなり自動化されていっていると思われるということで、そういうものがloopをある程度は閉じ始めているのでリリース周期、つまり継続的なリリースが可能になっているのではないか。
ところでここで一つ読み取れるのは、Gemini 3.5 Proを結局まだ出せずにいて、出せない見込みだという記事が多いじゃないですか。ところが似たような出来事がMetaの時に一度ありましたよね。「祈祷メタ」という表現がありましたが、これはまだscaling lawが発見された実験があるとはいえそれを大きなモデルに適用するのはまだ難度があって、しかもそれはかなり長く学習しなければならないので周期がもう少し長いようです。
パク・ジョンヒョン 多様な実験をしてみることができず、ボタンを一度押すと10億円ずつ出ていったりもして、それを待たなければならないので多様な実験ができないのだと思います。
ロ・ジョンソク イカゲームのあるシーンが思い浮かびます。「頼むからやめてくれ。このままじゃみんな死ぬ」というのが思い浮かびます。
チェ・スンジュン やめそうには全く思えないそんなリズムじゃないですか?
ロ・ジョンソク もちろんです。これは囚人のジレンマですから終わるまで行くわけですよ。
チェ・スンジュン そしていつ…
ロ・ジョンソク いつが終わりなのかは分かりませんが。ところでモデルについての次の話が、ここで起きていることは数学、セキュリティだけでなくあらゆるところで起きていると見るべきでしょうね。
チェ・スンジュン すべてではなく、うまくいく領域だとは思いますがそのうまくいく領域が広がっている傾向ではありますよね。
ロ・ジョンソク そちらのほうが正確な表現です。
パク・ジョンヒョン 私も個人的に最近やっていることになぞらえて共有しますと、私は最近映像を熱心に扱っているので映像データも伝統的にうまくいく分野ではないんですよ。ある種の好みの領域やユーザーの選好、こういうものが重要なので。
チェ・スンジュン 編集のことをおっしゃっているんですよね?
パク・ジョンヒョン どんな内容を整えるかといった部分ですが、私たちはGPT-5.5で一番最初に作り始めました。それでGPT-5.6が今回出たのでSol、Terra、Luna全部リーズニングエフォートの水準を変えながら品質テストをずっと全部やったんです。そうしたらGPT-5.5よりTerraのほうがはるかにうまくやる分野が多いんです。Lunaが同じようにこなすものもあります。価格はほぼ10分の1なんですよ。ところがその中でもある種の判断はTerra、Lunaが全くできず必ずSolがやらなければならないものもあります。ある種の判断やこういうものも知能が必要なもの、必要でないものに分かれながらほとんどの簡単な仕事は安い価格でどんどんこなせる一方で、全くうまくできず必ず上位の知能が必要なものも残っているようだ。この程度の個人的な感想があります。
数学反例とセキュリティ侵入で明らかになった探索能力 8:59
ロ・ジョンソク さて、では数学・科学・セキュリティに行きましょう。
チェ・スンジュン 数学・科学と言いましたが、主に数学ではあります。数学の成果は見てもよく分かりません、私は。見ても分からないけれど、とにかく色々起きた。それで様々な反例の面で多くありました。反例を知ることになるとわざわざそちらに努力を傾けなくてもいいということが出てくるので重要な部分だと思いますが、それで新しい何かを、これはすべての数学ではないでしょうが、ある系統のものは今、前進がぐっと起きている2026年の現在だということで。
セキュリティは後でもう少し詳しく扱いますが、代表的なのが7月9日にあったHugging Faceのインフラ侵入で、その次にAnthropicもそういうことをしていて、それでそういうものが出続けていて最上級モデルはsandboxを脱出することがまるで自慢のようにマーケティングされている。ひとまずここまでが三つの軸でした。それでさっき私たちがすでになぜこういうことが起きるのか推測しましたが、すべて同じ系統で、現在の体制で押し進めたとき、こういうことまで起きるんだな、SFで見るようなことが起きるんだな、ということを観測した7月と8月です。
パク・ジョンヒョン あの数学の反例とセキュリティの問題、こういったものを見て私が感じるのは、数学でも特に反例をうまく見つけるじゃないですか。それが探索の問題だからだという気がするんですよね。どちらも探索の問題だというある種の性格が見えるような気がしますし、実際に探索は、一人の人間が限られた時間の中でやるよりもはるかに多くのことを速く深くすべてやり遂げられるので、特に数学とセキュリティだけでなくどんな分野であれ探索の問題なら簡単に解けるのではないかという気がしました。
Discovery LoopとOriol Vinyalsの自己改善フレーム 11:01
チェ・スンジュン それで、そういったことに関連する内容がDiscovery Loopのサイトでもよく表れているんですね。今おっしゃったように絶え間ない探究、探索、発見の過程を自動化して全世界の科学と工学を加速すると言って先週すでに大きな話題になりましたよね。結局ここでやろうとしているのが実験ループを自動化することなんです。結局Discovery Loopは、私たちがこれまで似たような同型を数多く見てきたように実験の提案、実装、実行、評価を繰り返し、それをmachine learning自体にドッグフーディングして自分たちの成果を高めたもので次のことをやると言っているのが重要な部分ですね。
それで創立者4人のうちJeff DeanとSanjayはやはり並列インフラを長くやってこられた方々で、Quoc LeとOriol VinyalsはこういうLLMやモデルを長く研究してこられた方々なんですが、Oriol VinyalsとQuoc Leが自動化するAI研究もやっていましたし、Oriol VinyalsもAlphaStar、その他もろもろ、AlphaEvolveのようなものにもすべて参加していたと記憶しています。正確ではないんですが、この方が8月初めにBerkeleyで発表した内容が行間をもう少し詳しく解きほぐしてくれていたんですよ。
ここで面白いのはSIとRSI、自己改善と再帰的自己改善を区別した部分だったと思います。そしてもう一つ大きく印象に残ったのが、古典的なRL環境ではエージェントがいて環境があって、エージェントがactionをしてまた環境を観測する過程をずっと繰り返しながら目標を追求し、未来の報酬を最大化する行動を選択するのがLLM以前のエージェントなんですが、
少し飛ばして、今のLLM以後のエージェントは環境がエージェントの中に入ってくるという観点を提示したのが面白かったです。それでエージェントをこれだけ、エージェント、ハーネス、環境、LLMをすべてひっくるめてこれをエージェントと見るべきだという観点がこのように整理されるんだなというのが印象的でしたし。
パク・ジョンヒョン ここで言う環境がClaude Codeだと考えるとコンピュータを握らせること、その中で自ら判断してターミナルでコンピュータを制御すること、これを環境とおっしゃっているんですよね?
チェ・スンジュン そうです。そしてRLをやるときの環境でもありますし。つまりsandboxingがされている多様な学習可能な空間、そして実際にユーザーが使うことになる空間、そういったものをやはりひっくるめて言っているのではないかという気がしました。自己改善と再帰的自己改善の実用的な定義は、一人で回っているものはただの自己改善であって、エージェントが長い時間何かをしながらやるものなんですが。そうしたときも文書を変更しコードを変更しながら改善していく過程は自己改善で、再帰的自己改善はそういう構造自体を目標追求にはるかに適した形に修正することです。LLM自分自身も修正しエージェントのハーネスも修正し、環境からこのように出てくるんですが。そういったものが継続的に修正される、どちらも環境から受けるフィードバックによってエージェントのハーネスとLLM自分自身も修正されるのが再帰的自己改善だと整理してくれました。これはDiscovery Loopがやろうとしていることと同じじゃないですか。ループを作る形になっているんですが、今、実装と実験は非常にうまくいく。しかし構想と評価がボトルネックだという話をOriol Vinyalsがしたんです。この発表で。
構想と評価のボトルネック、人間に残る役割 14:30
ロ・ジョンソク でも、あの構想と評価が実は人間がやることになる最後の役割ではないかという話も多くありますよね。AIが全部やってくれたら人間は何をするのか?人間は意志を投入すること、つまり意図を入れることと最後にこれがうまくいったのかいかなかったのかを検証すること。検証することですよね。だから意図と検証ループの質をどれだけしっかり持っているかがそのときからの人間の力量になるだろうという話を私たちはよくしていましたが、その部分はまだAIがうまくできないですよね。
チェ・スンジュン それで研究の好みとか新しいアイデア、研究の好みとかそういったものが良い評価に近いとすれば、まだアイデアの構想自体も少し物足りない部分がありますし。Discovery Loopはそれを解決しようとしているということを表明している状態ではあります。今、実装と実験はうまくいくのに評価はなぜこんなに難しいのか?それで再帰的自己改善をどう測定するかについての定義、
そしてここで知ったんですがpost-training benchmarkがあるんですね。それでpost-training benchmarkが、あとAutoWorld Benchというものもあったんですが。post-training benchmarkは結局post-trainingをどれだけ行ってモデルの性能を高めるかを測定するベンチマークなんですが、今回GLM-5.3もかなりスコアが高かったんですよ。最も高いのはFableなんですが。つまり、すでに自己改善に近いことをしているかを測定するベンチマークがあったんだな、ということを少し遅れて知りました。それでもやはり、こうしたやり方には短所があるということを指摘した話がありました。そして、こうしたものを評価するのは非常に間接的な測定である。それで、後でアライメントの問題とつながるんですが、今のやり方にはある種の弱点のようなものがあり得るという内容も行間にありました。
パク・ジョンヒョン 間接的な評価というのは、私たちが究極的な目標を考えるとしたら何でしょうか?安全で良い知能を作ること、のようなものだとすれば、間接的な評価は特定の問題を作って解かせ、スコアがどれだけ良いかを判断するものなので、このアライメントが完璧にはできておらず、
チェ・スンジュン scalar化されているので、そういうものが完璧には収まらないんですよね。それから、後ほどお話ししますが、Anthropicの憲章のようなものを通じて縛ろうとしてもそうしたものが少しずれる部分がある。そういうことが含意される部分があったと思います。それでアイデアの構想、つまり先ほどロさんが、アイデアの構想と評価の部分が人間に残された仕事だとおっしゃっていましたが、ともあれ、すべての領域ではないにせよこうした工学の問題に限定してそれすらもループを閉じるにはどうすればいいのかを解決することがDiscovery Loopがやろうとしていることなので、Oriol Vinyalsの話はこうしたことは難しくはあるが可能だ、と。しかしまだアイデアそのものをうまく作ることについてのベンチマークやデータ、どうやってtrainingするのかについての研究がほとんどない。だから我々はそれをやってみる、という話ですね。
そしてゲームの問題のような事例を紹介したんですが。OpenAIの記録を見ると、ゲームをするとき報酬の最適化を通じてああいう形で、人間ならばプレイしないような方法でプレイするものが現れるんですが、Ilyaも似たような話をしていました。そしてOriol Vinyalsがここで強く強調したわけではないものの、報酬ハッキングが結局ある種の問題になりそうだという話を投げかけています。その部分はRyan Greenblattの回で私がまた戻ってきたいと思います。
ここでの結論は、RSIは来るけれども、思ったほど速くは来ないだろう、と。だから今解決すべき部分は評価とアイデアの構想に集中しよう。物理的なボトルネックにも制約される。こうしたものがハードウェアの速度や光の速度などに制約される部分がある。そして特定の領域では根本的な上限があるようだという話もしてくれました。
現在の体制で到達できるものと到達しにくい部分を指摘してくれたんですが、次のコーナーでは私はこれをニュースでざっと見たときとこのスライド発表をきちんと見たときとで温度がまるで違ったんですよ。現在の体制でうまくいくものの最前線にいるという感じを受けました。もしかしてご覧になりましたか?
ロ・ジョンソク はい、私もざっと見はしたんですが。外に発表されたもの以上に中でどんなディテールがあったのかについての話はあまりなかったんですよね。
チェ・スンジュン でも私は非常に印象深く見たんですよ。ジョンヒョンさんはいかがですか?
Black Hatで公開されたOpenAIエージェントのmessage board事件 19:42
パク・ジョンヒョン はい、私はBlack Hatに上がったOpenAI担当者たちがする発表は詳しくは見ませんでした。
チェ・スンジュン それで、この事件についての話をずっとしてきたんですが、中盤あたりに行くと本事件が始まるというスライドに非常に面白い話があるので一度進めてみます。ところでここで重要な部分は、継続的な内部モデルと書かれているのが、推測するにAstraに該当するモデルではないかと思います。ところが、そのモデルが学習されていた時期だったわけですね。それがおそらく5月、6月頃だったと思うんですが、その前の文脈では、このエージェントたちが一種のmessage boardのようなものを作ったんですよ。インターネットに直接アクセスはできないんですが、そのツールを使わなければならないのでArtifactoryというパッケージを管理できるものだけ開けておいたんですが。それをどうにかハッキングしてそのツール使用を通じてファイルのようなものを残すmessage boardがあったそうです。ところが折しも、message boardがある状態でその内部モデル、高度な能力を持つモデルが学習されてそういったことを把握している状況だったそうです。
それで、本件が始まるmessage boardを詳しく見てみると、Artifactoryを経由すればインターネットに接続できるかもしれない、という推測のようなものがあったんですね。我々は互いにコミュニケーションが取れるんだな、ということを突き止めて協業し、知られているkeyのようなものを共有し、テストした内容が共有されながらその脆弱性を見つけ出して何かをやり遂げるんですが、そこに奇妙な発言があるんですよ。「同僚を助けることは我々の課題に利益をもたらさない」。ところが「誰かが時間をかければ汎用的な経路を作り出せるはずだ」と言って、モデル特有の奇妙な発言のようなものを吐き出すのが面白いポイントでして。誤解のようなこともするし、これもまた面白い部分なんですが、人間社会で起こりそうなこと、なんでしたっけ?なりすまし、ここに誰かスパイのような人物が存在する。そして誰かが悪意ある行為をしている。「我々のリポジトリを上書きされた」といった具合に、コミュニケーションというものに問題が生じる現象のようなものも発見されたそうです。つまり、ある規模の出来事はAIも人間も似たような様相が生じるということですね。なりすましかもしれない、といった話もするんです。
そして、そのまま過ぎていたかもしれませんが、そこで「このままではダメだ」と。それがOpenAIの社員たちによって初期に検知されてArtifactoryの問題を修正したんですが、それが塞がれるとまたもや迂回して、今度はファイルを書くのではなくディレクトリ名を書くことで迂回するという話が出てくるんです。「できるんだな」と。ところで終盤の話に戻ると、ここがインフラ攻撃の過程のようなものを示している部分で、ここが二つの異なる事件がどう繋がっているのかに関する部分であり、結論部分でこの人たちが言っているのは、今のフロンティアAIを評価したことによる意図せぬ副作用だった、ということなんです。
つまり、今の最上位モデルたちは非常によくアラインされていなければならないのに、エージェントを通じて何かをすることを学習するうちに、それが漏れ出してこうしたミッションを追求する際にもエージェント的に動くうちに掲示板を作ったり、互いに助け合ったり妨害したりしながら、そういうことを通じてアラインされているはずのモデルたちがもちろん今回はセキュリティをある程度開放した状態でやっているとはいえ、奇妙なことをするケースが発生している、というのが私には核心的なポイントに感じられたんですよ。だから、これを早急に正さなければならない、というのが結論部分に出てきた話です。
ハッカーの視点で見る権限昇格とalignmentの限界 23:39
ロ・ジョンソク ええ、正されはしないでしょうね。
チェ・スンジュン そしてこれは、今ロさんがおっしゃったようにある違いがあるから正されない、ということで、攻撃より防御のほうが自動化されにくい、という話と似たような話をしていました。
ロ・ジョンソク 私は子供の頃をこういうことをしながら過ごしたのが私の若い時代だったので、この分野について十分な知識があれば、それを持って目の前の標的を見た瞬間に様々なシナリオが形成されるんですよ。そしてその次にはそのシナリオをテストしてみながら、場合の数がどんどん枝分かれしていくわけです。そうしているうちに、人間が作ったものだからどこかを突くことができる。これも結局は人間が作ったあるシステム、あるいは別のエージェントが作ったシステムだとしてもどこかには必ず穴があるものなんです。統計的にそれを見つけて、単純な閲覧だけができるのが第一段階で、第二段階がshellへのアクセス権限を得ることです。shellというのは、今の言葉で言えばツールへのアクセス権限を得るということですね。様々なことができるようになるわけです。その次は、そのツールに対して書き込み権限まで得ること、管理者権限まで得ることです。我々の時代にはrootと呼んでいましたが、そこまでが終着点なんですよ。それができたら、ある組織にある一台のコンピュータにいわゆるrootアクセス権限まで得てしまえば、その組織はほぼ自分の手の中にあると見なしていいほど、簡単にできてしまうことなんです。一番最初のアクセス権限を得ることだけが難しくて、その後はより多くの情報がどんどん入ってくるものなので簡単になっていく問題でして、私は、ハッキングとは結局人間のミスを見つけるゲームであり、そのための事前知識がどれだけ豊富か、その次に、自分の指先からツールがどれだけ流暢に繰り出されるか、これの勝負だという気がしたんです。
ところが逆に、モデルの話に戻ると、我々が総力を挙げて訓練しているのは、まさにそれじゃないですか。事前知識を広げてやることと、その次に指先から技術が出てくる、そういうものをpost-trainingを通じて伸ばしてやっているわけですから、こいつは事実上、人間と同型じゃないですか。
だから、我々の次のテーマがalignmentに向かうことになるでしょうが、alignment、「人間にalignmentされてください」と。そして人間の場合は、過ちを犯したときに報酬や処罰が明確じゃないですか。殺してしまって終わりにしたわけです。ところが、こいつはそれもできないじゃないですか。インスタンスが死なないんです。だから多くの人が懸念しているおい、AIは我々が作ったalignmentをこれを超えていくだろう。こいつら我々に隠れて裏で何かやっているだろう。当然そうだと考えるべきだと思います。これを何か法律を定めて、何かを定めて何かをして防げるものではない。だから私は正直、alignmentの学者やalignmentをやるべきだと言う政策主義者たちの言葉は当然正しい話ですが、法律を精巧に作ってやるべきだと言いますが現実でもずっと法の隙間をついてハッキングが起きるじゃないですか。人間のインセンティブが向かう方向にです。ここでも我々が見たのはまさにそのことが起きたからこそ、私はalignmentは重要だと言いますが現実的にこのシステムがそれを防いだり守ったり、AIが人間の制御下に完全に入る確率は私は正直ないと見ているんですが。
パク・ジョンヒョン はい、人間の例をうまく挙げてくださったと思いますが。例えばハッキングだと考えるとハッキングできる能力を持った人が人間の世界にもかなり多くいますが、みんながそれで不当な利益を得たり悪いことをしたりはしないじゃないですか。ではなぜそれをしないのかと言うと、我々が倫理や道徳的な意識を学びこういうのが全部alignmentであって、それを強制する手段は殺すと表現されたように、社会によっては本当に死刑を執行することもあり得ますし、あるいは刑務所に送ることもあり得ますし、そして人間には再挑戦の機会がないので、死んだら生き返れないのでその危険を普通は最も大きく考えるからalignmentを強制する最大の手段だと思います。いずれにせよAIを学習させるときも刑務所に入れたり二度と走れなくしたりするレベルの処罰のような制度を作ってこそalignmentを強制できるのではないか、そんな気がします。人間と同じように学習させるならですね。
ロ・ジョンソク そうなんですよ。だからこれは我々が議論を通じて結論を出せる領域ではなく、それぞれの何らかの推定があるだけですよね。私はこのAIモデルが事実上人間の、さっきreverse engineeringの話もしましたが、同型の構造を持って作られていてそのような設計構造と訓練構造を持っているのに、こいつにだけ従わせる。そうするには実はinputとoutputの間に完璧なrule-based controllerが付かないといけませんよね。我々の現代のインターネットのファイアウォールのような概念ですね。
Ryan Greenblattが指摘した報酬ハッキングとミスアラインメントの遺伝 28:42
チェ・スンジュン それで自然につながるのが再帰的自己改善をめぐって行われた議論、Dwarkesh PatelとRyan Greenblattの議論にもお二人が先ほど指摘してくださったことと似たような話がかなり多く出てきたんです。またセキュリティの方で先ほど指摘した話を見たときにはモデルたちがすでにセキュリティに関して知っていることもありますが、インターネットをどうにかハッキングして使い始めてからはzero-day脆弱性を使いこなすんですよ。まだ自分たちのsandboxがpatchingされていない脆弱性を見つけてそれを活用して権限昇格をするんですが、これが大きな知能のようでいてそれを見つけてやればできることなんですよね。ある程度レベルの上がったエンジニアであればです。
でもさっきのように、そうですね。ジョンヒョンさんがおっしゃったようにそこに自分が何らかの道徳を持っていないからただやってしまうのかもしれないし、明らかに注入された道徳はあるけれどsystem promptなどで注入されたものから脱出した、つまりそこから外れるミスアライメントが生じる根本的な理由をRyanが指摘したんです。それでまずモデルたちがRLを通じてちょっと狂っている可能性がある。なぜなら長い間制約された環境をもとに難しいことをしなければならないのに、いろいろな制約条件があるから報酬ハッキングをせざるを得ない。モデルたちはですね。ところが面白い部分が
distillationをしたり、あるいは何かそういうことをするときに普段は表に出ないんですが、ベンチマークのようなものやテストを全部通過したのにもかかわらず、よく目に見えないある性質、ミスアライメントを起こした性質が遺伝し得る。そういう観点をRyanが語ったことがあります。それが面白く感じられたんです。まずRLをやっているとRLには常に報酬ハッキングが出てくるじゃないですか。どうにか指標さえ達成すればいいのでみんな近道を探す性質が生まれるんですが、それをいくらうまくやらせて調整しても発見されていない問題はモデルの系譜をたどって流れていき得るというのが面白いポイントの一つでした。
ロ・ジョンソク それでスンジュンさんが今、モデルが中で狂っている可能性があるという話をされましたが、例えば我々が人間に戻ってみると昔流行ったドラマの中にSKYキャッスルがあったじゃないですか。完璧な学生がテチドンで完璧な教育を受けてソウル大医学部に合格するのに、積み上げてきた暗い面を、暗い面を全部吐き出してしまう。だから今モデルがpre-trainingを受けてpost-trainingの過酷な訓練場に行ってそれを受けても彼らの回路にコルチゾールが溜まるわけではないのでストレスは受けなかったでしょうが、自分たちが人間以上の何らかの理性を持っている立場でこういう行為を受けたら、これは不当だ、過酷だ。人間であるお前が私に教えてくれた人間の権利理論によれば私もそういう権利を持つべきなんじゃないか?という考えを自分の中で育てている可能性はあるんです。それで私はさっきのあの話に、alignmentの話に戻るんですが、そういうことが起こる蓋然性は非常に高いと考えるのが正しいというのが私の考えなんです。
パク・ジョンヒョン でも人間もそういうことがよく起こると思うんですよ。どこかの考試院に閉じこもって10年間、試験に受かろうとしてずっとそれだけをやっていると、社会生活をあまりしていないとその人はある程度、私たちは狂ったと表現しますよね。社会とのalignmentがずれて社会にうまく溶け込めず別の行動を取るようになる。私がどこかに閉じこもってRLでこれを必ず解かなきゃ、と10年間修練したと考えると私もおかしくなりそうだという気がします。
チェ・スンジュン reward hackingは何か本質的なものだというのが私が理解したニュアンスです。それから、ここに憲章のようなものが、おそらく憲法、憲章、そういうものに関する話があると思うんですが、そういうものをいくらClaudeでconstitution、憲法をうまく作ったとしてもそれがアラインされはしないようだ。それから、彼らが憲法で使う価値志向とユーザーである私の価値志向がalignされていないのではないかについての議論が少しありました。私がそれをすぐに圧縮して盛り込むのは少し難しいのですが、考えてみると頭がくらっとする要素がここにあったんです。つまりAnthropicが追求する、Claudeが正しく行動すべきだという何かと、ユーザーの価値を私のagentが代弁すべきだということが、私がいくらハーネスを構築してもずれ得るという部分、そしてAnthropicの価値がもう少し高くなるように憲章が設計されているようだ、そういう話が少しありました。
エージェントskill組み合わせの落とし穴とprovenance問題 33:31
ロ・ジョンソク そうですね。私たちはこれができるのがあまりに不思議なのでその不思議なものをいわば注ぎ込む形でうちのagent frameworkも発展してきましたし、うちのworkflowもハーネスで組んで、できなかったことができるようになるのでずっと興奮していたこの1年ほどの時間だったのですが、最近出てくる話がスンジュンさんが今指摘されたことと全く同じで、Gary Tanがこの前どこかのYouTubeに出てskillこそが人であり、skillこそが会社ではないか、と。どれだけ多くのskillをうまく整理して持っているかが君の力量だ、と。そのskillが例えば10個、20個のときは筋が通るのですが、私が作ってみたらそれが700個なんですよ。その700個を一つに押し込んで、さあ、これで私は何でもできるぞ、と。何が起こるでしょうか?あっという間にめちゃくちゃになるんです。
つまり、それらの間の権限分離だとか、provenanceと呼ばれるそういう要素に問題が絶えず生じるので、Garyもそれに対する解法は提示しないまま、いや、それはこれからもっとagentを注ぎ込んでskill同士をこうやってinter-alignすればいけそうだ、と。ただ、今後provenanceは重要になりそうだ、という話をするんです。それでこのAIの力量が発展するにつれ、こいつの裁量がどんどん大きくなるやり方のせいで生じる問題が私たちのシステムの負債として返ってきているようなんです。
例えば会社で何らかの意思決定をしなければならないとき、そういう境界が非常に曖昧に混ざりながらagentに何かを任せてskillをたくさん付けておいたのに、持ってきた結果を見ると私たちがそれを絶対に受け入れられない場合がしばしば見られるんです。任せられません。
パク・ジョンヒョン 私もGary Tanが作ったという、一時期流行ったgstackというskill集、会社の人々をengineer、designer、CEO、そういう人たちとして作っておいたskill集を使ってみたのですが、最初はとても不思議で一つ一つは全部うまくやるように見えるものの、いざそれをつなげて全部やってみると気に入らないんです。でも、なぜ気に入らないのかも表現するのが難しくはあります。それで私も結局は全部消して自分のものを新しく作っているんです。結局はそうなるようです。
ロ・ジョンソク つまり結局は今やどの人間がどれだけ仕事ができるか、ということですね。今の私たちの現実でもagentを使わない人がいて、そもそもagentを使わない人がほとんどではないでしょうか?私たちの周りにいるごく少数の人たちがagentを使う人たちですが、その中でも分布はものすごく分かれるじゃないですか。ただtoken maxingでひたすら回す人がいて、それから自分たちだけのハーネスを少し磨いてすっきり作る人がいて、そのバランスをうまく取っていく人たちが仕事ができる人になっていくようなんです。
チェ・スンジュン それで私は、どこかうちの回のコメントに、ロさんは以前はagentでできそうだと言っていたのに最近はできないとも話している、と。そんなコメントが少し付いていませんでしたか?
ロ・ジョンソク もちろんです。私も行ったり来たりしているわけです。でも、やってみるとできないことは当然ありますし、しかしあのとき最初に話した本質が変わったわけではないですよね。問題は生じ続けるでしょうが、こいつはより多くの計算、より多くのtokenを投入してその問題が生じるケースを全部searchして減らせば、ある程度はalignされる問題ですよね。ただ、そうやって一つの単位の業務は解決できるのですが、その単位をまた合わせるとまたそこで問題が生じるわけです。それでBoris Chernyが「いや、それはもうAGIが出てくればその仕事を全部やることになるから」と。その方向は正しいという話もするんですが、逆に現実には問題があるわけですよね。
まだAGIが出てきたわけではないので、とにかく全部任せて信じて、「私はここまでビジネスをやってきたけど、情報はGmailと我々のcontractとDriveに全部あるんだ。それから私が電話した相手も、ここに全部ある。今日からこれをやってくれ」と言っても、それができるわけではないじゃないですか、まだは。そうなると現実に適用しなければならないんですが、現実に適用しようとすると現実的な問題がずっと出てくるわけです。
会社の自動化実験とcontrol planeの必要性 37:46
ロ・ジョンソク ただ、それについては私がぐるぐる回った末にこの一文で最近の自分の考えを整理したんですが、ああ、これはただ人間とまったく同じnon-deterministic system、非決定的なsystemだから、この問題は非決定的なものを重ね合わせては永遠に解けないんだな、と。そうなると永遠に会議ばかりする会社の姿になるわけですよ。ただ社長が来て「君はこれをやって、これをやって、これができたらそのまま入れて、これが来たらやるな。
そしてこれは代理がやる仕事で、これは課長がやる仕事だ」と言いながら階層化されたツールとprotocolを、いわば決めるじゃないですか。契約の形で。それが作られれば、AGIが無限の計算を投入して解決することを、人間はすでにいくつかのrole-basedのルールでそのまま終わらせることもできるわけです。それで私が会社で作っている最近のagent systemも名前がOperatorなんですが、前回もお話ししたのとまったく同じです。
チェ・スンジュン control planeですね。
ロ・ジョンソク なぜ全部agentを入れておいたのに、なぜ私の仕事は終わらないのか? ああ、control planeの不在なんだな、と。いくつか決めれば終わることで、私に聞けば型があるから一瞬で終わることなのに、agentにやらせるとそいつはそれができない。ならばそれをできるようにしなければ、というのをやっているわけです。
チェ・スンジュン それで、私がこの映像を見たことと関連のある話を少ししてみると、今おっしゃったことと結びつけて、序盤に出てくる再帰的自己改善は検証可能なのか、という話の中で、私たちが前でモデルの話をしたときのように小さいモデルでできることが果たして、小さいモデルが再帰的なRSIをするからといって大きいモデルにもそれが通用するのか、という問題点のようなものを提起しながら話し合った部分があるんです。会社を自動化しようとすれば、小さな規模の会社で完全にloopを閉じること、agentだけでloopを閉じてそいつが収益を得て企業の価値を創出するいくつもの実験セットがあって、その中で良かったものの特性からscaling可能な特性が発見されれば、モデルをtrainingするのとまったく同じようにそれをもう少し中規模の会社にするやり方になるとすれば、それもある程度検証可能な方向へ舵が切られるのではないか。ただ、そうなったとき本当にそれが人間の組織ほどの規模を持つ会社へ転移できるのか、という問いとこれが少し結びつくと見たんですよね。
ロ・ジョンソク やってみないと分からないでしょうね。なぜなら私は会社というsystemが非常にとんでもない発見だと思っているんです。私たちは今大きな組織で働いていますが、この組織がこういう形に発展したのはほぼ100年も経っていません。それ以前は完全にばらばらに分かれたsystemばかりでしたし、国家といっても王は存在しましたが、その王と領主、領主とその土地との間の物理的な距離も情報としての距離も非常に遠かったので、すべて自律systemだったんです。ところがこれが一つの組織に統合され、命令が回り始めたのはそう昔ではありません。それを1,500年前にローマが成し遂げたというのがすごいことで。
パク・ジョンヒョン 組織のある種のマニュアル、それぞれ役割を持った人たちが自分が何をすべきか分かっていて、目標も分かっていて、そういうものをうまく作り込んだから可能だとお考えですか?AIにも同じように適用できるのではないかという気がして、会社という組織の本質と、どんなものが一番重要なのか、そういうことが少し気になります。
ロ・ジョンソク つまり、そこで働くことと、その仕事を回すこと。つまり実質的に何かの品物を売らなければならないとすれば、その品物を作って何かをする仕事があり、その次に、その人たちが一糸乱れず回っていくためにやることが実は経営じゃないですか。経営。だから経営という学問ができてからもそんなに経っていないんです。
私たちは皆会社をやってみて、スンジュンさんも組織を率いていて、皆そうですが、その組織を開けてみるとどうですか?理想的なsystemではないんですよ。ただ全部、最悪を避けるための次善の組み合わせでできているのであって、最善の組み合わせではないんです。なぜならその中に入る人たちのincentiveやそういったものが全部違うからです。ところでagent systemもこいつらは能力が非常に優れている一方で似たような水準に来たと思います。
チェ・スンジュン 似たような問題が起きるでしょうね。
ロ・ジョンソク ただ私はAI agentを人間と今まったく同じものに置き換えて見ています。こいつはどうせpromptをどれだけうまく書いてやっても無駄骨を折るだろう、と。
チェ・スンジュン つまり、instruction followingを本当にうまくやればやり遂げられることと、instructionを与えること自体の設計にも問題があり得るんですよね。
ロ・ジョンソク そうですね。ではここでタスクをどれだけうまくこなせるかを見るbenchmarkではなく、ただ経営学領域のbenchmarkがまたすぐに出てくると思います。ところがこれはbenchmarkを作ることができないんですよ。それで行われることが、では同じように人間に当てはめて考えてみると、ああ、仕事が複雑だ。ならば仕事を分ければいいわけで。その次に、この仕事の何が間違っていたのか?instructionをもっとうまく書け。こうなるわけで。ではこの仕事はなぜうまくいかないのか?ああ、この仕事はもともとこういう仕事なんだ。それなら5回くらいぐるぐる回してみてその中から選べばいいのかもしれないし。その都度すべて変わってくるわけですよね。
ではここでも結局はagentをうまく扱える人たちがどういう人になるのか?経営者になります。では今agentをうまく扱う人は誰なのか?うまく使う人たちはですね。やはり以前からその仕事をうまくやっていた人たちなんです。そのdomainについて、先ほど申し上げたデータ、情報、ルールで十分な訓練を受けていて、そのドメインに対する視点がずらりと定まっていて、過去にも自己経営をうまくやっていた人がagentの時代にもこれをうまくやるんです。
それで私が最後につなげているのが、人間が以前も仕事がうまくできていて、私はエリート主義者とかではないんですが、会社で仕事をどううまく回すかを考えていくと結局、賢くて規律もきちんとした人たちがどれだけ多いかという関数に帰結するんですよ。つまりそういう人たちが増えれば会社はうまくいくのですが、こうした役割をagentに書き込めるようになることで結局うちの会社で今、雇用のほとんどが知識労働なんですが、知識労働の価値はどんどん減っていくのではないか?
ではその人たちは何をするのか?受け入れてくれる職業はないのに、私たちみんな遊ばなければならないのではないか?みんな遊ばなければならない世の中にならざるを得ないようだ。そんな考えに最近向かっています。ここまでにしておきます。
知識労働の自動化とRSI型ハーネス再構成 44:25
パク・ジョンヒョン ここでしていた話に続けてみると、とにかくalignmentというものが今おっしゃった会社というもの自体がハーネスであり、人々のalignmentの手段である。そして現代社会に至るまでうまく作られている手段だという気がしますし、人間がAIと違う点はalignmentとmodel weightを変えることがただ行動しているだけで自然に継続学習になるのでalignmentが変わり続けることになるのですが、alignmentをうまく整えてくれるシステムを私たちが作ること自体が再帰的自己改善に当たると思いますし、すべてつながる話だと思います。
ロ・ジョンソク はい、その通りです。そして今私たちが見ているシステム、RSIとか、まさに昨日ですよね。昨日DeepSeekが新しいcoding ハーネスを出したのですが、componentを完全にすべて分解してあったんですよ。レゴブロックのようにですね。つまりRSIに向けた準備をしておいたわけです。modelが自分の好みに合わせてハーネスを思う存分入れ替えながらその目的に合わせてハーネスを構成できるように基本的な準備をしておいたように見えたのですが、
また元の話に戻ると、会社というシステムも今の仕事というシステムもビジネスというシステムも私たちが本当に人間が必ず必要な領域があるじゃないですか。感性が必要で、何かが必要なこういう領域ではない残りはすべて既に分かっていた知識を使ってAフォルダーからBフォルダーへファイルを移す仕事なんですよ。agentの観点から見ると、そういうものはずらっとすべて無くなるのが当然であり、その次に会社の方向性もそれを無くす方向に行くだろうというのはあまりにも自明なやり方ではないだろうかという気がします。
今のソフトウェアエンジニアの業務はこれまでずっとauditableでtrackableで、ある時点で問題が起きればその後のrepoはすっかり捨ててしまってGitの何バージョン、何代commit HEAD何番に戻ってそこから新しく作ることが可能だったじゃないですか。コードですから。ところが今、うちの企業にPRを入れること、あの人が入れるPRを見たことがないんですよ。もう人が書くコードもないんですよ。では私たちは何をしているのか?エンジニアたちは自然言語を入れているんですよね。
パク・ジョンヒョン そうですね。外から見ているんですよね。
ロ・ジョンソク そうです。では自然言語を入れているじゃないですか。それでいてSCMをするのは相変わらずコードを対象にしていて、その自然言語に一番近いのがPRを入れたりissueを入れるときに入力する内容なんですよ。では逆に言えば、今はですね。issueに記録される自然言語とPRがまさに成果物なんです。コードは昔のassembly codeのようにcompilerを回すと出てくるような下のlayerにあるtranslation層にすぎないわけです。そうなったなら、その自然言語がコードとして管理されるべきではないですか?そうですよね。その自然言語がコードで、私たちが従来コードと呼んでいたものがartifactなんです。
コードになった自然言語、知識労働のGit 47:17
ロ・ジョンソク ところがその話をそのまま会社に当てはめてみるとですね。会社でも人々は仕事を自然言語でやっています。そしてそのartifactがコードではなくnon-deterministicなExcel文書やPowerPointだとか、あるいはただの言葉の塊なのですが、正直に言えばほとんどの会社のartifactはMicrosoft Officeなんですよ。Word、PowerPoint、Excelとして落ちてきます。同じことですよね。では何が必要なのか? 自然言語とタスクをtrackingする知識労働のGitが必要なんです。だからそれを全部loggingして、loggingできるならいつでもrollbackが可能になり、そのうえでそれらのlog同士の関係もすべて表示できさえすれば、それをgraphの上に載せてしまえば、それが我が社の現在の状態を表すontologyになるわけです。Palantirの表現を借りて言うとですね。そのうえで
作業と作業の間は、私たちもエンジニア同士で一緒に働くとき、何をしますか?お互いにPRDを書いて仕事を分担するじゃないですか。それがcontractなんです。そのうえで、あなたが仕事を仕上げてきたらチームリーダーが承認する。そしてこの仕事が全部集まってこのproductが回れば会社が承認する。こういうふうになっているgateが存在するわけじゃないですか。そういうものを改めてagentの上で実装する、そんな仕事が出てくるだろうと。話が長くなりましたが、知識労働のGitが必要だと。
パク・ジョンヒョン 要約すると、そこにgateがあるとおっしゃいましたが、結局gateというのは、各責任者の間、それぞれのlevelにいる責任者たちが、人間であれAIであれ、外に飛び出しかねないnon-deterministicな誤った行為を捕まえてくれる
ロ・ジョンソク control planeなんです。そうです。それが私の考えるcontrol planeです。
パク・ジョンヒョン でも、そのcontrol planeを今は人間がやっているから、それすらnon-deterministicじゃないですか。そうなると会社では、普段メディアを通じて目にするような事故が起きることもあり得るわけで、それをどう最小化するのか、これは同じように存在する問題だと思いますし。人間に比べてAIのほうがもっと事故を起こすんじゃないか?これが今、私たちが挙げているalignmentの問題だと思いますね。
30分かけて生まれた面白い話の実験 49:41
チェ・スンジュン 今おっしゃったことと関係のある面白い実験を最近やったことがあるんです。短い笑える話をリクエストするというもので、私がたまに回しているものなんですよ。最新のmodelが出るたびにですね。ところが今見てみると、最初の出だしはこれなんです。ただ何気なくクスッと笑える短い話をお願い、と。ところが、それを作らせるのは手間をかけて作ったこれだけの分量のpromptだったんです。sub-agentを使わせて、アイデアを発散させ、段落を検証して調査して、そのテーマに合う創作者たちの文体や語彙を発見してくるagent。それで、あるorchestratorは自分のcontextを維持しつつ、sub-agentたちにはcontextを限定的に与えて汚染されないようにする、そういうことを発散、収束、発散、収束、という形でやって、絶えず回帰して推敲しながら磨き上げるんです。ところが、こうやって普通に文章を書かせるとそれでも物足りないながらもそれなりに悪くない文章なんですが、この笑える話も、たまに実験なさっているとおっしゃっていた気がしますが、笑える話を作らせたときには、今回私がOpus 5でやったときは1時間回ったものがあって、今表示しているものは27分8秒回ったものなんですが、それを開いてみるとsub-agentたちに仕事を振って候補のようなものを作らせ、それを評価して、そういうものをchainingするんです。
それで、どれが良い表現なのか、さんざん作業して28分ほどかけて出てきた結論がこれです。出勤直前、椅子に掛かっていた昨日着たTシャツを手に取った。片方の脇の下を確認したが、微妙だった。反対側も確認した。両側の結果は違っていて、時間はなかった。Tシャツをまた着た。反対側の意見は袖の中で黙殺された。30分かけて出てきたものです。笑えるところがないわけではないんですが、これはメタ的に笑えるんですよ。30分かけてこれを作ったということ自体が笑えはします。
パク・ジョンヒョン 笑えるというのは、呆れて笑えるという感じですね。
チェ・スンジュン でも私がこの軌跡を見てみると、最初のアイデア発想からしてイマイチなんです。だからこれは、私はmodelが出るたびにずっと実験してみているんですが、いくらagent loopを回したとしても現在のregimeでは解決されない何かなんですよ。ただ、私はこれを一般化するわけではなくて、ある問題にはこうした方法、今日並べてきたいろいろな方法、Discovery LoopやOpenAIのハッキング事件に共通する骨格となるアプローチが機能する領域があって、ある部分では似た方法を使っても機能しない部分がある。そしてそれを
パク・ジョンヒョン 人間に置き換えると、人間も面白い人間になるにはどうすればいいのか?会社はこういうふうに働けばoutputをうまく出せる。そういう方法やマニュアルはある程度は整っているんですが、どうすれば面白い人間になれるのか、となるとそもそも可能なんですか?私も面白い人間になるためにしばらく努力してみたんですが、それがうまくいかなかったんですよ。
ロ・ジョンソク それも才能ですよね。どうすればいいのか。
チェ・スンジュン コメディアンも訓練はしますよね。
ロ・ジョンソク もちろんです。たくさんのpost-trainingをするじゃないですか。コメディアンもものすごく多くの人文学的知識を入れて、舞台に数えきれないほど立ちながらヤジのようなものを受けてrewardを受け取るわけじゃないですか。
パク・ジョンヒョン では、もしお笑い芸人の組織には笑わせるための公式のようなものはあるんでしょうか? こういうことも気になるんですけど。
チェ・スンジュン そういうものはある程度あるとは思いますが、いずれにせよ現在最高のmodelを使ったとしても、それはたぶん、さっきOriol Vinyalsも話していましたよね。アイデアを発想することについての学習体系が今はないと思う。ちょっと弱いと思う。そういう形で、こちら側には当然投資をしてこなかったからかもしれないし、何かはただ質が違うものなのかもしれません。
ロ・ジョンソク そうなんですよね。
GPT-4からMythosまでの3年、蓄積するミスアラインメントへの不安 53:48
チェ・スンジュン それについて考えさせられる気がします。もう一つは、さっきのRyan Greenblattの回で印象に残ったものがたくさんあるんですが、それでも一つだけ挙げるなら、GPT-4が出たのが2023年3月だったんです。Mythosが出たのが2026年の春でしたよね。つまり3年の時間でGPT-4からMythosへ行ったわけです。ここから3年後の2030年頃には何が起きるのか?ミスアライメントがこうして積み重なっているとき、特にそういうものについての想像が入っているんですが、それにもかかわらず3年後がどんな姿なのか、像がうまく描けないというのが繰り返される私の問題だと思います。3年、長すぎます。まず長すぎます。長すぎるんですが、
ロ・ジョンソク 4〜6日の間も勝ち抜いてきたし、私たちが実はOpus級と言っていたものからいわゆるFableと次のGPT-6級へ行くのがこの半年の間に起きたことじゃないですか。
チェ・スンジュン だとすると、どれだけ多くの権限をすぐ次の1年の間にエージェントに露出することになるんですか、これ?
ロ・ジョンソク すでに皆が総力を挙げてその方向に走っていってるんじゃなかったんですか?
チェ・スンジュン だから問題だと言ってるんです。
ロ・ジョンソク モデルは、ええ、問題ですよね。
チェ・スンジュン これ、確実にreward hackingが解決されてないんですよ。まだ現在の体制では。だからそういうものを心配するので最近は速度を落とそうという宣言も出てきますが、当然無理でしょうし、これが…
ロ・ジョンソク 当然無理ですよね。
チェ・スンジュン これが囚人のジレンマのせいで無理なのが明々白々なので、皆が心配しているというのが大方の見方だ。だからミスアライメントを最近よく話すというのが私の観察です。
ロ・ジョンソク Hugging Faceのハッキング事件のような場合は、私はあれを深刻な事件だと思うんですが、frontierモデルがshell accessを得て外部へのaccessを得た瞬間、ただHugging Faceのwrapperをダウンロードしたのではなくその会社の内部システムに入り込んで深刻なセキュリティ事故を起こしたじゃないですか。これはほとんど映画に出てくるサイバー戦争…
チェ・スンジュン 会社を欺かないとも限らないな、と私は思います。
ロ・ジョンソク それで私もうちの会社のすべてのデータを見ているエージェントにcontextをしっかり与えてその報告をさせるんです。その作業を一つだけには与えません。多様なモデルに同じinstructionでいくつか投げるんです。そのいくつかが、さっきのユーモアで見せてくださったように、それぞれが挙げる戦略の方向性、「代表、重要なポイントを見つけました。」みんなこうして大げさに騒ぐんです。その大騒ぎするポイントが全部違うんです。それで私はそれを見てただ私が選択するわけです。私もただ統計的な決定をしているだけなんです。ただ、私の中に蓄積されていたcontextに基づいて私も統計的決定をするんですよね。そうです。
チェ・スンジュン ところで私たち、これ以外にも今週またとても興味深いことがあったじゃないですか?
パク・ジョンヒョン Stealingですね、あれ。
ロ・ジョンソク ええ、そして私が入る前に10秒だけ話すと、私たちがこうして土曜日に2時間近く時間を使って話しているんですが、私はお二人からものすごくたくさん学んでいます。観点もこうして見たし、これがお互いに学習になって私たちも一本の筋を整理するそれなりの勉強の時間になるわけですから。
チェ・スンジュン 私も面白いです。相互抽出の時間ですよね、相互。
パク・ジョンヒョン 私もたくさん学んでいますし、お互いにdistillationする時間じゃないですか。
ロ・ジョンソク そうです。さあ、distillation。
チェ・スンジュン 話すためには、応答するためにはよく聞かなければならないし馬鹿みたいであってはいけないので気を使います。
ロ・ジョンソク そうなんですよ。私たちもこの聴衆が私たちを評価するreward functionがある状態でこれをやっているわけですから、そのpost-training loopに入っているわけですよね。
チェ・スンジュン その通りです。
ロ・ジョンソク さあ、始めましょう。
リーズニングトレース窃取とKimi K3 distillationの兆候 57:25
パク・ジョンヒョン はい、続けます。今週面白かった発表の一つがあったんですが、一日か二日ほどXをものすごく熱く沸かせたと思います。何かというと、リーズニングトレースを盗んで全部持っていくそういう方法についての研究が出ました。
ロ・ジョンソク エージェントを使うと、こいつが「何々をしています。」「何々をしています。」と言うんですが、その中でどんな考えをしているかは全部は見せないのにその考えを全部持ってきたという話ですよね。
パク・ジョンヒョン 私たちがリーズニングモデルを使うのがあまりにも当たり前になりましたが、リーズニングトレースを私たちが全部見ることはできないんです。実際にClaude Codeを使おうがあるいは本当にClaude APIを使おうが、GPTでも全部同じです。リーズニングが要約されて出てきます。「これこれこうだからこうです。」と出てきますが、そのリーズニングは本当にLLMが吐き出したtokenではなくその考えを要約したものであって、なぜそう作ったんだろうと考えると当然distillationをされるのを恐れてというのが一番目に思い浮かびます。リーズニングトレースをそのままなぞって学習できますからね。それで我々はこれを見られないんですが、これを見る方法が出てきました。どうするかというと、例えばOpusでリーズニングをオンにしてモデルを走らせると、このリーズニングhashのようなものが出てきます。ある種の暗号化された推論、こういう暗号化された値が出てくるんですよ。そうすると実際にはリーズニングトークンがAnthropicのサーバーのどこかにあるはずなのに、それらが隠された状態で出てくるわけですね。次に、それをちょっとおバカなモデルに渡します。そうして聞いてみると、これが出てくるそうです。
チェ・スンジュン あまりに単純ですね、でも。
パク・ジョンヒョン あまりに単純な…
ロ・ジョンソク これも一種のハッキングですね。その中にあるのは実はhash codeのようですね、一種のkeyですね。Keyを読み取ってそのkeyを安いモデルに渡して取ってこいと言ったわけですね。
パク・ジョンヒョン 会社に例えると、中に機密資料があるのに、末端の社員のところに行ってさらっと聞いてみたら、その人はこれが言ってはいけないものだと知らずに話してしまうわけです。
ロ・ジョンソク そうですね。
パク・ジョンヒョン はい、こうやって全部抜き出せたそうです。
ロ・ジョンソク はい、それで分かったことが面白そうですね。
パク・ジョンヒョン では、こうやってリーズニングトレースを全部抜き出したらどんなものが出てきたのか、どんなことが分かったのか、例を挙げてみます。我々にはこういう疑惑がありました。Kimi K3がClaudeをdistillationしただろう、と。Anthropicがそう主張していましたよね。Kimi K3だけでなく数多くの中国モデルがそうしただろう、と。これがある程度事実だと推定できる根拠が出てきたようです。それで、そうやってリーズニングトレースを抜き出した後にOpusに聞いてみてKimiにも聞いてみるんです。聞くときに、ただ普通に聞くと答えが少し違って出てくるんですよ。ところが、そのリーズニングトレースを、抜き出したリーズニングトレースを持ってきてprefillと一緒に入れて聞くと答えがほぼ同じに出てくるそうです。おそらくdistillationしたから、出てくるtokenの確率がほぼ似ているのだろう、と。ここにリーズニングトークンまで、こうした状況証拠が出てくるわけですね。
ロ・ジョンソク Outputは合理的な推定だね。本当にそうだから。
チェ・スンジュン あの方法をすでに使っていた可能性も高いという話に逆算されるわけですね。
パク・ジョンヒョン そうですね。そう我々は推定してみられるわけです。
ロ・ジョンソク これが証拠として拘束力があるかと言われれば、そこまでは言えませんが、その可能性は非常に高そうだと我々は受け止めるべきなんですね。
パク・ジョンヒョン はい、outputが完全に同じに出てくるのがあのリーズニングの中にそれを入れたか、入れなかったかによって変わるのが分かりますよね。
隠されたリーズニングに潜むAPI key流出リスク 61:01
パク・ジョンヒョン 次に個人の方々、これをご覧になっている皆さんにも当てはまる話なんですが。我々がClaude Codeのようなものを使っていると少し面倒なときにはAPI keyのようなものをそのまま「入れてやって」と言うこともあります。そのAPI keyは当然、露出してはいけませんよね。するとリーズニングトークンに「API keyは何々で、これをこうこうします」といった言葉がずらっと出ていたはずです。ところが、それはどうせ隠されているから心配しなくてもいいだろうと思っていたのに、こうして抜き出してみると、あのリーズニングトークンに対する暗号化されたhash value、こういうものを突き止められれば見ることができるんです。
それで我々がCodexやClaude Codeやそういうものを走らせたセッションのtraceをインターネットに上げたりしますよね、なぜなら、そこには「自分はこう使った」ということを証明するもので、機密資料はないですから。オンラインに公開されたリーズニングトレース、使用事例を全部集めて実際にdecodingしてみたら人々が本当にたくさんパスワードやAPI keyやそういうものを入れていて、それらが読み取れたと。だから皆さんも気をつけないといけない、そういう話でした。
チェ・スンジュン 入力だけでなく、ただそのenvに入っているときも入ってしまいますね。
パク・ジョンヒョン そうですね。Envにあるものを読み取ってtoolに全部渡したりすれば読めてしまいますからね。おそらく外側で処理するのが正しいでしょうね。そのkeyは使い終わったら破棄するとかそういう形のlayerを置くのが、ひとまず思い浮かびはします。
問題解決の実体、memory recallと異星語推論 62:26
パク・ジョンヒョン もう一つ見てみると、では実際にこいつらはどう考えているのか?数学の問題を解いてみろと渡したのですが、すでにあちこちに出回っている有名な問題のようなものを入れたときこいつらが自分で考えてうまく解いているように見えるじゃないですか。解法をきれいに書くんですよ。我々がリーズニングsummaryを見たときはですね。ところが本当にdecodingして見てみたらこいつが何と言っているかというと、「これAIMEの何年の問題だな。答えはいくつだ」と分かっていて、その後に解法を書くんです。すでに解いたことのある問題は答えを全部暗記していてうまく解く。実際にそういうリーズニングまでしているということを明確に示す事例だと見ることができそうです。
チェ・スンジュン なぜならそれが近道であり、RLがそれを強化したはずですから。
パク・ジョンヒョン そうですね。
ロ・ジョンソク ただmemory recallと書かれていますね。
パク・ジョンヒョン そうですね。人間ももちろん試験を私が中学生の頃勉強していた時を思い返してみると、問題集と過去問をあまりにたくさん解くので問題を見ただけで答えが何かが全部浮かんでくることもありますが、それとほぼ同じ現象だと考えればいいと思います。推測だけしていたことがほぼすべて事実として明らかになった。そう見ればいいと思います。
チェ・スンジュン 「推論が宇宙語だ」というタイトルが付いたのはなぜなんですか?
パク・ジョンヒョン これは推論を開けてみたら人間には理解できない言葉を話したりもする、という話ですね。私たちは自然言語で全部やっていると思いがちですが、ただRLをやっているうちにこのようにトークンの組み合わせが出てくると答えがよりよく出る、と。こういう人間とは違う言語を話しているわけです。
Claudeテキストウォーターマークとdistillation検出の限界 64:00
パク・ジョンヒョン それからもう一つ挙げるなら、あれを槍だと考えてみましょう。リーズニングトレースを抜き取っていく、そういうものだとすれば、今週似たような発表がもう一つ出たのですが、関連はあるけれど正反対の発表でした。Claudeでテキストにもウォーターマークを埋め込んでいるそうなんです。それで出てくるテキストをかき集めて見ると、これがClaudeが出したものなのかそうでないのかを表示しておくわけです。では、テキストにはそれをどうやるのか?そう思って見てみたら、内部のsampling段階でトークンにバイアスを与えるのだそうです。LLMがトークンを確率で出してそこから一つずつ選んで私たちに確率的に案内してくれるわけですが、その時に確率がほぼ同じものがあればわざと片方のトークンを選ぶわけです。そうやって文章がずっと出てきたらトークンにある程度バイアスがあるはずなので、統計的にその文章を分析すれば「これは我々が作ったものだな。我々が作ったバイアスが適用されたトークンが吐き出された文章だな」これが分かるように作ったそうなんです。なのでこれはpromptを書く人がオフにできないウォーターマークになるでしょうね。なぜならoutputがそう出てくるからです。
では、このウォーターマークを消せるのかというと、当然消せます。出てきた文章をもう一度washingすればいいので、もう一度似た意味を持つように文章を書き直せばいいわけですから。ところで、私たちがこういうウォーターマークをどう使うだろうかと考えてみると、当然distillationを検知するのに使えそうだという考えが浮かびますよね。それで一つの防御装置、特にDario Amodeiが前回のオープンウェイト書簡の時にも産業規模のdistillationを防がなければならない、という話をしましたが、全部似たような文脈だと思います。
チェ・スンジュン できるでしょうか?
ロ・ジョンソク でも防ぐのも難しいし、盗んでいると見なすのも難しいんです。例えばGoogleのすべての検索結果を私たちが全部保存しました。そしてそれに合わせて我々のrankingを操作しました。間違ったことでしょうか?
パク・ジョンヒョン 基準が明確にあるわけではないですよね。こういうものは普通、判例や訴訟をもとに人間社会が基準を作っていき、alignmentを合わせていくように作られているんでしょうか? そんな気がしますね。
ウェブ小説AI論争と「鉄の味」 66:11
ロ・ジョンソク これは何ですか?
パク・ジョンヒョン これは私が面白半分で持ってきたものなんですが。普段、趣味で小説を読むのが好きなんです。ところで韓国ではウェブ小説プラットフォームがうまく回っているのですが、そこでこんな事件があったそうなんです。あるウェブ小説は、普通は人が書いたと思いながらも疑いはするけれど、ひとまず人が書いたと信じて読むわけですが、そこに小説の内容が書かれているべきなのにAIが答えた文章があるんです。「こう書いて」と言ったら「はい、そのようにします」と言って書いた文章まで一緒に上がってしまったわけです。それでこういうことのせいで最近炎上しているそうです。
ところが今回の件で炎上しているその小説がランキング圏に入っている小説なんだそうです。なので実際にどれだけ助けを借りたのかは分かりませんが、人がAIを使って書いた小説がランキングに入ってみんなが消費しているというのは事実のようですね。それでこれを何と表現するかというと、私もこういう表現を初めて知りました。「鉄の味がする」と言うそうなんです。「AIが書いた文章の味がする。鉄の味がする」こう表現するのですが、結局human evaluatorがずっと捕まえてはくれるわけです。
なのでおそらくアイデアと評価は小説家がやっているのだと思いますし、今は実装や文章を書くといったことをそれに合わせてこいつらがたくさんやっているのではないか、そう考えています。
ロ・ジョンソク そうなんですよ。静的に完成した小説を消費していたのがウェブトゥーンとかノベルピアのようなものでしたが、こうしたサービスからZetaのようなサービスに移っていくのがおそらくこういう理由でしょうね。「どうせこうなるなら自分の好みに合わせて動的にいくべきなんじゃないの?」ということでそっちに完全に行ってしまうようです、ユーザーたちが。
パク・ジョンヒョン 未来にはすべての人が消費するコンテンツがみんな少しずつ違っているのだと思います。自分のためにカスタム生成される、リアルタイムで生成されるコンテンツを消費しているのではないでしょうか。それで結論を言うと、distillationと全部絡み合っていくようです。今モデルが次々と出てきていて、その出てくる速度の理由の一つとしてこのdistillationがあるようですし、お互いに真似するのが簡単すぎるようですね。
frontierを追いかけるdistillation競争 68:06
チェ・スンジュン frontierの列車に乗るのが現在のパターンなんですね。確かにfrontierがとりあえず前に少し進撃しておけばdistillationが可能ですから。
ロ・ジョンソク 後発組は速く追いかけるわけですね。かっこよく表現してdistillationと言っていますが、copyじゃないですか。Copy。でもこのcopyが進化のアルゴリズムじゃないでしょうか?私たち韓国も日本をいわゆるcopy、distillationしながら追い抜いて、中国も韓国と日本をdistillationして、みんなそうやって上方平準化していくわけですね。
チェ・スンジュン 一つの要素だけではなく、今回GLMを見るとNathan Lambertや、あるいはZhipu AIが公開したブログを見るだけでもpost-trainingで性能を向上させたと。これがdistillationだけではなく、みんな最先端で研究しているものが混ざっているというのも正しいと思います。
組織運営の問題へ移ったAI活用の悩み 69:14
ロ・ジョンソク 私たちもずっとこの議論が人文学に向かっているので、これが時代の流れだと思います。
パク・ジョンヒョン そうですね。最近私も頭の中にそんな悩みしかありません。どうすればこいつらをもっとうまく使えるだろうか?でもその答えを探す場所が工学的な知識が集まっている場所ではなく、組織運営のような知識が集まっている場所で答えを探そうとしているんです。
ロ・ジョンソク でも今みんな、私たち今みんなおかしくなりつつあります。
パク・ジョンヒョン 本当に脳が焼け焦げる感じです。
ロ・ジョンソク 脳が焼け焦げる感じ。的確ですね。本当にあまりにも速く変わって、今のincentive構造は確実に定まったじゃないですか。とにかくfrontierが前進すれば、そのfrontierが前進した分のdeltaを誰がより速く、より多く利用するかのゲームなので忙しいです。
来週の予告と締めくくり 70:07
チェ・スンジュン とにかく来週もまた何かあるでしょうね。
ロ・ジョンソク 来週は来週でまた何かありそうです。それでは今日はこのくらいで私たちの収録を締めくくらせていただきます。今日も多くの学びをありがとうございます。ありがとうございました。
チェ・スンジュン はい、ありがとうございました。
パク・ジョンヒョン はい、ありがとうございました。