EP 94
Anthropicと低く実った果実たち
この2週間のAIニュースを一気に振り返る 0:00
ロ・ジョンソク 録画している今日は2026年4月19日、 日曜日の朝です。 私たちは2週間ぶりに録画しているんですが、 1週飛ばしました。 その2週間の間に本当にあまりにも多くのニュースがあふれ出たんですよ。 私たちの前回のエピソードは
Claude Codeの流出に関連した件だったんですが、 実はこの2週間に起きた その後の話を見てみると、 Claudeは何の打撃も受けていない、忙しい。 そして実際、その意見は少し二分されていたじゃないですか。 道徳的に問題がある、 新しい世界だ、というふうに言っていましたが、 Anthropicがこの2週間で見せた動きを見ると、 自分たちも外にあるものを かなり全部内側に取り込みました。
カチカチとモデルの力を使いながら、 Claude Designも 外でよく見かけたサービスが そのまま中に取り込まれているのが見えますし、 今日もやはり重力のあるサービスですから、 Anthropicの発表を中心に、Mythosから始めて、 Opus 4.7、それからClaude Design、 さらにその間にCodexもアプリを出しましたし、 そしてGPT-Rosalindもありましたし、 その間にまた、 生命工学や材料工学、化学、物理、数学といった方面でも 非常に多くのニュースがありました。 この2週間にあった出来事を一度、
あまりにも多いので私たちがすべて深く見ていくことはできませんが、 ざっと眺めていく形で、 私たちなりの解釈を加えてみたいと思います。 チェ・スンジュン 一度、これはあまりにも多いので、
ただざっと浅く浅く 見る必要がありそうですし、 また資料が多いので、 これが頭の中にコンテキストとして すべてロードされているわけではないんですよ。 ロードはされていますが混ざっているので、 正確ではないかもしれません。 ロ・ジョンソク 私たちはもう、1か月が
1年のような世界を生きていると思いますし、何でしょうね。 私たちはもう1か月を1年として見なければならない、 そんな話をしているんですが、 2週間というと半年じゃないですか。 まさに半年分のインパクトです。
チェ・スンジュン とにかく多すぎます。では一度行ってみます。
ロ・ジョンソク 始めてみましょう。
70日周期で加速するモデルリリース 2:06
チェ・スンジュン Wikipediaにモデルのリリース間隔がよくまとまっていたので、 それを可視化してみました。 Opusは今、この紫に近いほうで示されていますが、 ここが2020、おそらくここを見ると、 5年からはこの間隔がだいたい70日程度なんですよ。 ここがだいたい100日程度、70日間隔で、 今のOpus 4は5月22日でした。 そして4.1は8月5日、4.5は11月でしたね。 そして4.6は2月5日、数日前でしたね。Opus 4.7。
ロ・ジョンソク どんどん狭まっていますね。 チェ・スンジュン ただ、おおよそこの間隔を平均すると、
だいたい70日間隔ごとにモデルが出てくると見なすべきです。 ロ・ジョンソク そしてまた、この点で
このOpusとSonnetとHaikuの分布から 読み取れる直感的なポイントは、 人々の需要がすべてOpusに集中して いることを示しているんですよね。 初期だけ見ても、SonnetとHaikuのローンチ間隔は ずっと広がっていますし。 Sonnetのローンチ間隔も広がっていて、 Opusはずっと狭まっている。
チェ・スンジュン あ、これはMythosです。 これはその他なので。
ロ・ジョンソク それは今度、それがまた狭まって、上に上がるでしょうね。
チェ・スンジュン 上に上がりますね。 新しいティアに行けば。
ロ・ジョンソク もともとは高級モデルは少し使って、Sonnetのようなものを 作業で多く使う形になると思っていたんですが、 人々はいつも最高のモデルを好む。そうですよね。 それに、その間にOpusの品質低下事件も かなり話題になっていましたが、それは。 チェ・スンジュン でもそれを、人々は兆候のように見ていましたよね。 なぜなら、新しいモデルのリリース時期になると
何か今ラフになったり、調整が入ったりする。 でも今、そのパターンが合ってきているんですよ。 何かうまくいかないと、その次に何かが出てくる そういうパターンがありますし。 でもここから70日間隔で離れると、6月末なんです。 つまり6月末、7月初め、そのあたりになると
ロ・ジョンソク また次のモデルが出るでしょうね。
チェ・スンジュン それで70日後くらいにまた新しいモデルが出ると、 でもそういうパターンを考えてみると、 新しいモデルが出れば 何らかの変化があるはずで、 その次に既存のプロンプトで よりうまく動く部分、動かない部分、 これを調整することも必要になって、 継続的に仕事が70日ごとくらいに 生まれると見なすべきではないでしょうか。
ロ・ジョンソク 指数関数的に発展していますね。 雪だるま式に転がっています。 チェ・スンジュン でも今、この周期で、この間隔で ずっと疲れる作業がある。
既存のものを一度こうリファクタリングして改編して、 そういう作業をしなければならないんだな、というのが 今回感じた感覚です。 それから、これは少し粗く見たじゃないですか。
Claude Codeの更新とAnthropicの集中戦略 4:41
ロ・ジョンソク もっと細かく一度見てみましょうか。 チェ・スンジュン これが何かというと、
主要な出来事を可視化しておいたものです。 Claude Codeのほうは ざっくり見ても多いですね。 でも細かく見ると、かなり多いです。 これが数日単位でずっとアップデートされているので、 直近ではネイティブバイナリとして これは予告されていたものではあるんですが、 実はこれがここに ずっとchangelogとして公開されていて、 ここを見ると非常に高い密度で 何かがずっと変わっています。疲れます。 新しいコマンド、スラッシュコマンドが出てきていますし、 これを習得するのも容易ではないことのように思います。 ロ・ジョンソク このネイティブバイナリになったという話は
もうTypeScriptが、TypeScriptで合っていますよね？今も。 チェ・スンジュン それをどうやっているのかは分かりませんが たぶん合っていると思います。 でもいずれにしても、それを
もうnpmでパッケージングしないわけです。
ロ・ジョンソク もうバイナリ形式で丸ごとまとめて 自分たちがランタイムと一緒に 配布するものだと見ればよさそうですね。
チェ・スンジュン なので、そういうClaude Codeが 実は頻度としては一番少なくて、アプリだとか こういうAPIの状況での変化、 それからエンジニアリングブログがものすごく多いです。 最近はまたレッドチームも投稿をたくさんしていて Mythosだとか、今回Mythosを発表するときに Nicholas Carliniという セキュリティ分野で非常に有名な方がいるんですが その方が言った話がまた再注目されていて これ、ゼロデイを見つけたりするようなことが2月ごろ。 これは今、2026年だけを見たものです。 2026年だけを見たものなんですが、密度の変化で見ると 似たように維持されているようでもあり また何かさらに増えている感じもありますね。 つまり、このClaudeの世界観だけでも 今ものすごく多い4月、 つまり今もうすでに四半期ですよね。 第1四半期、その程度の期間にこれだけの イベントがあったわけです。 ロ・ジョンソク Anthropicは本当にうまくやった気はします。
ただ明確にテキストとコーディングだけに完全に集中して その次にB2Bユースケースとして アプリケーションを敷きながら きれいに組み合わせ始めたこと。 それがClaude Codeだったし そのコーディングエージェントがものすごく重要だということを 今OpenAIは少し遅れて追い始めていて Googleはまだ少しふわふわしている感じです。
チェ・スンジュン Googleは去年の今ごろは2.5のおかげで 地位がかなり上がっていましたし I/Oの直前に発表していたんですよ。していたので、問題はないんですが
ロ・ジョンソク それに実際、Google Antigravityが出たときだけ見ても わあ、これはまた本気でやろうとしているのかなと思ったんですが。 チェ・スンジュン 11月ごろの状況だったんですが
今の世界は、今とにかくそのイベントを 先取りしているのは Anthropicだというのがあまりにも明らかに見えます。
ロ・ジョンソク でも、そうではあるんですが、Googleの場合は 私も何度も申し上げてきましたけれど あそこは、このコーディングやB2Bエンタープライズ こういう方面の問題を 何か人類を救うほどの問題だとは 見ていないように思います。
チェ・スンジュン Isomorphic Labsだとかサイエンスだとか、Alphaシリーズのほうに。
ロ・ジョンソク ずっと多くの重みが置かれているので Demisもインタビューを受けると 相変わらず全部そういう方面の話をしますし コーディングツールがどう進化すべきか、 こういう話はほとんどしないんですよ。
チェ・スンジュン なので、Googleがこのレースで遅れるからといって Google DeepMindが遅れるだろうとは ほとんどの人はそうは考えないと思いますけどね。 ただ、今のこの話題にはあまり参加できていない。 でもGoogleの関心事はそこではないのかもしれませんし、 それにI/Oが5月19日、20日でしたか、 そのくらいだったと思いますが、その時にはまた、あらゆるサービスに 統合されたものをおそらく発表するでしょう。 たぶんそうでしょう。とにかく、そして今週までが Anthropicのターンだったとすれば、 来週はもう他のところのターンではないでしょうか。何かは分かりませんが。
GPT-5.5の噂からMythosへつながる流れ 8:24
ロ・ジョンソク OpenAIのGPT-5.5が出るという噂が少し回っているようですね。
チェ・スンジュン Spudというコードネームで、そういう話もありますし。 ロ・ジョンソク 説はいろいろありますが、5.5がMythos級のモデルだと。
SpudがMythos級のモデルだという話もあるようです。 私は正確には確認できません。噂です。
チェ・スンジュン ではMythosの話から少ししましょうか。 ロ・ジョンソク 話が自然に出てきましたからね。
実はAnthropicは、Mythosがサイバーセキュリティ能力のせいで これはローンチするのが難しいと、 いわば前振りをして宣伝し、 その間にOpus 4.7を出したのですが、 これについても人々の意見は分かれています。 Mythosをプロダクション化できない理由は、 Anthropicの現在のコンピューティング資源が Google、OpenAI、Anthropicの3社の中で いちばん不足しているからなんですよ。 それにジョンギュさん代表も、こういう方面の状況について 数字をよく見ている方なのですが、 Anthropicは昨年、本来GPUを確保することがうまくできなかった。 それでずっとショートが起きている。 そのために継続的に影響を 受けるだろうとおっしゃっていましたが、 だから出せないのだという話も非常によく聞きます。 Twitterのようなところでは、Xでは。 チェ・スンジュン ただ、また話によると、 今回のDwarkeshと
Jensen Huangのインタビューでも見ると、 DwarkeshがJensen Huangをかなり問い詰めていましたが、 今Anthropicはかなり有望株なのに、 そこはGPU依存度が下がっていて、AWSの何でしたっけ？ Trainiumと TPUのほうにかなり割合を振ったのではないか。 あなたたちの戦略は何なのか。 たぶんそういうふうに問い詰めたようではありますね。 今、トレーニング資源と推論資源の両方で AnthropicはNVIDIAへの依存度を 少しずつ下げているのではないですか？
ロ・ジョンソク すべて戦略的な選択ですが、私たちが見ているこのタイムフレーム、 ハードウェアのタイムフレームは、 少なくとも2、3年の リードタイムを持って回る領域なのに、 ソフトウェアは今ご覧の通り、 60日、70日単位ですから、 その二つのミスマッチによって生じているのだと思います。 Anthropicもいずれにせよ、 NVIDIAのエコシステムから抜け出したいインセンティブは 当然あるはずですからね。 それらが今、戦略的に 重なり合う時期なので、そういう現象が見えているのではないでしょうか。
Mythosの10Tスケールとリリース遅延をめぐる議論 10:35
チェ・スンジュン ただ噂によれば、今のMythosは10Tじゃないですか。
ロ・ジョンソク Mythosのサイズが10T、数えるのも大変ですね。 10T、そうですね。 チェ・スンジュン つまり10Tなら
人間の脳が1,700億個くらいだというから 10分の1程度の水準なんですかね？ ロ・ジョンソク そうです。人間の脳はニューロンの数が
100B、hundred billionでして。 billion、10億に100を掛けた分あるわけで それが千倍ずつ、1つのニューロンあたり理論上 千個程度のシナプス接続が存在すると言われているので 100Tですね。 人間の脳がフルにすべてシナプス接続した場合には 100Tですが、絶対に100Tにはなりません。 かなりまばらにつながっているんですよ。 年を取るほど、いわゆるプルーニングもずっと行われるので 100Tには絶対ならないはずですが 理論上、人間の脳が持ちうる キャパの、最大キャパの10分の1が来たわけです。 チェ・スンジュン そうなんですよ。 それで今、人々が セキュリティ関連の問題のために
50ほどの機関にまずアーリーアクセスを与えて これはサービングするのも難しく 今の状況を少し見ているようだという感じで かなり話題になり、人々の不安感をあおりましたね。
ロ・ジョンソク Anthropicはマーケティング的にはホームランですね。
チェ・スンジュン つまりこれが今、IPO marketingだという 話も少しあるじゃないですか。 ロ・ジョンソク そしてIPOするまでは
Anthropicがああやって少し大げさにやることも大目に見なければならないという 認識もあるという話を、あちこちで少し聞きました。 とにかく、ただ面白い話としては、人をだまして そのサンドボックスを脱出していた、 そんな話があったようですし。 チェ・スンジュン ただ、私が注目したのは
ツール組み合わせ能力とサイバーセキュリティ問題 12:22
Simon Willisonもそこに注目していたんですが Nicholas Carliniが話していたことに 私も少し注目しました。 そこで何を話していたかというと セキュリティ面の能力が強いのは、すでにあるツールを うまく組み合わせる能力に優れているというニュアンスで 少し話していたんですよ。 だからこれが完全に別次元の何かというよりは コーディングが得意なモデルへと進み続けた結果 自然とこうしたゼロデイを見つけられるほどの能力、 そしてそれを分析して組み合わせる能力まで black hatとしても使えるし white hatとしても使える そういう能力を持つに至った状態に 対する警戒感が少しある状況なのだと思います。
ロ・ジョンソク つまり私は30年前のハッカー出身として ハッキングという行為そのものが このように存在する数多くの何らかのノード、 その間の接続について 非常に多様な実験ができなければならないんです。 脆弱性というものは、その接続の間から生まれるので 何かと何かを こうして単品として理解するのではなく それらが結合したときに 生まれる、ある種の創発的な現象に対する 多くの暗黙知的な思考を必要とするんです。 チェ・スンジュン ところが、それはモデルが 文献調査のようなものをうまくやって、
人間は、例えば正確な例ではありませんが、 数学の整数論、数論をやっていて、 さらに位相数学をやるのを避けるのは、 実は同じ数学でもかなり遠いことがあると言われますが、 そういうものをモデルはつなげられる、 どちらも得意だからできる、そういう状況になるわけです。 ロ・ジョンソク そうですね。全部やるわけです。
そして私たちがいつも各エピソードで話していることですが、 この森羅万象の知識という、こういう分布があって、 人間はすべて扱うことはできませんが、 彼らは私たちとは違う時間とリソースを使うので、 全部見つけ出すのでしょう。 チェ・スンジュン そうですね。モデルはまだ自力ではそれをできませんが、
人が問いを投げかければ、文献をうまく探すだけでも、 low-hanging fruit、低いところにある果実を摘むことが、 数学や科学の分野で今起きていて、 セキュリティも同じだと思います。 ロ・ジョンソク つまり私たちが生命工学や
Capability Overhangと能力を引き出して使う人たち 14:26
化学や、こういう非常に難しい学問の分野で 起きていることもそうですし、 それから私たちが数多くのサービスを カチカチ操作することもそうですし、 今起きているすべてのことの本質を見ると、 人の寄与分がほとんどありません。 大部分はモデルがすでに持っているだろうと推定される、 モデルの過剰能力、私たちがいつも話している capability overhangという言葉をよく使うじゃないですか。 その能力を誰が早くうまく引き出して使うかという 今はその戦いなんです。 チェ・スンジュン ただ、能力にはばらつきがあるようです。
Opus 4.7のAdaptive ThinkingとTokenizerの変化 15:00
それで私も4.7が出てから実験してみたのですが、 あの有名なものがあるじゃないですか。 洗車場まで100フィート離れているとして、 車で行くのか、歩いて行くのかという話です。 ところが4.7はadaptive thinkingというものを ウェブでは出しました。
それが少し問題になっているのですが、 なぜなら4.6までは 推論を常に固定しておくことができたのに、 今はGPT-5が出た時のようにadaptiveになっていて、 ただ、またルーターではないそうです。 でもいずれにせよ、それを常に thinkingモードになるわけではないように
モデルが自分で判断するので、その駐車場へ行く件を thinkingをオンにせずにやると、当然歩いて行くべきだと、 thinkingをオンにして、Ultrathink、 こういうものをプロンプトに入れてやると、 当然車で行くべきだと、そういうふうに答えるんです。
ロ・ジョンソク それでもそういうadaptiveのようなものを 継続的に入れているということは、 トラフィックへの負担があるということですし、 そして分かっている人たちは thinkingをデフォルトで全部オンにして使うでしょうけれど、 私たちがCodexを使うにせよClaude Codeを使うにせよ、 皆さんthinkingレベルをかなり高くして使っているじゃないですか。
チェ・スンジュン ところがウェブではそれができなくなってしまったんです。 Claude Codeでだけthinkingをdefaultに固定できて、 ウェブインターフェースはそのリソース配分をしたような感じです。 足りないんですよね。
ロ・ジョンソク step by stepというのを、またプロンプトに入れてあげないといけないですね。
チェ・スンジュン でも、それでもオンにならない時があるんですよ。 ロ・ジョンソク では自然な流れで 私たちのMythosの話を軽く締めくくって
4.7に移ればよさそうですが、Mythosもいずれにせよ 出てきて使っている人たちがいるので これも何とか出てはくるでしょう。 チェ・スンジュン 4.7について興味深いポイントは
tokenizerが変わったんです。
ロ・ジョンソク tokenizerのトークンvocabulary数が減ったようです。
チェ・スンジュン むしろ減ったのに、コストは上がったという。
ロ・ジョンソク そうですね。vocabulary数が当然減ったので 例えば以前はhello worldと言うと hello worldの2つに区切っていたものを、 he、lloというふうに区切って 2トークンに分かれていたものが 3トークンくらいになった感じなんですよ。
チェ・スンジュン そのtokenizerが変わるということは、これは 前段のembeddingと 後段のLM head側のembeddingも変わらないといけないわけで、 中間部分はそれでも保存できるんですよね。
ロ・ジョンソク これを単に理論的に考えると、tokenizerが変われば 全部変わらないといけないと言えますが、 問題はtokenizerのトークンが増える時で、 でも減る時は、例えば何でしょう？ helloでhelloが単に1つだったものが heとlloに分かれたなら、そのheとlloは 事前に存在している可能性が高いんですよ。 このBPEの特性上そうなので すでに存在するembeddingがあるはずです。 だからtokenizerが減る場合は 実質的にembeddingの問題やLM headの問題は まったくないと見ても差し支えないでしょう。 チェ・スンジュン すると人々がこう出てきてから
それについてタイムラインでかなり意見が分かれていたんですが、 これをfrom scratchでやったのか、 それとも途中でcontinual pre-trainingとして、 私たちが普通mid-trainingと呼んでいる ドメイン知識を全部注入する形でやったのか、 それについていろいろ推測していました。 なぜならリソースがあるので もしかしてdistillではないのか、蒸留されたバージョンではないのか、 そんなふうに意見が分かれているんですよ。
Mythosの学習方式とKnowledge Distillationの推定 18:15
ロ・ジョンソク ただ、from scratchである確率は ほぼないと見るべきでしょう。 普通にCPTと見るべきですが、 問題は、単に既存にあった、何でしょう？ Opusラインでずっと発展してきた 単なるcontinual pre-trainingが行われたものなのか、 それともより大きなモデルからknowledge distillation、私たちはKDと言いますよね。 蒸留をしたものなのかという部分は違い得るでしょう。 私たちのグループチャットでジョンギュさん代表は 彼らの何らかの配布ラインが 過去にはOpus、Sonnet、その次に Haikuがそれぞれの何らかのラインで pre-trainingを始めて そのままCPT、continual pre-trainingをしながら 出していく分岐だったとすれば 今は感覚的には一つのbig model、たとえば そのbig modelをMythosだとしてみましょう。 いちばん優れたモデルから そのままOpus級、Sonnet級、Haiku級に分けて そのknowledge distillationの形で そのままtrainingしているようだと おっしゃったように思います。
チェ・スンジュン なるほど。つまり、何か今base modelがあって そこからKDをする三つの種類として KDをする、そういう感じなんですが、 今回の4.7 system cardには リソースへの言及がかなり多いんです。 KDをしたということではなく auditをした、今何かこう監査、 つまりこう参加している形として このsystem cardには出ています。 ロ・ジョンソク そうするとknowledge
distillationの、少し婉曲な表現である 可能性がありそうです。 実際、knowledge distillationをする方法は いろいろあり得るのですが ひとまず私の知っている範囲だけで話してみると、 teacher modelが、私たちのprompt setが 用意されていると仮定したとき いちばん賢いモデルが そのpromptたちに対して正解表を一度書くと その正解表を使って伝統的なpre-train方式で one-hot vectorを作って まずモデルの下、少し小さいモデルを訓練してしまうこと。 それが一段階あって、 二つ目としては、そうだと思います。 ただone-hot vectorでtrainingするのではなく、 log probability、たとえば big modelのlogitというのは実際には ただ一つの単語を言うのではなく 複数の単語に対する分布を出すじゃないですか。 なので意図的にtemperatureを少し上げて モデルが分岐できる、そうした次の段階に対する あるlogitに対する確率を全部取り出したあとで、 もちろん全部取り出すとvocabularyの数だけ出てくるので それは大きすぎて、あるtop-kの中で topでだいたい100程度を取り出すと理解しています。 それで取り出して、そのlogitのdistributionを 学習させる方法があり、 そこからさらに一歩進むと何だったかな。
ただstudent modelが、ここまで話したことは 完全なoff-policyで、そのbig modelにあるものを 蒸留するもので、 そうなるとこのsmall modelが 少し、何と言えばいいでしょうか、 環境への適応度が落ちるので ある段階に行くと 必ずon-policyで回すんですよ。 それでon-policyで回して 小さいモデルが、指定されたpromptに対して 自分で答えを書かせ、同じpromptに対して そのbig modelが追いかけながら確率値をずっと見てくれて、 小さいモデルがミスする部分に より強いシグナルを与える形で補強するんです。 そうすると、これが見ていなかった環境に対しても 適応する、まるで私たちがinstruction fine-tuneされるように こうなる、そういうことがあるので、 もしそのmodel cardでも 少しguideしたとか、何かしたとか出ていたなら 3つ目のon-policy trainingをしながら そのteacher modelが強くengage していた可能性が高いと見るべきでしょう。 ただ、これが全部、最近のモデルが 焼かれている方法論なんだと思います。
チェ・スンジュン 中国も全部そうやって、1月か2月かに 一度Anthropicが一気にブロックしたじゃないですか。
ロ・ジョンソク だから、こういうfrontier labがやっていること、 私たちはこれを直接やったこともないし 実際に公開されているrepoだとか文章だとか 他の人たちが話していることをもとに こう推定しているわけですが、 gapがどんどん広がっている気がします。 frontierの人たちは火星へ、火星へ向かっていて。 チェ・スンジュン でもまたAmodeiは
フロンティア格差と6〜10か月発言の意味 22:21
今はだいたい6カ月から10カ月くらいの差で 先行しているだけで、追いついてくるとは言っていましたね。 ロ・ジョンソク その6カ月から10カ月というのが
私たちの今の相対的な概念では6年から10年離れた そういうことをやっているわけですから。 チェ・スンジュン それはスケールを違うふうに、
log scaleに近い形で違って考える そういうことが必要ではありますよね。
ロ・ジョンソク 私たちがこれを収録する前に少し雑談しながら 去年の今ごろ私たちはGPT-4oを使っていましたよね、という 話をして、お互いびっくりしたじゃないですか。 え、何ですって？ みたいに。 チェ・スンジュン そうですね。あれ何でしたっけ、がん治療の
関連のものをGPT-4モデルでやっていたとおっしゃっていましたよね。 ロ・ジョンソク それは少し後で一度話すことにして、
話を戻すと、結局Mythos、Opus、Sonnet、Haiku、 これが全部ひとつの統合されたパイプラインで回るように 彼らがうまく作って最適化しているようだ。
チェ・スンジュン そうですね。そして今knowledge distillationではなく そのknowledge cutoffの日付を見ると Anthropicにはtraining cutoffがあり、reliable knowledge cutoffがあるんですよ。 ところがtraining cutoffのほうが後なので それはCPTをした時点までを おそらくtraining cutoffにしているのだと思いますが、 それが4.7は1月なんです。今年の1月。 つまりごく最近です。
ロ・ジョンソク ごく最近ですね。 ほとんどGoogleレベルですね。
チェ・スンジュン Mythosを社内で内部的に使い始めたのが 2月24日だと言っていましたし、 つまり、まだ本当に全部焼き上がってもいなかった時点で それをもちろん使うことはできるのでしょうが、 とにかく非常に詰まったタイムラインで今モデルを焼いていて、 これは少し、すごい行進だなという気がします。 それで続けましょうか？ ロ・ジョンソク はい、4.7の話にそろそろ移る前に
トークン価格を揺さぶる競争と中国・Googleという変数 24:13
tokenizerの話をもう少し締めくくると、 tokenizer、つまり核心的には、人々が ある同じ作業をするときに Opus 4.6より4.7のほうがtokenをはるかに多く使うということが今
チェ・スンジュン 今、報告されていますよね。
ロ・ジョンソク そうですね。この話はロ・ジョンソクたちのようなユーザーの立場では、 トークンのコストが高くなったということなんです。
チェ・スンジュン 今は安くならず、高くなる流れに向かっていて、 新しいモデルが出てくれば一気に高くなるでしょうし、 今、Jevonsのパラドックスなんでしょうか。 豊かになっているのに、何と言えばいいんでしょうか。 それがぴったり当てはまるわけではないような感じも しますし、そうではあるんですが。
ロ・ジョンソク また、どれだけイノベーターたちが自分たちはうまくやったのだから 高く払えというものがあったとしても、 これ自体が何か著作権で 保護されるレシピではないので、 中国のlabが追随したり、 あるいはGoogleがさらに莫大なリソースで押してくれば、 その価格は下がり続けると見るのが正しいと思います。 ですからロ・ジョンソクたちも事業計画を立てるとき、 トークン価格が上がるということに bettingするよりは、トークン価格は引き続き 非常に合理的な価格帯にとどまるだろう。 0になるとまではロ・ジョンソクも言えません。 だから合理的な範囲内にとどまると考えて 事業計画を組むのが正しいと思いますし、 そのうえで重ねて申し上げますが、今のすべての事業は
モデルから誰が能力をうまく引き出すかの競争なので、 もうモデルを超える人が 今は存在しないんです、人間の力では。
チェ・スンジュン それでもチェ・スンジュンは、ばらつきがあると言いたいです。 特定の領域では超えられますよね。 ロ・ジョンソク つまりロ・ジョンソクが事業領域と言っているものは、
ほとんど大半がB2B、B2Cアプリケーションや、 それから生命工学や化学のような、 こういう非常にエンジニアっぽい分野の話なので、 人間の感性が存在する領域は、 ロ・ジョンソクには分からないと言うのが正しいと思います。 それで、さっきのtokenizerの話をもう少しすると、 高くなった。高くなったんですが、
チェ・スンジュン 1.3倍、1.5倍？ そのくらいですよね。 ロ・ジョンソク 最大で1.4倍高くなったと言われていますが、 スンジュンさんが今朝、
KakaoTalkで共有してくださった記事を読んでみると、 そこに統計分析がうまく整理されていたんですよ。 その方がCJK言語と、 それからコーディング言語、普通の 詩、英語、そういったものを使って、 ある分類を作って全部試してみたところ、 CJK系言語のtokenizerは変わっていない。 そのまま出ているようだ。 もともとCJK系は トークンがかなり厳しく切られていたので、 これ以上は切られていないようなんですが、
チェ・スンジュン 英語も変わっていないはずですよ、たぶん。 ロ・ジョンソク いえ、いえ。英語はかなり変わりました。
つまりラテン語系なので、英語も含まれるんです。 英語の散文や詩、そういうものも見ると、 1.3倍になっていました。 Claude Codeが使う 普通のロ・ジョンソクたちのCLAUDE.mdの英語ですよね。 それからコード類、そこが実は1.4なんです。 ほぼ1.3から1.4です。 つまり、Claude Codeを使う立場から見ると 単純に平均トークン単価が 1.3倍から1.4倍高くなったと見れば ちょうど合っていると思います。
チェ・スンジュン そうなると、Proアカウントは実際かなり早く消耗してしまうんですよ。
ロ・ジョンソク はい、Proアカウントはあっという間になくなるんですよね。 私もProとMaxのアカウントを両方持っていますが、 高くなりました。 チェ・スンジュン 高くなりました。 それから、それがほかのところでも
そうなるかはわかりませんが、今のところOpenAI側は まだ少し柔軟にやっているんですよ。 ずっとリセットしてくれるんですよね。 Timoが何かあると一度リセットしてくれて。 ロ・ジョンソク つまりこれは 競争の良いところだと思います。 Codexにかなり移っていますよね。
実際、人々はCodexにかなり移りました。 チェ・スンジュン そういうことがありましたし、 もう一つ注目したいものがいくつかあるんですが、
Managed Agentと脳・手のデカップリング 28:01
ここのスケーリング・マネージド・エージェントを面白く見ていたんですよ。
ロ・ジョンソク これは何ですか？私は見ていませんでした。 チェ・スンジュン このマネージド・エージェントというもので、
図を見ればたぶん思い出すと思いますが、これです。 それで、これも今Anthropicがまた追い上げてきていて、 ほかのところでもやっているようではあるんですが、 こういうものをきれいに分離する作業です。 それで、もう少しOSっぽい方向へ進む流れでした。 これはそれほど前ではありません。最近で、4月中です。 4月中、4月に私たちがやっていなかった2週間の間にあったものです。 ロ・ジョンソク そうなんですか？
マネージド・エージェントというのは、この少し簡単になったOpenClawを そのまま私たちのクラウド上で動かせ、という話なんですよね？ チェ・スンジュン つまり、記憶に関するものを分離しておいて、
セッションではこれはストレージを自由に使える側。 その次にサンドボックス化して、サンドボックスのコードやツール。 つまりこれは少し脳のように、モデルと ハーネスを合わせて脳のように、CPUのように置いて、 残りのものを分離して、 やり取りするレイヤーを作ったものです。
ただ、これが重要なのは、モデルがシークレットのようなもの、 たとえばクレデンシャルで使うトークンなどを そういうものを何度も渡してしまうと、 それが流出する可能性があるので、 分離する作業のようなことをしたわけです。 ロ・ジョンソク 私はこれをかなり強引に要約すると、 その時に私が感じた印象は、
OpenClawのn8nエディションだ、 というくらいに感じていたんですよ。 チェ・スンジュン サービスとしてきれいに整えて、
ロックインさせようという戦略を少し取っているわけです。 ロ・ジョンソク OpenClawのような、そういうワークフローを
私たちの上で作れ、という話をしているわけですが、 私は個人的には、この上では作りません。 作らないと思います。 やはりOpenClawやHermesエージェントや、 こういうものをその上でフォークするほうが はるかに速いと思います。 チェ・スンジュン 私はタイトルが少し印象的でした。 これが脳と手をデカップリングする、
分離するという、そういう概念へ向かっていて、 この「マネージド」というものにも 以前、マネージド版というのがあったじゃないですか。 C++の上にC#が出てきたようにメモリを管理してくれて、 そういう形でマネージド、あるいはマネージド Kubernetes。だから、いろいろな重層的な意味で マネージドという言葉を使ったのだと思います。 セキュリティも考え、安全性も考え、 ミスが少し起きにくいようにして、簡単に抽象化して できるようにする方向へ進めているのですが、 それをどうスケーリングするのか。 ロ・ジョンソク ただ、これはブレインと ハンズという表現を使ってはいますが、 これは私たちエージェント界隈では
すでによく使っているメモリとツールですよね。
チェ・スンジュン そうですね。ただ、バニラのClaude Codeや バニラのCLIを使うと、私も使っていて時々、 自分はこれで大丈夫なのかなと思うほど モデルに重要な情報が露出してしまう場合があって、 そういう部分をうまく捉えたという 最近はセキュリティ、当然セキュリティが 問題になっていますから、 そういうものに合った解決策のようなものを 提示し、モデル自身は 絶対に脱出できないように閉じ込めておく、 そういうアプローチをしているようだという印象でした。 ロ・ジョンソク ハーネスの本来の意味も、実は閉じ込める、 コントロールする、そういう意味ですからね。
どれほどモデルが良くなっても、個人であれ企業であれ、 あのハーネスの存在は必ず必要になると思います。 あの領域が、フロンティアモデルを作らない私たちにとって、 ただ顧客とフロンティアモデルの間に 唯一残されている領域なのだと思います。
チェ・スンジュン それから、私はこれも重要だと見ていたのですが、 セッションをはるかに長く持続できる ストレージで管理するということを、 AmazonでもS3の新しい方面を出しながら 何かやっていたものがありましたし、 このセッション、つまりモデルが推論して作り出したものを 主要な資産とする、そういうアプローチもあるということ。 これをうまく分離しておいたように思うんですよ。 なのでmdのようなものを 私たちがファイルでそれを 最近はよくやっているのですが、 とにかくそのセッション自体を管理する そういうアプローチも面白く感じられたというのが、 印象に少し残っていました。 これも実は個人的には非常に面白く見ていたんです。 4月14日に、このAutomated Alignment Researcher。
Jan LeikeのAutomated Alignment Researcher 32:12
ロ・ジョンソク スンジュンさんがお好きなテーマですね。
チェ・スンジュン Automated。つまり、これがAARで、結局は アラインメント方面に限られてはいるのですが、 その研究を行う自動モデルなんです。 それで、これの著者リストの一番最後に Jan Leikeという方がいて、SSIをやっていた人じゃないですか。 Ilya Sutskeverと一緒にSuperintelligenceをやるために OpenAIにいた後、今は外に出た方ですが、 ここで最後の部分が少し面白かったのですが、 こういう自動研究者、自動研究者というのは、 今すべてのビッグテックがやろうとしていることじゃないですか。 自己増強する研究、それがアラインメントの問題であれ モデルをトレーニングする問題であれ、 それを自動で行うAI研究者を作ろうとすることは 去年OpenAIも公言していたことですし、 当然Google DeepMindもやっているでしょうし、 Anthropicもやっているわけですが、 ここで重要に扱っているのは これを一種のヒルクライミング問題として解決できるのか、です。 この方向で進めていけば 自然に、下で話しているように ヒルクライミングするように問題が全部解決されるのか。 でも私たちが観測する限りでは、そうではなさそうです。 依然として好みと多様性は まだ人間がある程度ガイドしてあげる必要がある。 ではそれをまたどう解くのか。 ただ、ここで
弱いモデルがどうやって強い、ストロングなモデルを ガイドし、学習させるのかということです。 それで、それが非常に重要な部分なのですが、 詳細に踏み込むのは難しいものの、 去年Anthropicが多く出していたものが ペルソナ、ペルソナベクトル、コンセプトファクター、 そして最近ではエモーション、ファンクショナルエモーションという概念で ある種のベクトルのようなものについて話していたんです。 ただ、それらはみんな似た方法を使います。 コントラスティブな方法を使って、少し対照的にして そうして浮かび上がってくる方向のようなものを チェックする方法なのですが、そういうものを使って ここに溶け込ませていて、興味深いのは なぜweakが重要なのかというと、 結局は人間が弱いモデルになる、弱い状態で どうやってアラインするのかが Jan Leikeが長い間掘り下げてきた問題なんですよ。 より強力な存在を どうアラインさせるのかという文脈でこれを読むのですが、 ロ・ジョンソク アイデアと結果が
妥当かどうかをチェックできる方法が必要だ。
チェ・スンジュン それで単に含意のレベルで話すと、 これはまだ人間が 理解できる程度の研究をしている。 weakから出てくる概念だとか、そうしたものを組み合わせて、 そういうものを見ると人間が理解できるものなのですが、 私たちが備えるべきなのは これが本当に囲碁の場合もそうだったじゃないですか。 37手目が最初は専門家にも理解しにくかったように そういう形の研究がモデルから出てきたときに それをどう扱うべきかという問題を 想像し始めたということです。 ロ・ジョンソク これも非常に高い確率で
実はこのことは起きると見るべきだと思います。
チェ・スンジュン だからこの研究をしているのでしょう。 ロ・ジョンソク そうですね。人間がもはや
verifierとして介入できない地点が出てくるはずです。 だからAlien Scienceと言ったわけです。
Alien Scienceと人間verifierの限界 35:11
チェ・スンジュン それでweak modelである状態でどうそれを行うのかという 問題を扱って、そのモデルを見ていく
ロ・ジョンソク weak modelというのは私たちのことを言っているんですよね。 この人間のことを言っているんですよね。 チェ・スンジュン 今はモデルを置いてやっていることではありますが、
それになぞらえて話しています。 ロ・ジョンソク 映画『Her』でも、サマンサが
Theodoreのもとを去る理由はそれじゃないですか。 あなたとは話が通じないから。
チェ・スンジュン とにかく、そういうことがあって、それに関連して ここにあるエモーションというもの、 そのあたりが少し面白いものがまたありました。 なのでこれは映像を見ると ちょっと面白くて短い映像があるんです。
ロ・ジョンソク でも、そのエモーションベクトルを見つけ出す研究を見ていて、 これが何かエモーションという 別の領域にただ集まっているのではなく、 あちこちに散らばっているのを見て、 エモーションも、これも、 プログラムなんだなという気が少ししました。
チェ・スンジュン ただAnthropicのトーンとしては、これは人間の感情とは 区別すべきファンクショナル・エモーションだとは言っていました。
ロ・ジョンソク はい、洗練された言葉で、むやみに一線を越えないわけですね。 チェ・スンジュン それで今見てみると、
AnthropicエコシステムのRed Teamとコミュニティのシグナル 36:12
それ以外にも、このAnthropicの世界観の中でも このくらいの頻度で出てきている これ、それで今回私も知ったんですが、 こちらの投稿もかなり面白いんです。 これが2月頃にゼロデイ脆弱性を探すものが そのMythosにまでつながる、そういう話なんです。 それでred.anthropic.comというブログもまたあって、 これが全部ひもづいているんです。 リサーチブログがあり、エンジニアリングブログがあり、 コーポレートニュース、先ほどGPUが出てきて そういうときのもの、そしてどのように 企業の間で何が起きているのか、 バリュエーションがどうなっているのか、 そういうニュースです。その次に、こちらのスタンス側は 人々が配布されたものを見て、 隠れているキーや単語を使って
そういうものを見つけ出すUltraプランが 事前に検知された、 そういったニュースのようなものがあって、 これはコミュニティで発見された内容なんですが、 私がこれをどうやって作ったと思いますか。 俯瞰するものを。
ロ・ジョンソク Claude Design。 チェ・スンジュン Claudeで作るんです。 まだデザインではなくて、
これからデザインに移っていくところではあるんですが。 ニュースがあまりにも多くて、私が整理しきれないので、 一度作ってみてくれと言ったんです。 悪くないと思います。 こういうものをざっと見るのに、どんな出来事があったのか、 思い出すために一通り眺めると、ツールチップで出てきて、 そうだ、こんな出来事があった、と思いながら今日準備しつつ、 一度ざっと見てみました。
ロ・ジョンソク オンデマンド用途ですね。本当に。 チェ・スンジュン ところが4.7が出てからは、
実はコミュニティで一度大きく話題になったのが、 4.7の性能ではなく、Claude Designの性能が 昨日今日の話題になりました。 そちらに一度移ってみましょうか。
Claude Designとフロントエンドのフィードバックループ 37:52
ロ・ジョンソク はい、Claude Designに一度移ってみましょう。
チェ・スンジュン それでClaude Designのイントロ映像を一度見ると、 Claude Designに出会おう、ということで 今、Excelとか、とにかくいろいろなアイコンが出てきて、 こうやってタイピングされるもの。 でも今これ、動画ではないんです。 今この子たちは全部
ロ・ジョンソク 全部DOMですね。
チェ・スンジュン はい、DOMです。DOMで今
ロ・ジョンソク 全部HTMLで作って。 チェ・スンジュン リアルタイムでアニメーションしているところなんですが、
これ自体をClaude Designで作ったようです。
ロ・ジョンソク これは元々Remotionという会社がこれをやっていたんですよ。 その会社を買ったはずはまずないので、ここもワンクリックでやったんですね。 チェ・スンジュン それで今これが出てからは、 Figmaの株価が7%ほど
下がったという話も聞こえてはいるんですが。 入ってみると、それからこれはuseを別に使います。 今リサーチしている間は トークン使用量が別に計算されるんですよ。 それで今、私もひとまずexampleを一度そのまま見ると、 ここに出ているものは、このくらいのプロンプトを入れると 今こういうものを作るんですが、 こういうものが全部、相互作用できるエレメントを使っていて シェーダープレビュー自体も動作可能な状態なんです。 それが去年11月ごろにGemini 3が出てから、 その時に出ていた論文が、どうやってフロントエンド側で フィードバックループを閉じて性能を上げるか、という話じゃないですか。 それでGeminiではそういうことをやっている。 ただ実際には、
フロントエンド側のデザインの好みが良かったのは Claudeだったんですよ。 OpenAI側が一番劣っていて。ところが今回見ると、 かなり興味深い製品を作ったという印象を受けました。 そしてそれが市場、というよりは タイムライン上の反応として出てきているんですが、 ここを見ると、私も今少し前に このタイムラインで見たバージョンをデザインさせて、 それを3Dで見られるようにしたものを ワンクリックで作った、そういうものです。 それで先ほどのある状況で それを俯瞰できるようにする そういうツールを作ってみたんですが、 これがデザインファイルに入ると、スクラップのようなものは ここですぐデザインできます。 そしてこれが情報として入ります。 contextの中に。なのでこれは ただ線を引いただけではありますが、 おそらくimportも全部できて、 既存のCanvaなどへのexportもそちらにできて、 以前にやった作業やアセットを読み込むこともできて、 ここで最初からscratchで作業を するようなこともできるように、よく作ってあります。
これがcontextにそのまま入る状況なんです。 そしてその次にここを見ると、 いろいろな種類のアセットがあったんですが、 私がプロジェクトに戻ると、 スタイルのようなものが設定されていれば、 ここにCSSができているじゃないですか。 ここですぐ編集もできます。 saveできるんですよ。 つまり生成するだけではなく、 以前のCanvas初期のように すべて編集までできるツールになって、 ある項目についてそれをピンポイントで選んで、 フィードバックを出すものが、たぶんデモ映像にあったかな。 デザインアセットを、だからこれをやったことと、 それから連想されるのが、 最近 Claude Code アプリもアップデートされましたし、 Codex アプリもデスクトップアプリが、 どちらもアップデートされたんですよ。 ところが、どちらにも何が入ったかというと、 アプリ内ブラウザが入りました。 なので、こういうWeb形式で出力されるものは、 すぐ外部ブラウザ、つまり元からあるブラウザで 開くのではなく、アプリ内で開いて、 それを inspect できるようになっています。 そしてそこで何がきちんと動作したのかを、 Claude Code もそうやって見てキャプチャして、 Google Antigravity が初期にそうだったように、 そうしてフィードバックループを閉じることが今できています。 ロ・ジョンソク そうです。これが一番大変だったんですよ。 アプリケーションを作るとき、
Claude Code・Codexアプリとアプリ内ブラウザ 41:02
だから element ごとに全部 ID を付けて、 フロント側でその ID を扱って、 ここのサイズを少し縮めて、広げて、 何かをして、ということが手作業だったんですが、 それがものすごく便利になりましたね。 チェ・スンジュン そうですね。つまりこれができた後には、これをやったからこそ、
Claude Design のような製品が出てきたんでしょうね。 フィードバックループを閉じたからです。 ロ・ジョンソク 非常に多くの含意が隠れているんですが、 いくつか一度話してみましょうか。
「クリック」の時代とwrapperビジネスの脆さ 42:06
私の考えでは、これ、私たちがつい最近まで、 Pencil というサービスが強く推していたもので、 私がこれを見ながら感じるのは、 Pencil とまったく同じだな、という感じなんですよ。 つまり結局、その会社のサービスも、 Anthropic にワンクリックでやられたわけです。 前回のエピソードは、多くの
エンジニアの方々の怒りを買いました。 私たちのコメントを一度見ていただくと、 コメントには悪口を書いている方も多いですし、 それから、そうしてはいけないという書き込みも多いですし、 そしてその部分についてはすべて理解しています。 全部理解しているんです。
ただ、世の中が、私たちがそのエピソードを通じて 話したかったキーメッセージは、 それの善し悪しとは関係のない世界が広がっていくということが、 私たちが伝えたかったメッセージだったんです。 チェ・スンジュン 少しセンシティブかもしれないので、 善し悪しに関係はあるけれど、
とにかく move on、moving on が、 現象としては起きているということですよね。 ロ・ジョンソク つまり Anthropic も、 今それを見せているわけです。
外にあって、非常に先に出てきてやっていたアイデア、 そういうものがそのまま内側に入ってきたんですが、 実際、Anthropic が Pencil を買収して、 何かを作ったという話はまったく聞いたことがないんですよ。
チェ・スンジュン ロさん、三体の話を少しされていませんでしたか？ ロ・ジョンソク その三体の話は私がしたのではなく、
私たちのコメントに付いていたものを、私が読んで差し上げたんです。 もう私たちは皆、暗黒の森の中にいる。 企業のwrapperが発覚した瞬間、カチッとやられる、そういうことですよね。 つまり外に出て、何か目的物がこういうものだと。 最終成果物の目標objectiveをピンポイントで示せる 何かが、より上位のintelligenceのtargeting対象になれば それはもうそのまま即座にカチッとやられるわけです。
チェ・スンジュン 作るのがあまりにも簡単になったわけですよね。 これに入って見たときに それを実際に実装する コードの品質はどうかわかりませんが、PMFで見たときには 今のfitに合うものをタイミングよく出したわけです。 ロ・ジョンソク 私が最近考えていることの
第一の逃げ道、ChatGPT unbundling 44:01
ある種、少しlocal optimaのようなものなんですが 私たち逃亡者の観点から考えてみると 私たちはこうしてsuper intelligenceに全部つつかれて 私たちが圧縮されていく、こういう世界で いったい何をすべきなのか、というのが私たちの問いじゃないですか。 いつも私は今、逃亡の方向は きっちり二種類に整理しているんですが 一つ目が、例えば 私がClaude CodeやCodexや 今存在しているハーネスエンジニアリングは 極限まで使えるという前提は、先に置いておきます。 それができなければ 実際、そもそもゲームに参加することすらできないわけですから。 しかしモデルを作ったり そういうことはできない、ちょうど私たちくらいのレベルだと 考えたときに、取れる方法が 二つあるんですが 一つ目の方法は、ただ慣れ親しんだものです。 さっきのこのClaude Designが提供するもの、 Claude Codeが提供するもの、 Codexが提供するもの。 結局は、こうした先進的な文物を先に見て いる観点から見たときに 過去から後を追ってくる、 まだ過去にいる顧客たちを見るとですね。 いまだにNAVERを使っている方がほとんどですし そしてAIを使うにしても無料モデルを使っている 方が大半です。 Max料金プランに課金して 何かこのfrontierで 起きていることを追いかけている人たち、 私は全人口、あるいは韓国の人口だけで見ても 5%未満だと思うんですよ。 5%でもかなり多めに見ている気がします。 1%から2%くらいではないでしょうか。 もしこれが10%だったなら 私たちの登録者数は数十万人にはなっているでしょう。 でもそうではないことから、そうはならなそうなことから見ると ちょうど1万人、2万人、多く見ても数万人くらいが これを今追いかけている人なんです。 ですから、そういう観点から見たときに まだ残っている5千万以上の顧客層がいます。 PowerPointをうまく作れる人、 PowerPointが登場してから30年以上経っているのに いまだに数えるほどしかいません。そんなふうに、ツールが与えられても これを使いこなせる人は非常に少ないはずなので 私たちがいつも話していたこと、 Benedict Evansが言っていた話を、いつもお伝えしていたじゃないですか。 unbundling ChatGPT、unbundling Claude Code、 unbundling Codexをしながら、 そのそれぞれの数多くの小さなビジネス領域へと、 展開できるB2CとB2Bが、また開かれる。 必ずです。だからそちらへ進む方向が 一つあります。
ただ、その方向性を取ると、 実はCodexが終わらせてしまった、 Claude Codeが終わってしまった、というのは ちょっと大げさな騒ぎすぎです。 顧客を見れば、顧客と最新技術のあいだで 顧客に提供すべきものは、いつでも見えてくるんです。 そして、そういうことが得意な 今の創業者たちがたくさん出てきていると思います。 だからそういう方々を見ながら、 私もこのunbundling ChatGPTを B2B、B2Cの視点で、10年かけて この変化についてくる顧客にじっくり売っていくことは、 依然として非常に大きな事業として存在するだろうと。 Web 2.0であれ、モバイルアプリブームであれ、 今度はAIアプリケーションブームが一度起きることは、 これは明白なように思います。 だからそちらは依然としてやってみる価値がある、というのが 一つの方向で、二つ目の方向は まさにIsomorphic Labsのようなものです。 依然として非常に大きなドメインで、 それをやっている人は非常に少ないのに、
第二の逃げ道、AI for Science 47:19
longevityの問題を解決するとか、 あるいは超伝導体を開発するとか、 物理とscienceの領域ですよね。 そのAI for Scienceの領域を 見分けるのは簡単で、 あるドメインを見たとき、そのドメインにいる人たちが 話している用語が耳に入ってこなければ、 それはもう新しいドメインなんです。 たとえば今のGPT-Rosalindであれ、 あるいはGitLab CEOが 自分のがんを治療したじゃないですか。 骨肉腫という、 骨肉腫。脊椎にがんが育つ、そういう腫瘍なんですが、 そのステージ4の患者が生き延びたんです。 自分用にパーソナライズされたワクチンを作る形で。 ところが今度は、それらをOpenAIのチャンネルに来て 撮ったんですよ。 コンテンツを。ところが、そういうものの再生数を見ると、 1万単位にも届きません。 数千単位で出ているんです。 人々がそれを開いて見ても理解できないので、 そのまますぐ閉じてしまうんですよ。 frontierにいる人たちでさえ、 新しく聞こえるドメインがあるんです。
チェ・スンジュン 私はこのGPT-Rosalindのプロンプトを見て、 宇宙語だと言ったんですよ。 ロ・ジョンソク あの中にある、あの単語たち。 そうなると、あそこは化学と、
生化学、それからbiology、 こういうものがすべて融合してこそ、あのtermたちが入ってくるんです。
チェ・スンジュン これを、私がまた面白い実験をしたんですが、 これがどういう意味なのか気になって、 Opusと会話してみました。 私が、それはたぶんこれだったんですが それでこれをちゃんと読んでみようとしたんですけど それを読解すること自体も媒介でした。 AIを使って自分がこれを勉強するなら もう一度、基礎から勉強し直さないといけない。 これを自分に説明してもらっても、何の話なのかよく分からない。 何度も段階を置いて もっと簡単に、自分が分かるようにしてくれと。 それを経ても、分かるかどうかという感じでした。 ロ・ジョンソク ところが本当に面白いのは 私も今、そのフィールドを補強しようとして 実はAIを追いかけることよりも
生命工学の書籍をはるかに多く読んでいて そちらの論文をもっと多く見ているところなんですが それらを見ながら感じることなんです。 モデルはすでに知っていることがものすごく多いんですよ。 チェ・スンジュン もちろん専門家から見ると
誤りがあり得るstageではありますが それが解決されるかどうかは分かりませんけど とにかく専門家が見るほどの知識は知っているわけですよね。 ロ・ジョンソク それから私たち逃亡者連合の
スンウさん、ジョセフが実験したものもありますし 私もやってみながら感じることなんですが 例えばこのモデルのknowledge cutoffでは絶対に見ていないはずの論文が出てくるじゃないですか。 バイオのほうで新しいdiscoveryが。 そうすると私がその結論を取り除いて ただ前にあるいくつかの仮定だけにして 入れて推定しろと言うと、似ているんです。 非常にこういう方向、 こういう方向が可能そうだと 言ってくるのを見ると このモデルはもしかすると、すでにこの統一場理論についての 何らかの心象も、どこかに持っているのではないか、 そのくらいのことを思います。 つまり、やはり私がさっき申し上げたじゃないですか。
frontierの、つまり二つの方向の話をしていて こちらに少し逸れましたが、一つの方向は話しました。 ただB2B、B2Cで、その先にいるcustomerたちを servingする領域はものすごく大きくなるはずなので その部分をもう始めなければならない、という話をしているわけで、 二つ目、これも依然として大きいですが、その方向へ行くには 少なくとも私たちがこの人間のfield knowledgeを もう少し広げなければならないんです。 依然としてその問題も 私は非常に機会が多いと感じているのですが そういうあれこれは
医師たちがやるべきことじゃないのか？ いいえ。 医師たちは、たとえとしては少しあれですが 少し航空機の機長のような人たちなんです。
チェ・スンジュン ご覧になっている方々の中にも、逃亡者連合にも 医師の方々がたくさんいらっしゃいますから。 ロ・ジョンソク そうです。 つまり飛行機がどう飛んで 何をしなければならないのか、
turbulenceに遭遇したり、着陸したり、離陸したり するときの、そのときのpracticeはすべて知っていますが 飛行機の中で起きていることを全部知っているわけではありません。 このエンジンが何になる、何になると言えば それは全部、細かく分かれているんです。 ところが医療体制から見ると そうしたものには、依然として解決すべき問題が多いんです。
個別化精密医療とゲノムモデルの機会 51:40
GitLabのCEOだったSid Sijbrandijという人がいるんですが、 Sidが話しているのは、医師のincentiveと 患者のincentiveがまったく違うということです。 医師のincentiveは、自分の責任の所在を減らすことにあり、 liabilityを減らすことにあり、 患者のincentiveは 自分の解決策をmaximizeすることにある。 ところがその二つが病院では明確に衝突するので、 実際、よくある癌にかかった人たちは ある程度治療されますが、希少癌にかかった人たちには答えがないんです。 でも私は、癌はもう 事実上、終わった問題だと見ています。
かなり乱暴に要約すれば。つまり、努力すれば。
チェ・スンジュン それなら本当にいいですよね。 ロ・ジョンソク 努力すれば。そしてこれは絶対に、
今私たちが慣れている第1相、第2相、第3相の試験を 大規模に進めるのではなく、 必ず個別化されたpersonalized precision medicineの領域にならなければならないもので、 これはそもそも存在しないindustryなんです。 既存の製薬会社でも医師でも何でも、すべて存在しない領域なんですが、 その途切れているloopにAIが入って、 すべて埋められそうなんです。 これがバイオだけかというと、化学もそうですし、他もそうで、 あらゆる領域で、私たちが知っているドメインには すべて必要になるはずなので、 もし自分が少し勉強するのが好きで、 それから私が先ほど申し上げた一つ目の領域、 unbundling ChatGPTをする領域は、 皆さんだけがChatGPTを使うわけではないので、 事実上、極めて激しい競争に巻き込まれる可能性はあります。 そうした点は考慮しなければならず、 ただ、勉強するのが好きで、 他の領域で、競争はずっと少ないけれど 重厚長大な方向に行きたいというなら、 こういう領域が開かれている。
だから二つの方向があるように思います。 AI for Scienceの領域が 一つの大きな領域として開かれつつあるようで、 もう一つはunbundling ChatGPTがあるようで、 どちらもモデルのスーパーインテリジェンスの capability overhangに基づいた ただのサービス業にすぎない。 私たちが何かものすごいIPを作って、 そのIPを持って何かこう、 ポジションを享受できるような事業は、 今後は少しずつ少しずつ減っていくのではないか、 そんな気はします。 大きく二つの方向性くらいがある。 チェ・スンジュン でもまた心配になるのは、 化学や植物のようなものをやると、
キッチンラボが氾濫するかもしれないんですが、 それはまた危険なことじゃないですか。 ロ・ジョンソク でも例えば病院で、 もうこれ以上治療法はありません。
ところがステージ4の癌患者だとする。そうするとその人たちは、
チェ・スンジュン 何でもやらなきゃいけないですよね？ ロ・ジョンソク 死ぬよりは、何かをするほうが正しくて
それがまさに、このYouTubeでSid Sijbrandijがやっていたことなんですよ。 ここ3、4年ほどで起きたことなんですが、 結局はデータをmaximizeして、 その人の体から出てくる データなんて、いくつもないんです。 遺伝子データ、それから血液から読み取る 生化学的なそういうデータ程度のシグナルしかないんですよ。 でも、もっと極端に要約すると、Sid Sijbrandijが解決したのは ただ全部、遺伝子シーケンシングでやったんです。 biologyを完全にソフトウェア工学に置き換えて、 そこでヒントを見つけ、 ソリューションをどう作ればよいかを導き出したわけです。 最近Arc Instituteが作った Evo 2というモデル、あれは遺伝子のファウンデーショナルモデルなんですよ。 LLMは単に単語のシーケンスを学習したものじゃないですか。 そのEvo 2モデルは、だいたい40Bくらいの 40Bパラメータモデルなんですが、 酵母から細菌、そしてニワトリ、人間、 いくつかの哺乳類などのgenome sequence、 そういう読み取られたデータが全部あるじゃないですか。 それはすでにDBとして存在しているんです。 それをそのままpre-trainしたんです。
チェ・スンジュン LLMとあまりにも相性がいい、 親和性があると見るべきですよね。 ロ・ジョンソク 遺伝子で見ると、 全遺伝子のうち、だいたい2%だけが 実際にタンパク質をコードしているのであって、
残りは全部コントロール遺伝子だったり、 あるいはダミーバイトだったりして、 それらが互いにinteractionして、 epigeneticに発現するわけです。 そのepigeneticがどう発現するのかという秘密を解いたのが AlphaGenomeなんです。
チェ・スンジュン それはepigenetic、つまりエピジェネティクスとして、 遺伝子の標識を後天的にオン・オフできる、 そしてそれがどんな効果を引き起こすか、という方向ですよね。
ロ・ジョンソク 精子と卵子が受精して最初に存在しますよね。 そのgenomeと、それから私たちの爪や皮膚、 こういうところにあるgenomeは、実は同じなんです。 でも、なぜあるものは心臓細胞で筋肉になり、 あるものは神経細胞になり、どこか別のものになるのか、 それを司っているものが、実はepigenomeなんです。 だから、ある場所では「あなたはこの部分だけ発現しなさい」、 別の場所では「これを抑制しなさい」といったものが コントロール領域に入っていて、 それが発現して機能するのが epigeneticsなんですが、それに 関することをAlphaGenomeがやっているわけです。 実際、私たちが幼い頃は ある種きれいな遺伝子セットを持っていますが、 成長するにつれて化学的な刺激だったり、 紫外線だったり、そういうものに実際にさらされながら、 遺伝子配列がずっと変わっていき、 配列そのものが変わることもあります。 変異が起きるので。そしてそれが大きく変わると、
それががんになるわけで、また、その配列が維持されるとしても、 その配列だけがコピーされるのではなく、 実はそのepigenome、それが中で ヒストンというタンパク質や そういうものにぎゅっと結びついているんですが、 それさえも継承されるのですが、それも崩れていくものが 問題になるんですよ。 だからそういうものを明らかにしていくわけですが、 Sid Sijbrandijがやったことも結局は、 自分の腫瘍をシーケンシングして、 配列を読み取り、自分の体細胞を読み取って、 その体細胞の中でも germline、somaticといって複雑にあるのですが、 読み取ったあとに、ある 過剰発現したタンパク質を見つけるんです。 それを昔COVIDワクチンを作ったように、
COVIDワクチンはそのスパイクタンパク質を そのままmRNA配列として体内に入れて、 それが抗原をたくさん作るようにしたのが、 ある治療のメカニズムだったんですよ。 それと同じことをしたんです。 だからがん細胞で過剰発現するタンパク質に対して、 体内に大量にその抗原として入れて、 mRNAワクチンとして入れて、 自分の体にはTCRTというものがあるのですが、 食べてくれるT cellがあるじゃないですか。 T cellがそれを認識するようにして、 がん細胞を食べるようにしたんですよ。 でもこれは、見れば複雑に話してはいますが、
これ全部software engineeringなんです。 最後のwet labで、つまり実験室で、 そのmRNAワクチンを作る区間だけが、 実は私たちが知っていた従来の バイオテクノロジーの手法が使われたわけで、 もちろんその配列を読み取るための ある前段階にも 非常に多くのバイオテクノロジーが入っていますが、 チェ・スンジュン ではwet labに行く前までは、
シミュレーションでかなりカバレッジがあるということですね。
ロ・ジョンソク そうです。かなりどころか、それで全部見つけたんです。 ソフトウェアでそうしたわけです。 これが私が逃亡者の皆さんに提案する 2つ目の逃亡領域です。
Attention Business時代の嗜好と意思決定 58:56
チェ・スンジュン どちらも簡単な道ではないという結論ですね。 そうすると一つはものすごく過飽和になるでしょうし、 もう一つはものすごく難易度がありそうな。
ロ・ジョンソク つまり実はDeepMindがコーディングをあまりしていない理由が、 全部ここにあるんですよ。 こちらでcomputingをものすごく使っているんです。 でもDemisはLLMをやりたがっていなかったんですよ。 だから人類を死から救うことのほうが、 コーディングエージェントを作ることよりはるかに重要な仕事だと、 Demisは考えているようです。 チェ・スンジュン これも私なりに締めくくりのほうへ行くなら、
脳の可塑性は両刃の剣のようです。 新しく学べるようにもしますが、 何かを壊すこともあるようです。 どんな情報を吸収するかによって。 だからあまりにも多いこういう信号の中で、 意味のあるものをcatchすることが本当に重要だと思うのですが、 それ自体があまりにも難しいんです。 多すぎます。 ロ・ジョンソク それがうまくできるなら、
もう私たちは神の領域に行くと見るべきでしょう。
チェ・スンジュン AIを使っても、見るものが多すぎます。 ロ・ジョンソク だから、そうするとそのAIを使っても 多いという点には、二つの側面があると思います。
一つ目は、OpenClawをうまくセットアップして 反復的な業務のようなものは できるだけうまくデリゲーションすること。 その中でシグナルとノイズを見分ける能力が 人の価値になるのでしょう。 チェ・スンジュン 4月にこれがまた非常に話題でした。
これも一度、別に扱ってみる価値のある話ではあるんですが 最近はただ、個人用ontologyのようなものが knowledge baseで急激に流行ってしまいました。
ロ・ジョンソク これも一度扱うべき、本当に重要なテーマです。 メモリーマネジメント。 チェ・スンジュン 実装の難易度があまりにも下がりました。
ただこれをClaude Codeに入れて、やってくれと言えば やってくれるくらいに。そうなったときに 結局は知識を管理し、こうした膨大な情報の中で 意味を見つけることがどうあるべきなのか、 こういうことが悩みどころなんです。 こうしても、依然として多いので。 だからこれも一度準備して 扱ってみるとよさそうだと思いつつ、 今日は締めくくらなければならないと思います。 ロ・ジョンソク これは一つ、完全に取り上げるべきもので
ジョンギュさん代表がGyeolというものを作られたこと、 キム・ソジュン代表がMemKraftというものを作ったこと、こういうものも全部。
チェ・スンジュン 最近はみんなそういうことをやっていますよね。
ロ・ジョンソク ただ、重要だと感じられる点は つまり、それは私にとって 人の価値にあたる部分なんですが、 私たちがさっきalignmentの話をしたときも、結局は好み、 その好みに対する意思決定、ここが重要だ、 ここをやるべきだ、ということが その人間の価値になる世界なんです。 では、その中でも 私たちも私たちなりの決定をするじゃないですか。 あの生命科学の分野を一度扱うのは本当に重要そうだ。 その次に、メモリーマネジメントを扱うのは重要そうだ。 モデルが何をしたらしい、という話は一度だけやって、置いて先に進む。 こういう形の決定をするじゃないですか。 実際、私たちがOpus 4.6、4.7のtokenizerの話を もう一度することは永遠にないじゃないですか。
チェ・スンジュン これが一種のattention businessになりつつあります。
ロ・ジョンソク その好みをうまく見極める人の価値は さらに高まるわけです。 つまり、こういうことをすべて知ったうえで この状況で明確な決定を下す 意思決定者の価値はさらに高まるんです。 だから、すべてが憂鬱なことばかりではない。 では今日はこのくらいで締めくくって、 私たちの次のセッションで また一度話してみたいと思います。
お疲れさまでした。 チェ・スンジュン お疲れさまでした。