EP 94
Anthropicと低く実った果実たち
この2週間のAIニュースを一気に振り返る 0:00
ロ・ジョンソク 録画している今日は2026年4月19日、日曜日の朝です。私たちは2週間ぶりに録画しているんですが、1週飛ばしました。その2週間の間に本当にあまりにも多くのニュースがあふれ出たんですよ。
私たちの前回のエピソードはClaude Codeの流出に関連した件だったんですが、実はこの2週間に起きたその後の話を見てみると、Claudeは何の打撃も受けていない、忙しい。そして実際、その意見は少し二分されていたじゃないですか。道徳的に問題がある、新しい世界だ、というふうに言っていましたが、Anthropicがこの2週間で見せた動きを見ると、自分たちも外にあるものをかなり全部内側に取り込みました。
カチカチとモデルの力を使いながら、Claude Designも外でよく見かけたサービスがそのまま中に取り込まれているのが見えますし、今日もやはり重力のあるサービスですから、Anthropicの発表を中心に、Mythosから始めて、Opus 4.7、それからClaude Design、さらにその間にCodexもアプリを出しましたし、そしてGPT-Rosalindもありましたし、その間にまた、生命工学や材料工学、化学、物理、数学といった方面でも非常に多くのニュースがありました。
この2週間にあった出来事を一度、あまりにも多いので私たちがすべて深く見ていくことはできませんが、ざっと眺めていく形で、私たちなりの解釈を加えてみたいと思います。
チェ・スンジュン 一度、これはあまりにも多いので、ただざっと浅く浅く見る必要がありそうですし、また資料が多いので、これが頭の中にコンテキストとしてすべてロードされているわけではないんですよ。ロードはされていますが混ざっているので、正確ではないかもしれません。
ロ・ジョンソク 私たちはもう、1か月が1年のような世界を生きていると思いますし、何でしょうね。私たちはもう1か月を1年として見なければならない、そんな話をしているんですが、2週間というと半年じゃないですか。まさに半年分のインパクトです。
チェ・スンジュン とにかく多すぎます。では一度行ってみます。
ロ・ジョンソク 始めてみましょう。
70日周期で加速するモデルリリース 2:06
チェ・スンジュン Wikipediaにモデルのリリース間隔がよくまとまっていたので、それを可視化してみました。Opusは今、この紫に近いほうで示されていますが、ここが2020、おそらくここを見ると、5年からはこの間隔がだいたい70日程度なんですよ。ここがだいたい100日程度、70日間隔で、今のOpus 4は5月22日でした。そして4.1は8月5日、4.5は11月でしたね。そして4.6は2月5日、数日前でしたね。Opus 4.7。
ロ・ジョンソク どんどん狭まっていますね。
チェ・スンジュン ただ、おおよそこの間隔を平均すると、だいたい70日間隔ごとにモデルが出てくると見なすべきです。
ロ・ジョンソク そしてまた、この点でこのOpusとSonnetとHaikuの分布から読み取れる直感的なポイントは、人々の需要がすべてOpusに集中していることを示しているんですよね。初期だけ見ても、SonnetとHaikuのローンチ間隔はずっと広がっていますし。Sonnetのローンチ間隔も広がっていて、Opusはずっと狭まっている。
チェ・スンジュン あ、これはMythosです。これはその他なので。
ロ・ジョンソク それは今度、それがまた狭まって、上に上がるでしょうね。
チェ・スンジュン 上に上がりますね。新しいティアに行けば。
ロ・ジョンソク もともとは高級モデルは少し使って、Sonnetのようなものを作業で多く使う形になると思っていたんですが、人々はいつも最高のモデルを好む。そうですよね。それに、その間にOpusの品質低下事件もかなり話題になっていましたが、それは。
チェ・スンジュン でもそれを、人々は兆候のように見ていましたよね。なぜなら、新しいモデルのリリース時期になると何か今ラフになったり、調整が入ったりする。でも今、そのパターンが合ってきているんですよ。何かうまくいかないと、その次に何かが出てくるそういうパターンがありますし。でもここから70日間隔で離れると、6月末なんです。つまり6月末、7月初め、そのあたりになると
ロ・ジョンソク また次のモデルが出るでしょうね。
チェ・スンジュン それで70日後くらいにまた新しいモデルが出ると、でもそういうパターンを考えてみると、新しいモデルが出れば何らかの変化があるはずで、その次に既存のプロンプトでよりうまく動く部分、動かない部分、これを調整することも必要になって、継続的に仕事が70日ごとくらいに生まれると見なすべきではないでしょうか。
ロ・ジョンソク 指数関数的に発展していますね。雪だるま式に転がっています。
チェ・スンジュン でも今、この周期で、この間隔でずっと疲れる作業がある。既存のものを一度こうリファクタリングして改編して、そういう作業をしなければならないんだな、というのが今回感じた感覚です。それから、これは少し粗く見たじゃないですか。
Claude Codeの更新とAnthropicの集中戦略 4:41
ロ・ジョンソク もっと細かく一度見てみましょうか。
チェ・スンジュン これが何かというと、主要な出来事を可視化しておいたものです。Claude Codeのほうはざっくり見ても多いですね。でも細かく見ると、かなり多いです。これが数日単位でずっとアップデートされているので、直近ではネイティブバイナリとしてこれは予告されていたものではあるんですが、実はこれがここにずっとchangelogとして公開されていて、ここを見ると非常に高い密度で何かがずっと変わっています。疲れます。新しいコマンド、スラッシュコマンドが出てきていますし、これを習得するのも容易ではないことのように思います。
ロ・ジョンソク このネイティブバイナリになったという話はもうTypeScriptが、TypeScriptで合っていますよね？今も。
チェ・スンジュン それをどうやっているのかは分かりませんがたぶん合っていると思います。でもいずれにしても、それをもうnpmでパッケージングしないわけです。
ロ・ジョンソク もうバイナリ形式で丸ごとまとめて自分たちがランタイムと一緒に配布するものだと見ればよさそうですね。
チェ・スンジュン なので、そういうClaude Codeが実は頻度としては一番少なくて、アプリだとかこういうAPIの状況での変化、それからエンジニアリングブログがものすごく多いです。最近はまたレッドチームも投稿をたくさんしていてMythosだとか、今回Mythosを発表するときにNicholas Carliniというセキュリティ分野で非常に有名な方がいるんですがその方が言った話がまた再注目されていてこれ、ゼロデイを見つけたりするようなことが2月ごろ。これは今、2026年だけを見たものです。2026年だけを見たものなんですが、密度の変化で見ると似たように維持されているようでもありまた何かさらに増えている感じもありますね。つまり、このClaudeの世界観だけでも今ものすごく多い4月、つまり今もうすでに四半期ですよね。第1四半期、その程度の期間にこれだけのイベントがあったわけです。
ロ・ジョンソク Anthropicは本当にうまくやった気はします。ただ明確にテキストとコーディングだけに完全に集中してその次にB2Bユースケースとしてアプリケーションを敷きながらきれいに組み合わせ始めたこと。それがClaude Codeだったしそのコーディングエージェントがものすごく重要だということを今OpenAIは少し遅れて追い始めていてGoogleはまだ少しふわふわしている感じです。
チェ・スンジュン Googleは去年の今ごろは2.5のおかげで地位がかなり上がっていましたしI/Oの直前に発表していたんですよ。していたので、問題はないんですが
ロ・ジョンソク それに実際、Google Antigravityが出たときだけ見てもわあ、これはまた本気でやろうとしているのかなと思ったんですが。
チェ・スンジュン 11月ごろの状況だったんですが今の世界は、今とにかくそのイベントを先取りしているのはAnthropicだというのがあまりにも明らかに見えます。
ロ・ジョンソク でも、そうではあるんですが、Googleの場合は私も何度も申し上げてきましたけれどあそこは、このコーディングやB2Bエンタープライズこういう方面の問題を何か人類を救うほどの問題だとは見ていないように思います。
チェ・スンジュン Isomorphic Labsだとかサイエンスだとか、Alphaシリーズのほうに。
ロ・ジョンソク ずっと多くの重みが置かれているのでDemisもインタビューを受けると相変わらず全部そういう方面の話をしますしコーディングツールがどう進化すべきか、こういう話はほとんどしないんですよ。
チェ・スンジュン なので、Googleがこのレースで遅れるからといってGoogle DeepMindが遅れるだろうとはほとんどの人はそうは考えないと思いますけどね。ただ、今のこの話題にはあまり参加できていない。でもGoogleの関心事はそこではないのかもしれませんし、それにI/Oが5月19日、20日でしたか、そのくらいだったと思いますが、その時にはまた、あらゆるサービスに統合されたものをおそらく発表するでしょう。たぶんそうでしょう。とにかく、そして今週までがAnthropicのターンだったとすれば、来週はもう他のところのターンではないでしょうか。何かは分かりませんが。
GPT-5.5の噂からMythosへつながる流れ 8:24
ロ・ジョンソク OpenAIのGPT-5.5が出るという噂が少し回っているようですね。
チェ・スンジュン Spudというコードネームで、そういう話もありますし。
ロ・ジョンソク 説はいろいろありますが、5.5がMythos級のモデルだと。SpudがMythos級のモデルだという話もあるようです。私は正確には確認できません。噂です。
チェ・スンジュン ではMythosの話から少ししましょうか。
ロ・ジョンソク 話が自然に出てきましたからね。実はAnthropicは、Mythosがサイバーセキュリティ能力のせいでこれはローンチするのが難しいと、いわば前振りをして宣伝し、その間にOpus 4.7を出したのですが、これについても人々の意見は分かれています。Mythosをプロダクション化できない理由は、Anthropicの現在のコンピューティング資源がGoogle、OpenAI、Anthropicの3社の中でいちばん不足しているからなんですよ。それにジョンギュさん代表も、こういう方面の状況について数字をよく見ている方なのですが、Anthropicは昨年、本来GPUを確保することがうまくできなかった。それでずっとショートが起きている。そのために継続的に影響を受けるだろうとおっしゃっていましたが、だから出せないのだという話も非常によく聞きます。Twitterのようなところでは、Xでは。
チェ・スンジュン ただ、また話によると、今回のDwarkeshとJensen Huangのインタビューでも見ると、DwarkeshがJensen Huangをかなり問い詰めていましたが、今Anthropicはかなり有望株なのに、そこはGPU依存度が下がっていて、AWSの何でしたっけ？TrainiumとTPUのほうにかなり割合を振ったのではないか。あなたたちの戦略は何なのか。たぶんそういうふうに問い詰めたようではありますね。今、トレーニング資源と推論資源の両方でAnthropicはNVIDIAへの依存度を少しずつ下げているのではないですか？
ロ・ジョンソク すべて戦略的な選択ですが、私たちが見ているこのタイムフレーム、ハードウェアのタイムフレームは、少なくとも2、3年のリードタイムを持って回る領域なのに、ソフトウェアは今ご覧の通り、60日、70日単位ですから、その二つのミスマッチによって生じているのだと思います。Anthropicもいずれにせよ、NVIDIAのエコシステムから抜け出したいインセンティブは当然あるはずですからね。それらが今、戦略的に重なり合う時期なので、そういう現象が見えているのではないでしょうか。
Mythosの10Tスケールとリリース遅延をめぐる議論 10:35
チェ・スンジュン ただ噂によれば、今のMythosは10Tじゃないですか。
ロ・ジョンソク Mythosのサイズが10T、数えるのも大変ですね。10T、そうですね。
チェ・スンジュン つまり10Tなら人間の脳が1,700億個くらいだというから10分の1程度の水準なんですかね？
ロ・ジョンソク そうです。人間の脳はニューロンの数が100B、hundred billionでして。billion、10億に100を掛けた分あるわけでそれが千倍ずつ、1つのニューロンあたり理論上千個程度のシナプス接続が存在すると言われているので100Tですね。人間の脳がフルにすべてシナプス接続した場合には100Tですが、絶対に100Tにはなりません。かなりまばらにつながっているんですよ。年を取るほど、いわゆるプルーニングもずっと行われるので100Tには絶対ならないはずですが理論上、人間の脳が持ちうるキャパの、最大キャパの10分の1が来たわけです。
チェ・スンジュン そうなんですよ。それで今、人々がセキュリティ関連の問題のために50ほどの機関にまずアーリーアクセスを与えてこれはサービングするのも難しく今の状況を少し見ているようだという感じでかなり話題になり、人々の不安感をあおりましたね。
ロ・ジョンソク Anthropicはマーケティング的にはホームランですね。
チェ・スンジュン つまりこれが今、IPO marketingだという話も少しあるじゃないですか。
ロ・ジョンソク そしてIPOするまではAnthropicがああやって少し大げさにやることも大目に見なければならないという認識もあるという話を、あちこちで少し聞きました。とにかく、ただ面白い話としては、人をだましてそのサンドボックスを脱出していた、そんな話があったようですし。
ツール組み合わせ能力とサイバーセキュリティ問題 12:22
チェ・スンジュン ただ、私が注目したのはSimon Willisonもそこに注目していたんですがNicholas Carliniが話していたことに私も少し注目しました。そこで何を話していたかというとセキュリティ面の能力が強いのは、すでにあるツールをうまく組み合わせる能力に優れているというニュアンスで少し話していたんですよ。だからこれが完全に別次元の何かというよりはコーディングが得意なモデルへと進み続けた結果自然とこうしたゼロデイを見つけられるほどの能力、そしてそれを分析して組み合わせる能力までblack hatとしても使えるしwhite hatとしても使えるそういう能力を持つに至った状態に対する警戒感が少しある状況なのだと思います。
ロ・ジョンソク つまり私は30年前のハッカー出身としてハッキングという行為そのものがこのように存在する数多くの何らかのノード、その間の接続について非常に多様な実験ができなければならないんです。脆弱性というものは、その接続の間から生まれるので何かと何かをこうして単品として理解するのではなくそれらが結合したときに生まれる、ある種の創発的な現象に対する多くの暗黙知的な思考を必要とするんです。
チェ・スンジュン ところが、それはモデルが文献調査のようなものをうまくやって、人間は、例えば正確な例ではありませんが、数学の整数論、数論をやっていて、さらに位相数学をやるのを避けるのは、実は同じ数学でもかなり遠いことがあると言われますが、そういうものをモデルはつなげられる、どちらも得意だからできる、そういう状況になるわけです。
ロ・ジョンソク そうですね。全部やるわけです。そして私たちがいつも各エピソードで話していることですが、この森羅万象の知識という、こういう分布があって、人間はすべて扱うことはできませんが、彼らは私たちとは違う時間とリソースを使うので、全部見つけ出すのでしょう。
チェ・スンジュン そうですね。モデルはまだ自力ではそれをできませんが、人が問いを投げかければ、文献をうまく探すだけでも、low-hanging fruit、低いところにある果実を摘むことが、数学や科学の分野で今起きていて、セキュリティも同じだと思います。
Capability Overhangと能力を引き出して使う人たち 14:26
ロ・ジョンソク つまり私たちが生命工学や化学や、こういう非常に難しい学問の分野で起きていることもそうですし、それから私たちが数多くのサービスをカチカチ操作することもそうですし、今起きているすべてのことの本質を見ると、人の寄与分がほとんどありません。大部分はモデルがすでに持っているだろうと推定される、モデルの過剰能力、私たちがいつも話しているcapability overhangという言葉をよく使うじゃないですか。その能力を誰が早くうまく引き出して使うかという今はその戦いなんです。
Opus 4.7のAdaptive ThinkingとTokenizerの変化 15:00
チェ・スンジュン ただ、能力にはばらつきがあるようです。それで私も4.7が出てから実験してみたのですが、あの有名なものがあるじゃないですか。洗車場まで100フィート離れているとして、車で行くのか、歩いて行くのかという話です。ところが4.7はadaptive thinkingというものをウェブでは出しました。
それが少し問題になっているのですが、なぜなら4.6までは推論を常に固定しておくことができたのに、今はGPT-5が出た時のようにadaptiveになっていて、ただ、またルーターではないそうです。
でもいずれにせよ、それを常にthinkingモードになるわけではないようにモデルが自分で判断するので、その駐車場へ行く件をthinkingをオンにせずにやると、当然歩いて行くべきだと、thinkingをオンにして、Ultrathink、こういうものをプロンプトに入れてやると、当然車で行くべきだと、そういうふうに答えるんです。
ロ・ジョンソク それでもそういうadaptiveのようなものを継続的に入れているということは、トラフィックへの負担があるということですし、そして分かっている人たちはthinkingをデフォルトで全部オンにして使うでしょうけれど、私たちがCodexを使うにせよClaude Codeを使うにせよ、皆さんthinkingレベルをかなり高くして使っているじゃないですか。
チェ・スンジュン ところがウェブではそれができなくなってしまったんです。Claude Codeでだけthinkingをdefaultに固定できて、ウェブインターフェースはそのリソース配分をしたような感じです。足りないんですよね。
ロ・ジョンソク step by stepというのを、またプロンプトに入れてあげないといけないですね。
チェ・スンジュン でも、それでもオンにならない時があるんですよ。
ロ・ジョンソク では自然な流れで私たちのMythosの話を軽く締めくくって4.7に移ればよさそうですが、Mythosもいずれにせよ出てきて使っている人たちがいるのでこれも何とか出てはくるでしょう。
チェ・スンジュン 4.7について興味深いポイントはtokenizerが変わったんです。
ロ・ジョンソク tokenizerのトークンvocabulary数が減ったようです。
チェ・スンジュン むしろ減ったのに、コストは上がったという。
ロ・ジョンソク そうですね。vocabulary数が当然減ったので例えば以前はhello worldと言うとhello worldの2つに区切っていたものを、he、lloというふうに区切って2トークンに分かれていたものが3トークンくらいになった感じなんですよ。
チェ・スンジュン そのtokenizerが変わるということは、これは前段のembeddingと後段のLM head側のembeddingも変わらないといけないわけで、中間部分はそれでも保存できるんですよね。
ロ・ジョンソク これを単に理論的に考えると、tokenizerが変われば全部変わらないといけないと言えますが、問題はtokenizerのトークンが増える時で、でも減る時は、例えば何でしょう？helloでhelloが単に1つだったものがheとlloに分かれたなら、そのheとlloは事前に存在している可能性が高いんですよ。このBPEの特性上そうなのですでに存在するembeddingがあるはずです。だからtokenizerが減る場合は実質的にembeddingの問題やLM headの問題はまったくないと見ても差し支えないでしょう。
チェ・スンジュン すると人々がこう出てきてからそれについてタイムラインでかなり意見が分かれていたんですが、これをfrom scratchでやったのか、それとも途中でcontinual pre-trainingとして、私たちが普通mid-trainingと呼んでいるドメイン知識を全部注入する形でやったのか、それについていろいろ推測していました。なぜならリソースがあるのでもしかしてdistillではないのか、蒸留されたバージョンではないのか、そんなふうに意見が分かれているんですよ。
Mythosの学習方式とKnowledge Distillationの推定 18:15
ロ・ジョンソク ただ、from scratchである確率はほぼないと見るべきでしょう。普通にCPTと見るべきですが、問題は、単に既存にあった、何でしょう？Opusラインでずっと発展してきた単なるcontinual pre-trainingが行われたものなのか、それともより大きなモデルからknowledgedistillation、私たちはKDと言いますよね。蒸留をしたものなのかという部分は違い得るでしょう。私たちのグループチャットでジョンギュさん代表は彼らの何らかの配布ラインが過去にはOpus、Sonnet、その次にHaikuがそれぞれの何らかのラインでpre-trainingを始めてそのままCPT、continual pre-trainingをしながら出していく分岐だったとすれば今は感覚的には一つのbig model、たとえばそのbig modelをMythosだとしてみましょう。いちばん優れたモデルからそのままOpus級、Sonnet級、Haiku級に分けてそのknowledge distillationの形でそのままtrainingしているようだとおっしゃったように思います。
チェ・スンジュン なるほど。つまり、何か今base modelがあってそこからKDをする三つの種類としてKDをする、そういう感じなんですが、今回の4.7 system cardにはリソースへの言及がかなり多いんです。KDをしたということではなくauditをした、今何かこう監査、つまりこう参加している形としてこのsystem cardには出ています。
ロ・ジョンソク そうするとknowledgedistillationの、少し婉曲な表現である可能性がありそうです。実際、knowledge distillationをする方法はいろいろあり得るのですがひとまず私の知っている範囲だけで話してみると、teacher modelが、私たちのprompt setが用意されていると仮定したときいちばん賢いモデルがそのpromptたちに対して正解表を一度書くとその正解表を使って伝統的なpre-train方式でone-hot vectorを作ってまずモデルの下、少し小さいモデルを訓練してしまうこと。それが一段階あって、二つ目としては、そうだと思います。ただone-hot vectorでtrainingするのではなく、log probability、たとえばbig modelのlogitというのは実際にはただ一つの単語を言うのではなく複数の単語に対する分布を出すじゃないですか。なので意図的にtemperatureを少し上げてモデルが分岐できる、そうした次の段階に対するあるlogitに対する確率を全部取り出したあとで、もちろん全部取り出すとvocabularyの数だけ出てくるのでそれは大きすぎて、あるtop-kの中でtopでだいたい100程度を取り出すと理解しています。それで取り出して、そのlogitのdistributionを学習させる方法があり、そこからさらに一歩進むと何だったかな。
ただstudent modelが、ここまで話したことは完全なoff-policyで、そのbig modelにあるものを蒸留するもので、そうなるとこのsmall modelが少し、何と言えばいいでしょうか、環境への適応度が落ちるのである段階に行くと必ずon-policyで回すんですよ。それでon-policyで回して小さいモデルが、指定されたpromptに対して自分で答えを書かせ、同じpromptに対してそのbig modelが追いかけながら確率値をずっと見てくれて、小さいモデルがミスする部分により強いシグナルを与える形で補強するんです。そうすると、これが見ていなかった環境に対しても適応する、まるで私たちがinstruction fine-tuneされるようにこうなる、そういうことがあるので、もしそのmodel cardでも少しguideしたとか、何かしたとか出ていたなら3つ目のon-policy trainingをしながらそのteacher modelが強くengageしていた可能性が高いと見るべきでしょう。ただ、これが全部、最近のモデルが焼かれている方法論なんだと思います。
チェ・スンジュン 中国も全部そうやって、1月か2月かに一度Anthropicが一気にブロックしたじゃないですか。
ロ・ジョンソク だから、こういうfrontier labがやっていること、私たちはこれを直接やったこともないし実際に公開されているrepoだとか文章だとか他の人たちが話していることをもとにこう推定しているわけですが、gapがどんどん広がっている気がします。frontierの人たちは火星へ、火星へ向かっていて。
フロンティア格差と6〜10か月発言の意味 22:21
チェ・スンジュン でもまたAmodeiは今はだいたい6カ月から10カ月くらいの差で先行しているだけで、追いついてくるとは言っていましたね。
ロ・ジョンソク その6カ月から10カ月というのが私たちの今の相対的な概念では6年から10年離れたそういうことをやっているわけですから。
チェ・スンジュン それはスケールを違うふうに、log scaleに近い形で違って考えるそういうことが必要ではありますよね。
ロ・ジョンソク 私たちがこれを収録する前に少し雑談しながら去年の今ごろ私たちはGPT-4oを使っていましたよね、という話をして、お互いびっくりしたじゃないですか。え、何ですって？ みたいに。
チェ・スンジュン そうですね。あれ何でしたっけ、がん治療の関連のものをGPT-4モデルでやっていたとおっしゃっていましたよね。
ロ・ジョンソク それは少し後で一度話すことにして、話を戻すと、結局Mythos、Opus、Sonnet、Haiku、これが全部ひとつの統合されたパイプラインで回るように彼らがうまく作って最適化しているようだ。
チェ・スンジュン そうですね。そして今knowledge distillationではなくそのknowledge cutoffの日付を見るとAnthropicにはtraining cutoffがあり、reliable knowledgecutoffがあるんですよ。ところがtraining cutoffのほうが後なのでそれはCPTをした時点までをおそらくtraining cutoffにしているのだと思いますが、それが4.7は1月なんです。今年の1月。つまりごく最近です。
ロ・ジョンソク ごく最近ですね。ほとんどGoogleレベルですね。
チェ・スンジュン Mythosを社内で内部的に使い始めたのが2月24日だと言っていましたし、つまり、まだ本当に全部焼き上がってもいなかった時点でそれをもちろん使うことはできるのでしょうが、とにかく非常に詰まったタイムラインで今モデルを焼いていて、これは少し、すごい行進だなという気がします。それで続けましょうか？
トークン価格を揺さぶる競争と中国・Googleという変数 24:13
ロ・ジョンソク はい、4.7の話にそろそろ移る前にtokenizerの話をもう少し締めくくると、tokenizer、つまり核心的には、人々がある同じ作業をするときにOpus 4.6より4.7のほうがtokenをはるかに多く使うということが今
チェ・スンジュン 今、報告されていますよね。
ロ・ジョンソク そうですね。この話はロ・ジョンソクたちのようなユーザーの立場では、トークンのコストが高くなったということなんです。
チェ・スンジュン 今は安くならず、高くなる流れに向かっていて、新しいモデルが出てくれば一気に高くなるでしょうし、今、Jevonsのパラドックスなんでしょうか。豊かになっているのに、何と言えばいいんでしょうか。それがぴったり当てはまるわけではないような感じもしますし、そうではあるんですが。
ロ・ジョンソク また、どれだけイノベーターたちが自分たちはうまくやったのだから高く払えというものがあったとしても、これ自体が何か著作権で保護されるレシピではないので、中国のlabが追随したり、あるいはGoogleがさらに莫大なリソースで押してくれば、その価格は下がり続けると見るのが正しいと思います。ですからロ・ジョンソクたちも事業計画を立てるとき、トークン価格が上がるということにbettingするよりは、トークン価格は引き続き非常に合理的な価格帯にとどまるだろう。0になるとまではロ・ジョンソクも言えません。だから合理的な範囲内にとどまると考えて事業計画を組むのが正しいと思いますし、
そのうえで重ねて申し上げますが、今のすべての事業はモデルから誰が能力をうまく引き出すかの競争なので、もうモデルを超える人が今は存在しないんです、人間の力では。
チェ・スンジュン それでもチェ・スンジュンは、ばらつきがあると言いたいです。特定の領域では超えられますよね。
ロ・ジョンソク つまりロ・ジョンソクが事業領域と言っているものは、ほとんど大半がB2B、B2Cアプリケーションや、それから生命工学や化学のような、こういう非常にエンジニアっぽい分野の話なので、人間の感性が存在する領域は、ロ・ジョンソクには分からないと言うのが正しいと思います。それで、さっきのtokenizerの話をもう少しすると、高くなった。高くなったんですが、
チェ・スンジュン 1.3倍、1.5倍？ そのくらいですよね。
ロ・ジョンソク 最大で1.4倍高くなったと言われていますが、スンジュンさんが今朝、KakaoTalkで共有してくださった記事を読んでみると、そこに統計分析がうまく整理されていたんですよ。その方がCJK言語と、それからコーディング言語、普通の詩、英語、そういったものを使って、ある分類を作って全部試してみたところ、CJK系言語のtokenizerは変わっていない。そのまま出ているようだ。もともとCJK系はトークンがかなり厳しく切られていたので、これ以上は切られていないようなんですが、
チェ・スンジュン 英語も変わっていないはずですよ、たぶん。
ロ・ジョンソク いえ、いえ。英語はかなり変わりました。つまりラテン語系なので、英語も含まれるんです。英語の散文や詩、そういうものも見ると、1.3倍になっていました。Claude Codeが使う普通のロ・ジョンソクたちのCLAUDE.mdの英語ですよね。それからコード類、そこが実は1.4なんです。ほぼ1.3から1.4です。つまり、Claude Codeを使う立場から見ると単純に平均トークン単価が1.3倍から1.4倍高くなったと見ればちょうど合っていると思います。
チェ・スンジュン そうなると、Proアカウントは実際かなり早く消耗してしまうんですよ。
ロ・ジョンソク はい、Proアカウントはあっという間になくなるんですよね。私もProとMaxのアカウントを両方持っていますが、高くなりました。
チェ・スンジュン 高くなりました。それから、それがほかのところでもそうなるかはわかりませんが、今のところOpenAI側はまだ少し柔軟にやっているんですよ。ずっとリセットしてくれるんですよね。Timoが何かあると一度リセットしてくれて。
ロ・ジョンソク つまりこれは競争の良いところだと思います。Codexにかなり移っていますよね。実際、人々はCodexにかなり移りました。
Managed Agentと脳・手のデカップリング 28:01
チェ・スンジュン そういうことがありましたし、もう一つ注目したいものがいくつかあるんですが、ここのスケーリング・マネージド・エージェントを面白く見ていたんですよ。
ロ・ジョンソク これは何ですか？私は見ていませんでした。
チェ・スンジュン このマネージド・エージェントというもので、図を見ればたぶん思い出すと思いますが、これです。それで、これも今Anthropicがまた追い上げてきていて、ほかのところでもやっているようではあるんですが、こういうものをきれいに分離する作業です。それで、もう少しOSっぽい方向へ進む流れでした。これはそれほど前ではありません。最近で、4月中です。4月中、4月に私たちがやっていなかった2週間の間にあったものです。
ロ・ジョンソク そうなんですか？マネージド・エージェントというのは、この少し簡単になったOpenClawをそのまま私たちのクラウド上で動かせ、という話なんですよね？
チェ・スンジュン つまり、記憶に関するものを分離しておいて、セッションではこれはストレージを自由に使える側。その次にサンドボックス化して、サンドボックスのコードやツール。つまりこれは少し脳のように、モデルとハーネスを合わせて脳のように、CPUのように置いて、残りのものを分離して、やり取りするレイヤーを作ったものです。
ただ、これが重要なのは、モデルがシークレットのようなもの、たとえばクレデンシャルで使うトークンなどをそういうものを何度も渡してしまうと、それが流出する可能性があるので、分離する作業のようなことをしたわけです。
ロ・ジョンソク 私はこれをかなり強引に要約すると、その時に私が感じた印象は、OpenClawのn8nエディションだ、というくらいに感じていたんですよ。
チェ・スンジュン サービスとしてきれいに整えて、ロックインさせようという戦略を少し取っているわけです。
ロ・ジョンソク OpenClawのような、そういうワークフローを私たちの上で作れ、という話をしているわけですが、私は個人的には、この上では作りません。作らないと思います。やはりOpenClawやHermesエージェントや、こういうものをその上でフォークするほうがはるかに速いと思います。
チェ・スンジュン 私はタイトルが少し印象的でした。これが脳と手をデカップリングする、分離するという、そういう概念へ向かっていて、この「マネージド」というものにも以前、マネージド版というのがあったじゃないですか。C++の上にC#が出てきたようにメモリを管理してくれて、そういう形でマネージド、あるいはマネージドKubernetes。だから、いろいろな重層的な意味でマネージドという言葉を使ったのだと思います。セキュリティも考え、安全性も考え、ミスが少し起きにくいようにして、簡単に抽象化してできるようにする方向へ進めているのですが、それをどうスケーリングするのか。
ロ・ジョンソク ただ、これはブレインとハンズという表現を使ってはいますが、これは私たちエージェント界隈ではすでによく使っているメモリとツールですよね。
チェ・スンジュン そうですね。ただ、バニラのClaude CodeやバニラのCLIを使うと、私も使っていて時々、自分はこれで大丈夫なのかなと思うほどモデルに重要な情報が露出してしまう場合があって、そういう部分をうまく捉えたという最近はセキュリティ、当然セキュリティが問題になっていますから、そういうものに合った解決策のようなものを提示し、モデル自身は絶対に脱出できないように閉じ込めておく、そういうアプローチをしているようだという印象でした。
ロ・ジョンソク ハーネスの本来の意味も、実は閉じ込める、コントロールする、そういう意味ですからね。どれほどモデルが良くなっても、個人であれ企業であれ、あのハーネスの存在は必ず必要になると思います。あの領域が、フロンティアモデルを作らない私たちにとって、ただ顧客とフロンティアモデルの間に唯一残されている領域なのだと思います。
チェ・スンジュン それから、私はこれも重要だと見ていたのですが、セッションをはるかに長く持続できるストレージで管理するということを、AmazonでもS3の新しい方面を出しながら何かやっていたものがありましたし、このセッション、つまりモデルが推論して作り出したものを主要な資産とする、そういうアプローチもあるということ。これをうまく分離しておいたように思うんですよ。なのでmdのようなものを私たちがファイルでそれを最近はよくやっているのですが、とにかくそのセッション自体を管理するそういうアプローチも面白く感じられたというのが、印象に少し残っていました。これも実は個人的には非常に面白く見ていたんです。4月14日に、このAutomated Alignment Researcher。
Jan LeikeのAutomated Alignment Researcher 32:12
ロ・ジョンソク スンジュンさんがお好きなテーマですね。
チェ・スンジュン Automated。つまり、これがAARで、結局はアラインメント方面に限られてはいるのですが、その研究を行う自動モデルなんです。それで、これの著者リストの一番最後にJan Leikeという方がいて、SSIをやっていた人じゃないですか。Ilya Sutskeverと一緒にSuperintelligenceをやるためにOpenAIにいた後、今は外に出た方ですが、ここで最後の部分が少し面白かったのですが、こういう自動研究者、自動研究者というのは、今すべてのビッグテックがやろうとしていることじゃないですか。自己増強する研究、それがアラインメントの問題であれモデルをトレーニングする問題であれ、それを自動で行うAI研究者を作ろうとすることは去年OpenAIも公言していたことですし、当然Google DeepMindもやっているでしょうし、Anthropicもやっているわけですが、ここで重要に扱っているのはこれを一種のヒルクライミング問題として解決できるのか、です。この方向で進めていけば自然に、下で話しているようにヒルクライミングするように問題が全部解決されるのか。でも私たちが観測する限りでは、そうではなさそうです。依然として好みと多様性はまだ人間がある程度ガイドしてあげる必要がある。ではそれをまたどう解くのか。
ただ、ここで弱いモデルがどうやって強い、ストロングなモデルをガイドし、学習させるのかということです。それで、それが非常に重要な部分なのですが、詳細に踏み込むのは難しいものの、去年Anthropicが多く出していたものがペルソナ、ペルソナベクトル、コンセプトファクター、そして最近ではエモーション、ファンクショナルエモーションという概念である種のベクトルのようなものについて話していたんです。ただ、それらはみんな似た方法を使います。コントラスティブな方法を使って、少し対照的にしてそうして浮かび上がってくる方向のようなものをチェックする方法なのですが、そういうものを使ってここに溶け込ませていて、興味深いのはなぜweakが重要なのかというと、結局は人間が弱いモデルになる、弱い状態でどうやってアラインするのかがJan Leikeが長い間掘り下げてきた問題なんですよ。より強力な存在をどうアラインさせるのかという文脈でこれを読むのですが、
ロ・ジョンソク アイデアと結果が妥当かどうかをチェックできる方法が必要だ。
チェ・スンジュン それで単に含意のレベルで話すと、これはまだ人間が理解できる程度の研究をしている。weakから出てくる概念だとか、そうしたものを組み合わせて、そういうものを見ると人間が理解できるものなのですが、私たちが備えるべきなのはこれが本当に囲碁の場合もそうだったじゃないですか。37手目が最初は専門家にも理解しにくかったようにそういう形の研究がモデルから出てきたときにそれをどう扱うべきかという問題を想像し始めたということです。
ロ・ジョンソク これも非常に高い確率で実はこのことは起きると見るべきだと思います。
チェ・スンジュン だからこの研究をしているのでしょう。
ロ・ジョンソク そうですね。人間がもはやverifierとして介入できない地点が出てくるはずです。だからAlien Scienceと言ったわけです。
Alien Scienceと人間verifierの限界 35:11
チェ・スンジュン それでweak modelである状態でどうそれを行うのかという問題を扱って、そのモデルを見ていく
ロ・ジョンソク weak modelというのは私たちのことを言っているんですよね。この人間のことを言っているんですよね。
チェ・スンジュン 今はモデルを置いてやっていることではありますが、それになぞらえて話しています。
ロ・ジョンソク 映画『Her』でも、サマンサがTheodoreのもとを去る理由はそれじゃないですか。あなたとは話が通じないから。
チェ・スンジュン とにかく、そういうことがあって、それに関連してここにあるエモーションというもの、そのあたりが少し面白いものがまたありました。なのでこれは映像を見るとちょっと面白くて短い映像があるんです。
ロ・ジョンソク でも、そのエモーションベクトルを見つけ出す研究を見ていて、これが何かエモーションという別の領域にただ集まっているのではなく、あちこちに散らばっているのを見て、エモーションも、これも、プログラムなんだなという気が少ししました。
チェ・スンジュン ただAnthropicのトーンとしては、これは人間の感情とは区別すべきファンクショナル・エモーションだとは言っていました。
ロ・ジョンソク はい、洗練された言葉で、むやみに一線を越えないわけですね。
AnthropicエコシステムのRed Teamとコミュニティのシグナル 36:12
チェ・スンジュン それで今見てみると、それ以外にも、このAnthropicの世界観の中でもこのくらいの頻度で出てきているこれ、それで今回私も知ったんですが、こちらの投稿もかなり面白いんです。これが2月頃にゼロデイ脆弱性を探すものがそのMythosにまでつながる、そういう話なんです。それでred.anthropic.comというブログもまたあって、これが全部ひもづいているんです。リサーチブログがあり、エンジニアリングブログがあり、コーポレートニュース、先ほどGPUが出てきてそういうときのもの、そしてどのように企業の間で何が起きているのか、バリュエーションがどうなっているのか、そういうニュースです。その次に、こちらのスタンス側は
人々が配布されたものを見て、隠れているキーや単語を使ってそういうものを見つけ出すUltraプランが事前に検知された、そういったニュースのようなものがあって、これはコミュニティで発見された内容なんですが、私がこれをどうやって作ったと思いますか。俯瞰するものを。
ロ・ジョンソク Claude Design。
チェ・スンジュン Claudeで作るんです。まだデザインではなくて、これからデザインに移っていくところではあるんですが。ニュースがあまりにも多くて、私が整理しきれないので、一度作ってみてくれと言ったんです。悪くないと思います。こういうものをざっと見るのに、どんな出来事があったのか、思い出すために一通り眺めると、ツールチップで出てきて、そうだ、こんな出来事があった、と思いながら今日準備しつつ、一度ざっと見てみました。
ロ・ジョンソク オンデマンド用途ですね。本当に。
チェ・スンジュン ところが4.7が出てからは、実はコミュニティで一度大きく話題になったのが、4.7の性能ではなく、Claude Designの性能が昨日今日の話題になりました。そちらに一度移ってみましょうか。
Claude Designとフロントエンドのフィードバックループ 37:52
ロ・ジョンソク はい、Claude Designに一度移ってみましょう。
チェ・スンジュン それでClaude Designのイントロ映像を一度見ると、Claude Designに出会おう、ということで今、Excelとか、とにかくいろいろなアイコンが出てきて、こうやってタイピングされるもの。でも今これ、動画ではないんです。今この子たちは全部
ロ・ジョンソク 全部DOMですね。
チェ・スンジュン はい、DOMです。DOMで今
ロ・ジョンソク 全部HTMLで作って。
チェ・スンジュン リアルタイムでアニメーションしているところなんですが、これ自体をClaude Designで作ったようです。
ロ・ジョンソク これは元々Remotionという会社がこれをやっていたんですよ。その会社を買ったはずはまずないので、ここもワンクリックでやったんですね。
チェ・スンジュン それで今これが出てからは、Figmaの株価が7%ほど下がったという話も聞こえてはいるんですが。入ってみると、それからこれはuseを別に使います。今リサーチしている間はトークン使用量が別に計算されるんですよ。それで今、私もひとまずexampleを一度そのまま見ると、ここに出ているものは、このくらいのプロンプトを入れると今こういうものを作るんですが、こういうものが全部、相互作用できるエレメントを使っていてシェーダープレビュー自体も動作可能な状態なんです。それが去年11月ごろにGemini 3が出てから、その時に出ていた論文が、どうやってフロントエンド側でフィードバックループを閉じて性能を上げるか、という話じゃないですか。それでGeminiではそういうことをやっている。
ただ実際には、フロントエンド側のデザインの好みが良かったのはClaudeだったんですよ。OpenAI側が一番劣っていて。ところが今回見ると、かなり興味深い製品を作ったという印象を受けました。そしてそれが市場、というよりはタイムライン上の反応として出てきているんですが、ここを見ると、私も今少し前にこのタイムラインで見たバージョンをデザインさせて、それを3Dで見られるようにしたものをワンクリックで作った、そういうものです。それで先ほどのある状況でそれを俯瞰できるようにするそういうツールを作ってみたんですが、これがデザインファイルに入ると、スクラップのようなものはここですぐデザインできます。そしてこれが情報として入ります。contextの中に。なのでこれはただ線を引いただけではありますが、おそらくimportも全部できて、既存のCanvaなどへのexportもそちらにできて、以前にやった作業やアセットを読み込むこともできて、ここで最初からscratchで作業をするようなこともできるように、よく作ってあります。
これがcontextにそのまま入る状況なんです。そしてその次にここを見ると、いろいろな種類のアセットがあったんですが、私がプロジェクトに戻ると、スタイルのようなものが設定されていれば、ここにCSSができているじゃないですか。ここですぐ編集もできます。saveできるんですよ。つまり生成するだけではなく、以前のCanvas初期のようにすべて編集までできるツールになって、ある項目についてそれをピンポイントで選んで、フィードバックを出すものが、たぶんデモ映像にあったかな。デザインアセットを、だからこれをやったことと、それから連想されるのが、最近 Claude Code アプリもアップデートされましたし、Codex アプリもデスクトップアプリが、どちらもアップデートされたんですよ。ところが、どちらにも何が入ったかというと、アプリ内ブラウザが入りました。なので、こういうWeb形式で出力されるものは、すぐ外部ブラウザ、つまり元からあるブラウザで開くのではなく、アプリ内で開いて、それを inspect できるようになっています。そしてそこで何がきちんと動作したのかを、Claude Code もそうやって見てキャプチャして、Google Antigravity が初期にそうだったように、そうしてフィードバックループを閉じることが今できています。
Claude Code・Codexアプリとアプリ内ブラウザ 41:02
ロ・ジョンソク そうです。これが一番大変だったんですよ。アプリケーションを作るとき、だから element ごとに全部 ID を付けて、フロント側でその ID を扱って、ここのサイズを少し縮めて、広げて、何かをして、ということが手作業だったんですが、それがものすごく便利になりましたね。
チェ・スンジュン そうですね。つまりこれができた後には、これをやったからこそ、Claude Design のような製品が出てきたんでしょうね。フィードバックループを閉じたからです。
「クリック」の時代とwrapperビジネスの脆さ 42:06
ロ・ジョンソク 非常に多くの含意が隠れているんですが、いくつか一度話してみましょうか。私の考えでは、これ、私たちがつい最近まで、Pencil というサービスが強く推していたもので、私がこれを見ながら感じるのは、Pencil とまったく同じだな、という感じなんですよ。つまり結局、その会社のサービスも、Anthropic にワンクリックでやられたわけです。
前回のエピソードは、多くのエンジニアの方々の怒りを買いました。私たちのコメントを一度見ていただくと、コメントには悪口を書いている方も多いですし、それから、そうしてはいけないという書き込みも多いですし、そしてその部分についてはすべて理解しています。全部理解しているんです。
ただ、世の中が、私たちがそのエピソードを通じて話したかったキーメッセージは、それの善し悪しとは関係のない世界が広がっていくということが、私たちが伝えたかったメッセージだったんです。
チェ・スンジュン 少しセンシティブかもしれないので、善し悪しに関係はあるけれど、とにかく move on、moving on が、現象としては起きているということですよね。
ロ・ジョンソク つまり Anthropic も、今それを見せているわけです。外にあって、非常に先に出てきてやっていたアイデア、そういうものがそのまま内側に入ってきたんですが、実際、Anthropic が Pencil を買収して、何かを作ったという話はまったく聞いたことがないんですよ。
チェ・スンジュン ロさん、三体の話を少しされていませんでしたか？
ロ・ジョンソク その三体の話は私がしたのではなく、私たちのコメントに付いていたものを、私が読んで差し上げたんです。もう私たちは皆、暗黒の森の中にいる。企業のwrapperが発覚した瞬間、カチッとやられる、そういうことですよね。つまり外に出て、何か目的物がこういうものだと。最終成果物の目標objectiveをピンポイントで示せる何かが、より上位のintelligenceのtargeting対象になればそれはもうそのまま即座にカチッとやられるわけです。
チェ・スンジュン 作るのがあまりにも簡単になったわけですよね。これに入って見たときにそれを実際に実装するコードの品質はどうかわかりませんが、PMFで見たときには今のfitに合うものをタイミングよく出したわけです。
第一の逃げ道、ChatGPT unbundling 44:01
ロ・ジョンソク 私が最近考えていることのある種、少しlocal optimaのようなものなんですが私たち逃亡者の観点から考えてみると私たちはこうしてsuper intelligenceに全部つつかれて私たちが圧縮されていく、こういう世界でいったい何をすべきなのか、というのが私たちの問いじゃないですか。いつも私は今、逃亡の方向はきっちり二種類に整理しているんですが一つ目が、例えば私がClaude CodeやCodexや今存在しているハーネスエンジニアリングは極限まで使えるという前提は、先に置いておきます。それができなければ実際、そもそもゲームに参加することすらできないわけですから。しかしモデルを作ったりそういうことはできない、ちょうど私たちくらいのレベルだと考えたときに、取れる方法が二つあるんですが一つ目の方法は、ただ慣れ親しんだものです。さっきのこのClaude Designが提供するもの、Claude Codeが提供するもの、Codexが提供するもの。結局は、こうした先進的な文物を先に見ている観点から見たときに過去から後を追ってくる、まだ過去にいる顧客たちを見るとですね。いまだにNAVERを使っている方がほとんどですしそしてAIを使うにしても無料モデルを使っている方が大半です。Max料金プランに課金して何かこのfrontierで起きていることを追いかけている人たち、私は全人口、あるいは韓国の人口だけで見ても5%未満だと思うんですよ。5%でもかなり多めに見ている気がします。1%から2%くらいではないでしょうか。もしこれが10%だったなら私たちの登録者数は数十万人にはなっているでしょう。でもそうではないことから、そうはならなそうなことから見るとちょうど1万人、2万人、多く見ても数万人くらいがこれを今追いかけている人なんです。ですから、そういう観点から見たときにまだ残っている5千万以上の顧客層がいます。PowerPointをうまく作れる人、PowerPointが登場してから30年以上経っているのにいまだに数えるほどしかいません。そんなふうに、ツールが与えられてもこれを使いこなせる人は非常に少ないはずなので私たちがいつも話していたこと、Benedict Evansが言っていた話を、いつもお伝えしていたじゃないですか。unbundling ChatGPT、unbundling Claude Code、unbundling Codexをしながら、そのそれぞれの数多くの小さなビジネス領域へと、展開できるB2CとB2Bが、また開かれる。
必ずです。だからそちらへ進む方向が一つあります。ただ、その方向性を取ると、実はCodexが終わらせてしまった、Claude Codeが終わってしまった、というのはちょっと大げさな騒ぎすぎです。顧客を見れば、顧客と最新技術のあいだで顧客に提供すべきものは、いつでも見えてくるんです。そして、そういうことが得意な今の創業者たちがたくさん出てきていると思います。だからそういう方々を見ながら、私もこのunbundling ChatGPTをB2B、B2Cの視点で、10年かけてこの変化についてくる顧客にじっくり売っていくことは、依然として非常に大きな事業として存在するだろうと。Web 2.0であれ、モバイルアプリブームであれ、今度はAIアプリケーションブームが一度起きることは、これは明白なように思います。だからそちらは依然としてやってみる価値がある、というのが一つの方向で、二つ目の方向はまさにIsomorphic Labsのようなものです。
第二の逃げ道、AI for Science 47:19
ロ・ジョンソク 依然として非常に大きなドメインで、それをやっている人は非常に少ないのに、longevityの問題を解決するとか、あるいは超伝導体を開発するとか、物理とscienceの領域ですよね。そのAI for Scienceの領域を見分けるのは簡単で、あるドメインを見たとき、そのドメインにいる人たちが話している用語が耳に入ってこなければ、それはもう新しいドメインなんです。たとえば今のGPT-Rosalindであれ、あるいはGitLab CEOが自分のがんを治療したじゃないですか。骨肉腫という、骨肉腫。脊椎にがんが育つ、そういう腫瘍なんですが、そのステージ4の患者が生き延びたんです。自分用にパーソナライズされたワクチンを作る形で。ところが今度は、それらをOpenAIのチャンネルに来て撮ったんですよ。コンテンツを。ところが、そういうものの再生数を見ると、1万単位にも届きません。数千単位で出ているんです。人々がそれを開いて見ても理解できないので、そのまますぐ閉じてしまうんですよ。frontierにいる人たちでさえ、新しく聞こえるドメインがあるんです。
チェ・スンジュン 私はこのGPT-Rosalindのプロンプトを見て、宇宙語だと言ったんですよ。
ロ・ジョンソク あの中にある、あの単語たち。そうなると、あそこは化学と、生化学、それからbiology、こういうものがすべて融合してこそ、あのtermたちが入ってくるんです。
チェ・スンジュン これを、私がまた面白い実験をしたんですが、これがどういう意味なのか気になって、Opusと会話してみました。私が、それはたぶんこれだったんですがそれでこれをちゃんと読んでみようとしたんですけどそれを読解すること自体も媒介でした。AIを使って自分がこれを勉強するならもう一度、基礎から勉強し直さないといけない。これを自分に説明してもらっても、何の話なのかよく分からない。何度も段階を置いてもっと簡単に、自分が分かるようにしてくれと。それを経ても、分かるかどうかという感じでした。
ロ・ジョンソク ところが本当に面白いのは私も今、そのフィールドを補強しようとして実はAIを追いかけることよりも生命工学の書籍をはるかに多く読んでいてそちらの論文をもっと多く見ているところなんですがそれらを見ながら感じることなんです。モデルはすでに知っていることがものすごく多いんですよ。
チェ・スンジュン もちろん専門家から見ると誤りがあり得るstageではありますがそれが解決されるかどうかは分かりませんけどとにかく専門家が見るほどの知識は知っているわけですよね。
ロ・ジョンソク それから私たち逃亡者連合のスンウさん、ジョセフが実験したものもありますし私もやってみながら感じることなんですが例えばこのモデルのknowledgecutoffでは絶対に見ていないはずの論文が出てくるじゃないですか。バイオのほうで新しいdiscoveryが。そうすると私がその結論を取り除いてただ前にあるいくつかの仮定だけにして入れて推定しろと言うと、似ているんです。非常にこういう方向、こういう方向が可能そうだと言ってくるのを見るとこのモデルはもしかすると、すでにこの統一場理論についての何らかの心象も、どこかに持っているのではないか、そのくらいのことを思います。
つまり、やはり私がさっき申し上げたじゃないですか。frontierの、つまり二つの方向の話をしていてこちらに少し逸れましたが、一つの方向は話しました。ただB2B、B2Cで、その先にいるcustomerたちをservingする領域はものすごく大きくなるはずなのでその部分をもう始めなければならない、という話をしているわけで、二つ目、これも依然として大きいですが、その方向へ行くには少なくとも私たちがこの人間のfield knowledgeをもう少し広げなければならないんです。
依然としてその問題も私は非常に機会が多いと感じているのですがそういうあれこれは医師たちがやるべきことじゃないのか？ いいえ。医師たちは、たとえとしては少しあれですが少し航空機の機長のような人たちなんです。
チェ・スンジュン ご覧になっている方々の中にも、逃亡者連合にも医師の方々がたくさんいらっしゃいますから。
ロ・ジョンソク そうです。つまり飛行機がどう飛んで何をしなければならないのか、turbulenceに遭遇したり、着陸したり、離陸したりするときの、そのときのpracticeはすべて知っていますが飛行機の中で起きていることを全部知っているわけではありません。このエンジンが何になる、何になると言えばそれは全部、細かく分かれているんです。ところが医療体制から見るとそうしたものには、依然として解決すべき問題が多いんです。
個別化精密医療とゲノムモデルの機会 51:40
ロ・ジョンソク GitLabのCEOだったSid Sijbrandijという人がいるんですが、Sidが話しているのは、医師のincentiveと患者のincentiveがまったく違うということです。医師のincentiveは、自分の責任の所在を減らすことにあり、liabilityを減らすことにあり、患者のincentiveは自分の解決策をmaximizeすることにある。ところがその二つが病院では明確に衝突するので、実際、よくある癌にかかった人たちはある程度治療されますが、希少癌にかかった人たちには答えがないんです。
でも私は、癌はもう事実上、終わった問題だと見ています。かなり乱暴に要約すれば。つまり、努力すれば。
チェ・スンジュン それなら本当にいいですよね。
ロ・ジョンソク 努力すれば。そしてこれは絶対に、今私たちが慣れている第1相、第2相、第3相の試験を大規模に進めるのではなく、必ず個別化されたpersonalized precisionmedicineの領域にならなければならないもので、これはそもそも存在しないindustryなんです。既存の製薬会社でも医師でも何でも、すべて存在しない領域なんですが、その途切れているloopにAIが入って、すべて埋められそうなんです。これがバイオだけかというと、化学もそうですし、他もそうで、あらゆる領域で、私たちが知っているドメインにはすべて必要になるはずなので、もし自分が少し勉強するのが好きで、それから私が先ほど申し上げた一つ目の領域、unbundling ChatGPTをする領域は、皆さんだけがChatGPTを使うわけではないので、事実上、極めて激しい競争に巻き込まれる可能性はあります。そうした点は考慮しなければならず、ただ、勉強するのが好きで、他の領域で、競争はずっと少ないけれど重厚長大な方向に行きたいというなら、こういう領域が開かれている。
だから二つの方向があるように思います。AI for Scienceの領域が一つの大きな領域として開かれつつあるようで、もう一つはunbundling ChatGPTがあるようで、どちらもモデルのスーパーインテリジェンスのcapability overhangに基づいたただのサービス業にすぎない。私たちが何かものすごいIPを作って、そのIPを持って何かこう、ポジションを享受できるような事業は、今後は少しずつ少しずつ減っていくのではないか、そんな気はします。大きく二つの方向性くらいがある。
チェ・スンジュン でもまた心配になるのは、化学や植物のようなものをやると、キッチンラボが氾濫するかもしれないんですが、それはまた危険なことじゃないですか。
ロ・ジョンソク でも例えば病院で、もうこれ以上治療法はありません。ところがステージ4の癌患者だとする。そうするとその人たちは、
チェ・スンジュン 何でもやらなきゃいけないですよね？
ロ・ジョンソク 死ぬよりは、何かをするほうが正しくてそれがまさに、このYouTubeでSid Sijbrandijがやっていたことなんですよ。ここ3、4年ほどで起きたことなんですが、結局はデータをmaximizeして、その人の体から出てくるデータなんて、いくつもないんです。遺伝子データ、それから血液から読み取る生化学的なそういうデータ程度のシグナルしかないんですよ。でも、もっと極端に要約すると、Sid Sijbrandijが解決したのはただ全部、遺伝子シーケンシングでやったんです。biologyを完全にソフトウェア工学に置き換えて、そこでヒントを見つけ、ソリューションをどう作ればよいかを導き出したわけです。最近Arc Instituteが作ったEvo 2というモデル、あれは遺伝子のファウンデーショナルモデルなんですよ。LLMは単に単語のシーケンスを学習したものじゃないですか。そのEvo 2モデルは、だいたい40Bくらいの40Bパラメータモデルなんですが、酵母から細菌、そしてニワトリ、人間、いくつかの哺乳類などのgenome sequence、そういう読み取られたデータが全部あるじゃないですか。それはすでにDBとして存在しているんです。それをそのままpre-trainしたんです。
チェ・スンジュン LLMとあまりにも相性がいい、親和性があると見るべきですよね。
ロ・ジョンソク 遺伝子で見ると、全遺伝子のうち、だいたい2%だけが実際にタンパク質をコードしているのであって、残りは全部コントロール遺伝子だったり、あるいはダミーバイトだったりして、それらが互いにinteractionして、epigeneticに発現するわけです。そのepigeneticがどう発現するのかという秘密を解いたのがAlphaGenomeなんです。
チェ・スンジュン それはepigenetic、つまりエピジェネティクスとして、遺伝子の標識を後天的にオン・オフできる、そしてそれがどんな効果を引き起こすか、という方向ですよね。
ロ・ジョンソク 精子と卵子が受精して最初に存在しますよね。そのgenomeと、それから私たちの爪や皮膚、こういうところにあるgenomeは、実は同じなんです。でも、なぜあるものは心臓細胞で筋肉になり、あるものは神経細胞になり、どこか別のものになるのか、それを司っているものが、実はepigenomeなんです。だから、ある場所では「あなたはこの部分だけ発現しなさい」、別の場所では「これを抑制しなさい」といったものがコントロール領域に入っていて、それが発現して機能するのがepigeneticsなんですが、それに関することをAlphaGenomeがやっているわけです。実際、私たちが幼い頃はある種きれいな遺伝子セットを持っていますが、成長するにつれて化学的な刺激だったり、紫外線だったり、そういうものに実際にさらされながら、遺伝子配列がずっと変わっていき、配列そのものが変わることもあります。
変異が起きるので。そしてそれが大きく変わると、それががんになるわけで、また、その配列が維持されるとしても、その配列だけがコピーされるのではなく、実はそのepigenome、それが中でヒストンというタンパク質やそういうものにぎゅっと結びついているんですが、それさえも継承されるのですが、それも崩れていくものが問題になるんですよ。だからそういうものを明らかにしていくわけですが、Sid Sijbrandijがやったことも結局は、自分の腫瘍をシーケンシングして、配列を読み取り、自分の体細胞を読み取って、その体細胞の中でもgermline、somaticといって複雑にあるのですが、読み取ったあとに、ある過剰発現したタンパク質を見つけるんです。
それを昔COVIDワクチンを作ったように、COVIDワクチンはそのスパイクタンパク質をそのままmRNA配列として体内に入れて、それが抗原をたくさん作るようにしたのが、ある治療のメカニズムだったんですよ。それと同じことをしたんです。だからがん細胞で過剰発現するタンパク質に対して、体内に大量にその抗原として入れて、mRNAワクチンとして入れて、自分の体にはTCRTというものがあるのですが、食べてくれるT cellがあるじゃないですか。T cellがそれを認識するようにして、がん細胞を食べるようにしたんですよ。
でもこれは、見れば複雑に話してはいますが、これ全部software engineeringなんです。最後のwet labで、つまり実験室で、そのmRNAワクチンを作る区間だけが、実は私たちが知っていた従来のバイオテクノロジーの手法が使われたわけで、もちろんその配列を読み取るためのある前段階にも非常に多くのバイオテクノロジーが入っていますが、
チェ・スンジュン ではwet labに行く前までは、シミュレーションでかなりカバレッジがあるということですね。
ロ・ジョンソク そうです。かなりどころか、それで全部見つけたんです。ソフトウェアでそうしたわけです。これが私が逃亡者の皆さんに提案する2つ目の逃亡領域です。
Attention Business時代の嗜好と意思決定 58:56
チェ・スンジュン どちらも簡単な道ではないという結論ですね。そうすると一つはものすごく過飽和になるでしょうし、もう一つはものすごく難易度がありそうな。
ロ・ジョンソク つまり実はDeepMindがコーディングをあまりしていない理由が、全部ここにあるんですよ。こちらでcomputingをものすごく使っているんです。でもDemisはLLMをやりたがっていなかったんですよ。だから人類を死から救うことのほうが、コーディングエージェントを作ることよりはるかに重要な仕事だと、Demisは考えているようです。
チェ・スンジュン これも私なりに締めくくりのほうへ行くなら、脳の可塑性は両刃の剣のようです。新しく学べるようにもしますが、何かを壊すこともあるようです。どんな情報を吸収するかによって。だからあまりにも多いこういう信号の中で、意味のあるものをcatchすることが本当に重要だと思うのですが、それ自体があまりにも難しいんです。多すぎます。
ロ・ジョンソク それがうまくできるなら、もう私たちは神の領域に行くと見るべきでしょう。
チェ・スンジュン AIを使っても、見るものが多すぎます。
ロ・ジョンソク だから、そうするとそのAIを使っても多いという点には、二つの側面があると思います。一つ目は、OpenClawをうまくセットアップして反復的な業務のようなものはできるだけうまくデリゲーションすること。その中でシグナルとノイズを見分ける能力が人の価値になるのでしょう。
チェ・スンジュン 4月にこれがまた非常に話題でした。これも一度、別に扱ってみる価値のある話ではあるんですが最近はただ、個人用ontologyのようなものがknowledge baseで急激に流行ってしまいました。
ロ・ジョンソク これも一度扱うべき、本当に重要なテーマです。メモリーマネジメント。
チェ・スンジュン 実装の難易度があまりにも下がりました。ただこれをClaude Codeに入れて、やってくれと言えばやってくれるくらいに。そうなったときに結局は知識を管理し、こうした膨大な情報の中で意味を見つけることがどうあるべきなのか、こういうことが悩みどころなんです。こうしても、依然として多いので。だからこれも一度準備して扱ってみるとよさそうだと思いつつ、今日は締めくくらなければならないと思います。
ロ・ジョンソク これは一つ、完全に取り上げるべきものでジョンギュさん代表がGyeolというものを作られたこと、キム・ソジュン代表がMemKraftというものを作ったこと、こういうものも全部。
チェ・スンジュン 最近はみんなそういうことをやっていますよね。
ロ・ジョンソク ただ、重要だと感じられる点はつまり、それは私にとって人の価値にあたる部分なんですが、私たちがさっきalignmentの話をしたときも、結局は好み、その好みに対する意思決定、ここが重要だ、ここをやるべきだ、ということがその人間の価値になる世界なんです。では、その中でも私たちも私たちなりの決定をするじゃないですか。あの生命科学の分野を一度扱うのは本当に重要そうだ。その次に、メモリーマネジメントを扱うのは重要そうだ。モデルが何をしたらしい、という話は一度だけやって、置いて先に進む。こういう形の決定をするじゃないですか。実際、私たちがOpus 4.6、4.7のtokenizerの話をもう一度することは永遠にないじゃないですか。
チェ・スンジュン これが一種のattention businessになりつつあります。
ロ・ジョンソク その好みをうまく見極める人の価値はさらに高まるわけです。つまり、こういうことをすべて知ったうえでこの状況で明確な決定を下す意思決定者の価値はさらに高まるんです。だから、すべてが憂鬱なことばかりではない。では今日はこのくらいで締めくくって、私たちの次のセッションでまた一度話してみたいと思います。お疲れさまでした。
チェ・スンジュン お疲れさまでした。