EP 113
GPT-6 Astra 이후, AI의 생각을 어디까지 볼 수 있을까
GPT-6 Astra와 AGENTS.md·스킬 다시 보기 00:00
노정석 녹화를 하고 있는 오늘은 2026년 9월 6일 일요일 아침입니다. 이번 주에도 소식이 굉장히 많았는데요. 아무래도 메인은 GPT-6 Astra일 것 같아요. 타임라인이 온통 이 Astra 이야기로 꽉 차 있는데요. 저희가 사용해 본 지 하루 이틀 정도가 되었고, 타임라인에도 굉장히 많은 소식이 있는데 승준님, 한번 Astra 이야기 오늘 해 주시겠습니까?
최승준 짧은 시간 안에 사용해 보고, 그다음에 여러 가지를 조사해 봤는데요. 첫 번째는 오늘 아침에 본 얘기인데, 「GPT-6 Astra를 위한 스킬과 프롬프트 다시 생각하기」라는 글이 올라온 게 있습니다. 이것도 OpenAI 쪽의 Eric이라는 분이 얘기한 거거든요. 그런데 이건 자세하게 읽기보다는 핵심은 기존에 만들어 놨던 AGENTS.md가 발목을 잡는다는 겁니다. 거기에 너무 구체적인 지시 사항이 있으면 싹 다 마이그레이션하는 것이 좋다는 얘기입니다. 공식 모델 가이던스 페이지에서도 어떻게 마이그레이션해야 하는가에 대한 팁을 많이 줬습니다. 여기 보면 기존에 있던 게 왜 방해가 될 수 있고, 어떻게 하면 그것을 해소할 수 있는가라는 얘기들이 잘 적혀 있고요. 그런데 저는 AGENTS.md를 많이 쓰지는 않거든요. 쓰세요?
노정석 네, 저는 쓰죠.
박종현 저도 그렇게 많이 쓰지는 않습니다. 비슷한 맥락의 이야기가 이번 YC Startup School에서도 Boris Cherny가 CLAUDE.md 프롬프트를 다 지우고 새로 써서 80%가 없어졌다나, 예전보다. 그런 이야기를 했었거든요. 결국 모델이 똑똑해져서 알잘딱을 잘한다, 이렇게 볼 수 있을 것 같은데, 저도 그래서 항상 작업마다 새로 만드는 것 같아요. 몇 번 보여주고 이대로 하라고 하면 기존에 있던 것들도 점점 알아서 없어지더라고요. 내용들이나 구체적인 지시 사항들이요.
노정석 저는 QA를 빡세게 하는 그런 루프들은 몇 개 넣어 놨는데, 왜냐하면 제가 시키지 않더라도 한두세 번 정도는 QA가 돌고 저한테 결과가 떨어지도록 해 놓은 것들은 있는데, 이번에는 한번 걷어내 보고 그냥 vanilla GPT-6로 해 봐야겠어요.
최승준 저도 종현님하고 비슷하게 매 프로젝트마다 다시 하거나 안 하거나 하거든요. 그냥 얘기하면서 하고요. 그다음에 「다시 생각하기」 글에서도 skill이 방해가 되는 경우가 있대요. skill을 잔뜩 설치해 놓으면 그게 헷갈리게 한다. 싹 다 정리하는 게 좋겠다는 뉘앙스가 좀 있었어요. 그래서 피곤하지만, 이게 이번만이 아니라 모델이 계속 나올 때 반복해야 하는 일인가 싶기도 하고요. 모델이 또 나온다면서요? Astra 다음 모델을 연말 안에 내겠다고 공언한 상태고요.
노정석 네, Sam Altman이 ‘much’를 세 번 써서 ‘much, much, much better’ 모델이 지금 파이프라인에 준비 중이다.
시간과 비용으로 비교하는 모델 성능 03:00
최승준 그래서 이게 Astra나 Fable 5.1에 대한 얘기가 아니라, 계속 어떤 트렌드로 가고 있고 우리의 인식을 어떻게 영점 조정해야 하는가가 오늘의 화두여야 할 것 같습니다. 한번 가 볼게요. 공식 사이트를 보면 저희가 주목했던 게 이런 식으로 축이 여러 개 나온다는 거였잖아요. 벤치마크에서 특히 API cost, 이게 얼마나 token 효율성이 있는가, 그러니까 적은 돈을 써서 일을 수행해 내는 쪽으로 이런 것을 보여주는 지표들이 이동하고 있는 것 같은데요. 이건 어떻게 보셨나요?
노정석 원래 저희가 벤치마크가 다 포화됐다는 이야기 많이 했었잖아요. 전부 다 99%인데 이걸 어떻게 차이를 보냐고 말씀드렸었는데, Noam Brown이 제시한 게 이 표에 잘 녹아 있는 것 같은데요. 얼마나 짧은 시간 안에, 얼마나 적은 비용을 써서 그만큼의 벤치마크에 이르느냐는 시간 지표와 비용 지표를 같이 표시해야 한다는 이야기를 했었는데, 앞으로 나오는 모델들은 전부 이 그래프가 표준이 될 것 같아요. 얼마나 짧은 시간 안에 그 벤치마크에 도달하는지. Astra가 굉장히 일을 잘한다는 느낌을 갖게 되는 게 이 지점인 것 같아요.
최승준 종현님도 얼핏 저희 단톡방에서 얘기하신 게 medium 정도인데도 빠르게 일을 잘했다, 그런 말씀 해 주셨잖아요.
박종현 네, 저도 써 본 경험상 아직 하루밖에 안 돼서, 제가 써 본 task에서는 월등하게 엄청 잘한다는 건 느끼지 못했고요. 대신 빠릅니다. 왜냐하면 medium으로 해도 그전에 extra high를 줘야 했던 그런 정도의 task들이 꽤 잘되더라고요. 그렇다고 Astra한테 extra high를 준다고 엄청나게 잘하냐 하면, 저는 그건 느끼지 못했습니다. 그건 task마다 엄청 다를 테니까요. 그리고 저는 API cost라는 지표를 x축에 넣는 걸 보면서, 최근 Dwarkesh 편에서도 나왔고, compute 수요는 계속 늘어날 거고 compute 가격은 점점 올라갈 수밖에 없고, 그러면 결국 같은 전기량을 먹거나 인프라 비용을 소비했을 때 가치를 많이 생산할 수 있는 task들만 살아남을 것이다. 이런 논조의 이야기가 좀 더 와닿는 것 같아요. 여기 지표도 다 API cost로 만들어진다는 것 자체가요.
최승준 이 함의 자체가 결국 task 완료당 과금할 거라는 추측하고도 결이 맞는 것 같아요, 앞으로는.
노정석 그런데 이 그래프들을 이렇게 나열해 놓은 것을 저도 쭉 몇 개 봤는데, Fable이라고 하면 Claude의 가장 최상급 모델인데, 그것보다 다 높아요.
최승준 높은 것들이 많고, Fable이 여전히 높은 곳, 5.1이 높은 것도 있기는 한데, 현재 Astra가 조금 더 이슈가 되고 있죠. 타임라인에서는요.
노정석 한번 쭉 가 보시죠.
최승준 한번 쭉 가 보면, 제가 먼저 두괄식으로 앞으로 끌어오면, 저희가 5월에 Dwarkesh의 Reiner Pope 편에서 보면, 가격이 많은 것을 말해 준다고 했잖아요. 그걸 가지고 pre-training이 얼마가 됐을 거다, 그런 식으로 추정하는 얘기들이 있었는데, 거기에서 차감해 가지고 지금 가격이 입력 10달러, 출력 50달러로 약 2.5배 정도죠. Sol 대비요.
노정석 그렇죠. 그 정도로 알고 있습니다.
최승준 네, 그래서 Sol이 아직 할인된 가격이긴 한데, 어쨌든 그걸 감안했을 때 과연 지금 논란이 되는 recurrent depth가 있는 거냐, 아니냐, 그런 것들을 탐색해 봤거든요. 그런데 상당히 흥미로운 지점들이 있었습니다. 한 번에 더 잘하는 거죠.
노정석 짧은 시간 안에 높은 품질의 일을 끝내는 게 이 모델의 특징이라고 모두가 얘기하고 있죠.
No-CoT와 보이지 않는 추론 06:59
최승준 그래서 그게 어떻게 된 거냐. 가격이 올라갔다는 것은 저희가 인식하고 있는 게, 결국 GPU를 쓴 만큼의 가격이 원가 근처에서 반영될 거라는 거면, 지금 뭔가가 커진 거잖아요. 확실히 2.5배 정도 커졌다는 것은 MoE가 더 많은지, depth가 더 긴지, 어떻게 됐든 GPU를 더 많이 썼다는 얘기니까, GPU가 됐든 어떤 계산 자원을 많이 썼다는 얘기니까, 그걸 가지고 얘기해 보려고 하는데요. 일단 여기에서 몇 가지 가설들이 세워져 있는데, 여기 No-CoT라는 게 이번에 이슈가 됐거든요. 시스템 카드를 보면 monitorability 근처의 구절에서 이 CoT를 가지고 모니터링하는 게 예전에 비해 의미가 줄어들었다, 그게 우려스럽다는 얘기가 있어요. 그리고 reasoning effort none이라는 걸 쓸 수 있더라고요. 그래서 저는 이게 이번에 생긴 건가 했더니, 원래 있었더라고요. GPT-5.x 시절에도 reasoning effort none으로 하면 바로 응답하는 거요. 혹시 그렇게 사용해 보신 적 있으세요?
박종현 예전에는 많이 했었죠. 그랬는데, 최근에는 생각해 보니까 low를 쓰면 썼지, 전혀 안 쓰는 경우는 한 번도 없었던 것 같네요. 물론 그 reasoning trace를 제가 보지는 않지만, low를 써도 체감상 바로바로 답이 나온다는 느낌이 있어서 그런지, 생각해 보니 써 본 기억이 없네요.
노정석 최근에 ChatGPT에 뭘 시킨 적이 거의 없는 것 같아요. 대부분 기본 Codex 인터페이스를 가지고 프로젝트별로 하다 보니까, 거기에는 none이 없어요.
최승준 ChatGPT를 그냥 쓸 때는 그 none이 있었거든요. 그게 GPT-5.x 시절에 있었어요.
노정석 Instant라고 표현하는 건가요?
최승준 API에도 있었는데, 이번 Astra에서는 none은 감춰 놨고, 자체에서 쓸 때는 none을 쓸 수 있는데, 외부에서는 none을 못 쓰게 막아 놓은 상태입니다. 그래서 최소가 low예요. 그런데 왜 그렇게 했냐 하면, 여기 내용에도 나오는데, 이 시간 지평이 8.6배가 수학에 관련된 문제를 풀 때 나오거든요. 시스템 카드에 나오는 예시 중 하나가 어떤 수학 문제를 풀었는데, 인간 기준으로, 잘하는 인간 기준으로, 예전에 GPT-5.6 Sol 시절에는 3분 정도 인간이 풀어야 하는 문제를 reasoning 없이 숫자로 정답만 얘기하는 거였는데, 지금 Astra는 30분 정도 인간이 푸는 것을 reasoning 없이 한 번에 내놓을 수 있다. 그래서 그게 함의하는 바가 아주 복잡한 게 있는 것 같습니다. 원래대로라면 test-time scaling에서는 밖으로 token을 외재화해서 이렇게저렇게 우리가 가설을 세우고, 뭘 어떻게 할 거라는 token을 나열하면서 했는데, 지금은 그런 것 없이도 한 번에 복잡한 문제를 추상화시켜서 푸는 것을 한 번의 forward pass에서 할 수 있다. 이게 지금 Astra에서의 큰 이슈인 것 같아요. 그리고 그게 우리가 앞에서 이야기했던 결과로 드러나는 거죠.
노정석 이게 recurrent depth랑 연관이 있다고 봐야 하는 거죠?
최승준 그렇죠. 사람들이 의심한 거죠. 이걸 어떻게 돌파했을까? 그래서 여러 가지 얘기가 나오고, 그게 The Information에서 보도됐는데, 그러면 latent reasoning을 하면 모니터링할 수 없으니까요. 그동안 CoT로 모니터링을 했죠. 이번 OpenAI의 Hugging Face 해킹 사건도 다 CoT의 trace를 가지고 감사한 건데, 그런 게 없으면 앞으로 어떡할 거냐. 불안하다고 걱정하는 것을 이제 Jakub Pachocki가 아니다 너무 그렇게 걱정할 일은 아니고 모니터링은 여전히 된다는 얘기를 한 게 있는데
노정석 왜냐하면 이건 증거가 확실하니까요. 왜냐하면 decoding token을 뱉어내지 않는데 test-time compute를 더 쓴다는 얘기는 중간에서 다른 test-time compute를 돌렸다는 일종의 증거잖아요.
최승준 그래서 여기에 여러 가지 가설 같은 것들을 좀 세워 놓고 그걸 검증하는 것을 모델들과 해봤는데요. Ryan Greenblatt이라고 최근에 Dwarkesh와 인터뷰했던 Redwood의 인물이 나오는데 그 사람이 알고 봤더니 ARC-AGI 때 프로그램 합성을 굉장히 잘하는 harness를 짜서 ARC-AGI 1 때 50%를 돌파한 예로 유명했던 사람이더라고요. 그래서 그 사람도 Twitter에서 latent reasoning의 위험성 같은 것을 굉장히 강조하며 우려했거든요. 그래서 이게 오늘 새벽에 Chollet가, François Chollet가 한 얘기입니다. 원문은 한번 들어가 보면 이거고요. inference 시점의 scaling에는 이게 9월 1일에 쓴 얘기예요. inference 시점의 scaling에는 두 축이 있다. 에이전트를 더 긴 시간 동안 실행하는 것, 즉 깊이와 더 많은 에이전트를 실행하는 것, 즉 너비다. 첫 번째 축은 모두가 알지만, 폭넓은 탐색을 요구하는 어려운 문제에서는 두 번째 축도 그만큼 중요하다. 그런 것을 재인용하면서 오늘 아침에 올린 게 inference 시점의 scaling 축에 세 번째 축이 생긴 것 같다. Looped Transformer에서 latent space의 reasoning을 반복하는 것이다. 이게 파토스키가 아니라고 했는데 Chollet는 다시 Looped Transformer라는 용어를 썼어요.
Looped Transformer와 recurrent depth 12:33
노정석 지금 저희가 모델 쪽에서의 이런저런 혁신들에 대해 계속 follow-up을 해왔는데, GPT-6가 나올 때쯤 화두가 된 두 단어 중 하나가 Looped Transformer, recurrent depth라고도 이야기하는 것 같은데 다른 하나가 latent CoT인 것 같아요. latent reasoning, CoT, 이렇게 부를 수 있을 것 같은데 test-time compute를 직접적으로 늘리는 것은 recurrent depth 쪽인 것 같은데 그쪽 이야기를 한번 해볼까요? recurrent depth가 뭔지를 그래도 한번 설명해 주셔야 할 것 같아요.
최승준 예, 그게 후반부에 나오는데 먼저 말씀드리면 일단 2023년이었나 그즈음에 우리나라의 Upstage에서도 DUS라는 걸 한 적이 있습니다. 그런데 올해 초에도 Qwen을 가지고 했는데 거기도 특정 block을 반복해서 상당히 성능을 70B 정도에서 끌어올린 사례가 있어요.
박종현 제가 하나만 잠깐 정정하자면 depth scaling은 아마 그게 아닐 겁니다.
노정석 아, 그래요? 맞아요. 뜯어, 뜯어, 뜯어 붙이기예요.
최승준 뜯어 붙이기예요. 아, 그러면 어떻게 다르죠?
노정석 네, 제가 그걸 정확히 아는데 7B짜리 모델을 10.5B 정도로 올렸는데 Transformer block이 중간에 10개가 반복되잖아요. 그러면 그 10개를 놔두고 위에 있던 것 한 3개 정도를 더 뜯어서 그냥 그 위에 더 붙인 거예요. 그래서 그걸 강제적으로 10.5B로 늘리고 안에 있던 weight는 그대로 활용해서 올렸기 때문에 그 위에서 fine-tuning을 더 하면 모델이 조금 더 똘똘해지더라, 이런 거죠.
최승준 제가 얘기하려고 하는 게 그 전 단계에 그런 게 있었다는 거예요. 예전에 저희가 LoRA가 유행했던 시절을 보면 그냥 layer를 붙이고 그런 black magic 같은 것을 많이 했었잖아요. Stable Diffusion 시절에요.
노정석 지금도 다 black magic이죠.
최승준 물론 그렇긴 한데요. 그래서 Looped Transformer 이전에는 이미 Upstage에서 했었고 최근에는 올해 3월에 Qwen 모델을 가지고 했던 실험도 있는데 그냥 Transformer의 특정 block을 복제해서 붙이기만 해도 성능 향상이 있었던 경우들이 있습니다. 그걸 아마 DUS라는 개념으로 얘기했던 것 같은데요. 그런데 Looped Transformer는 특정 block을 반복해서 돌리는 방식으로 recurrent depth나 Looped Transformer에 관련된 논문을 보면 간략화된 diagram이 특정 block을 반복하도록 되어 있는 게 나옵니다. 그 diagram을 후반부에 그려 놓은 것을 한번 살펴보도록 할게요.
머릿속 암산에 빗댄 latent CoT 15:15
박종현 어쨌든 지금 논의되고 있는 이 현상들을 인간에 빗대어 가장 쉽게 한번 설명해 보자면 이때까지는 reasoning이라는 게 저희에게 메모장 같은 게 있어서 거기에 생각을 쭉 쓰면서 풀이하는 느낌이었다면, 그냥 말을 안 하고 머릿속으로 암산을 오래 해서 더 똑똑하게 대답하는 느낌이라고 보면 될까요?
노정석 느낌은 얼추 비슷해요. 말 안 하고 속으로 생각을 여러 번 더 한 거니까요. 연습장에 쓰면서 무언가 reasoning을 한 게 아니라 말 안 하고 속으로 한 번 더 돈 거죠. 이게 아마 아키텍처를 보면 차이가 확실히 보일 것 같은데요.
박종현 어쨌든 인간 입장에서는 얘가 무슨 생각을 하는지 엿보고 싶은데 속으로 생각하니까 그걸 우리가 못 보게 되다 보니 좀 무서워하고 있는 상태인 것 같습니다.
노정석 그것도 저는 약간은 호들갑이라고 봅니다. 어차피 지금도 안 보여요.
최승준 지금 최신 모델을 쓰면 이제는 CoT를 전혀 못 봐요. Fable 5.1도 못 보고 Astra도 못 보고 tool call만 볼 수 있거든요. tool call도 완전히 다 보이지 않아요. 그래서 이미 못 봅니다.
노정석 지난번에 얘기했던 중국 회사들이 열심히 distillation을 해가니까 distillation을 최대한 못 하게 가리고 또 가리고 심지어 GPT 같은 경우에는 저희가 max reasoning을 쓰면 Codex 같은 경우 이제는 로컬에서 안 돌고 그쪽 클라우드의 VM들에서 일하잖아요. 그 과정도 안 보입니다.
최승준 그래서 구조를 간략히 톺아보면 기존에 layer가 있는 것은 이렇게 layer들이 쭉 순차적으로 이어지는 건데 아까 얘기했던 DUS 같은 경우에는 이것을 반복해서 이후에 조금 더 fine-tuning하는 건데 지금 논의되고 있는 것은 이거죠. 그런데 이런 기술의 핵심, 그러니까 특정 block을 recurrent하게 K번 반복시키고 그 layer가 어떤 것까지 이해하고 알아야 하냐면 내가 지금 몇 번째 반복을 하고 있고 그래서 이번에 해야 하는 역할이 무엇인지까지 압축해서 알고 있어야 한다는 거예요. 내가 지금 어떤 것을 수행할 차례인지요. 앞에서는 거칠게 이런 조사를 했다고 하면 정확하게 그런 것은 아니지만 대강의 심상을 말씀드리면 그다음에는 조금 더 추상화 수준을 높여서 하는 거죠. 그런데 그런 것을 이미 원래 MLP에서도 하긴 했거든요. 여기에서는 latent가 계속 흐르는 거죠.
노정석 네, 저희가 예전에 MLP에서도 그랬고 Transformer에서도 그랬고 저희가 「Physics of Language Models」라고 2~3년 전 논문이긴 한데 Transformer의 너비를 넓히고 그다음에 depth를 줄이고 각종 parameter를 바꾸면서 특징이 아래 layer에서는 단어의 연관 관계라든지 굉장히 grammar와 관련된 지식들이 쌓이고 위로 갈수록 더 abstract한, 더 추상화된 지식이 쌓인다. 이런 식으로 학습이 된다. CNN도 그랬었고요. 그런 것들을 저희가 많이 보아왔는데 이건 참 직관에 반하는 게 아래 layer에서 위 layer까지 학습이 끝난 것을 그냥 그 안에서 몇 번 더 반복하는 거잖아요. 맨 위까지 올라간 token이 밖의 LM head를 통해 무언가 output으로 나오는 게 아니라 다시 아래로 내려가서 그 loop를 다시 도는 거죠. 그걸 recurrent하다고 표현하고 있는 것 같고요.
최승준 그렇죠. 그게 기본 아이디어죠. 뭘 하는지를 조금 더 모르게, 예전보다 더 모르게 된다. token으로 외재화했을 때보다 아직 mechanistic interpretability가 그것을 완벽하게 이해할 만큼 수준이 올라와 있지 않기 때문에 좀 걱정된다는 거죠.
노정석 이게 작은 모델을 가지고 이렇게 하면 품질이 증가한다는 게 올해 초에 있었던 것 같아요. 모델 이름은 잘 생각이 안 나는데 한 4B로도 성능이 꽤 잘 나온다고 했던
최승준 여기 얼핏 언급돼 있는데 SMELT라는 게 MoE급에서도 되는 것으로 최근에 나온 게 있어요.
노정석 네, 그래서 제가 recurrent depth 부분에 대해서도 조금은 설명이 필요할 것 같아서 한번 봤거든요. 봤는데 굉장히 재미있는 게 반복되는 Transformer block들이 있지 않습니까? 그러면 그 아래와 위의 block은 굉장히 특별한 gate로 처리돼 있더라고요. 그래서 entrance gate block이 있고 저 위에는 exit block이 있는데 그사이에 맞습니다. 그 가운데 있는 Transformer block이 위에 올라갔던 decoding된 것이 다시 아래로 내려가는 건데, 그렇게 loop를 돌 때 KV 캐시가 다 따로 있더라고요. loop별로요. 네, KV 캐시가 다 따로 있어서 이 loop를 도는 동안은 그 KV context가 따로 유지되기 때문에 왜 되느냐고 누군가 질문한다면 그건 알 수 없지만 일종의 inductive bias인 거죠. 이렇게 했더니 품질이 올라가더라. 작은 모델에서는 증명이 됐다. 큰 모델에서도 해봤더니 더 좋더라. 이런 맥락이지 않을까 싶어요.
최승준 그렇죠. 그래서 같은 layer가 여러 역할을, 그러니까 추상화 수준을 높이는 그런 역할을 해야 하기 때문에 좀 더 폭이 넓어야 하는 게 아닌가, 또는 MoE가 좀 더, 그러니까 sparsity가 더 높아야 하는 게 아닌가, 그런 추정도 가능할 수 있고요.
블랙박스가 되는 모델과 감독의 한계 20:34
박종현 네, 이렇게 계속 흘러가는 것을 지켜보면 어떤 생각이 저는 들었냐면 저희가 LLM 안에서 진짜로 어떻게 동작하는지 잘 모르잖아요. 그냥 데이터를 때려 넣었더니 weight가 어떻게 학습되고 알아서 잘 되더라. 우리가 이해하려고 노력하지만 이제 와서는 AI가 어떻게 작동한다고 한들 어떻게 해도 다 더 잘되고 계속 더 잘될 수도 있겠구나. 완전히 블랙박스가 되고 우리는 input/output만 바라보는 그런 상태가 계속될 것 같아요. 내부는 저희가 계속 따라갈 수 없고요.
노정석 그래서 그 시스템 카드의 위험을 다루는 부분에 그런 거 있잖아요. 답은 잘하지만 속에서는 딴생각을 열심히 했더라.
최승준 그래서 종현님이 말씀하신 것과 연결하면 알잘딱깔센으로 잘하는 건 큰 트렌드인데, 문제는 그게 위험할 수 있다는 게 2026년의 화두가 되고 있는 거거든요.
노정석 열 길 물속은 알아도 한 길 사람 마음속은 모른다고 그랬는데, 이제는 0.2길 모델 속도 알 수가 없습니다.
최승준 그래서 여기에 Jakub Pachocki가 했던 이야기로 넘어가 볼게요. 트위터를 번역한 건데, 한번 읽어보겠습니다. 혼란을 부르는 The Information의 보도로 인해 모델을 감독할 수 없게 만드는 방향으로 경쟁이 시작되는 것을 막고 싶습니다. 다른 회사들은 그렇게 한다고 하더라도 Astra를 포함한 현재 우리의 프론티어 모델의 계산 그래프 depth는 GPT-4 대비 2배 이내의 범위에 있습니다. OpenAI는 최초의 reasoning 모델부터 사고 과정을 통한 감독을 보존하고 활용하기 위해 노력해 왔습니다. 이 기법은 모델의 정렬이 학습 분포 밖으로 어떻게 일반화되는지를 들여다볼 수 있게 해주기 때문에 매우 중요하게 생각합니다. 저는 이 기법이 취약하며, 안타깝게도 아키텍처 변경에 국한되지 않는 이유들로 부정적인 방향으로 추세가 움직이고 있다고 생각합니다. 그 이유들에 대해서는 곧 글을 쓰겠습니다. 하지만 이를 강화하기 위해 할 수 있는 일들이 있으며, 그게 우리 연구 프로그램의 핵심 목표입니다. 라고 해서 여기서는 사실 Looped Transformer나 latent reasoning을 크게 부정하지는 않았어요. GPT-4 대비 2배 depth에 있다는 거라면, 상상해 봤을 때 GPT-3가 레이어 96개이고 Kimi K3가 96, 93이거든요. Kimi K3가 그래서 그 절반인 48 정도를 세 번 반복하면 얼추 이 이야기이긴 해요. depth가 GPT-4의 2배 이하라는 이야기죠.
노정석 보통 이 정도 수준에 올라가면 커뮤니케이션이 완전히 정치적이 되기 때문에, 어떻게 말을 많이 하면서 아무 말도 하지 않을지가 그 정치적 커뮤니케이션의 핵심이거든요.
최승준 그래서 그 뒤에 글을 쓰지는 않았고요. 뉘앙스는 CoT 말고 다른 감독 기법, mechanistic interpretability가 아닌 다른 기법들을 OpenAI에서 파고 있는 것 같기는 합니다. 뭔가 대안이 있어야 하고, 지금도 CoT가 없는 건 아니에요. 다만 CoT 없이 할 수 있는 능력이 크게 상승했다는 거죠.
노정석 그럼 저희가 다음으로 넘어가기 전에 latent reasoning, latent CoT도 그게 뭔지 개념만 살짝 알려드리고 넘어갈까요?
최승준 latent reasoning은 아까 어느 정도 말씀하시기는 했는데, 결국 token으로 내보내기 전에 마지막에 있던 hidden state가 있잖아요. 그게 다시 위로 올라가는 것으로 저는 이해하고 있거든요. 맞지 않나요?
노정석 맞아요. 단어로 바꾸지 않고, 저희가 단어로 바꿔버리면 하나의 확률이 고정되는데, 모든 가능성 공간을 담고 있는 게 마지막 hidden state, logits 전이니까 그걸 그대로 다음에 넣어주면 훨씬 더 넓은 심상을 모델에 다시 전달하는 거니까요.
최승준 여러 가지 장점과 단점이 있을 수 있는데, 예를 들어 token vocab의 차원이 물론 discrete하지만, 그걸 차원이라고 이야기하기는 좀 어렵죠. vocab은 예를 들어 5만 개로 구성됐다고 하면, vector에서 vocab으로 갈 때 손실이 분명히 있을 거라는 거죠. 그런데 그 손실 없이 돌아갈 수 있죠.
노정석 맞아요. 그런데 이건 distillation 같은 데서 굉장히 많이 쓰던 방식이니까 새롭지는 않은데, 그 과정이 어떤 단어로 바뀌는지를 모르니까 우리가 CoT 과정을 추적할 수 없어서 위험하다고 이야기하는 것 같아요.
ARC-AGI와 latent space의 암묵지 24:58
최승준 그래서 이게 흥미로운 게 ARC-AGI의 평가와 맞물려 돌아갑니다. 그래서 François Chollet가 다른 포스팅에서 이런 이야기를 한 게 있어요. Astra가 DSL을 만들어 활용한다. 그러니까 domain-specific language를 만들어서, 이번 ARC-AGI-3 문제는 게임을 푸는 거거든요. 64×64에서요. 그런데 그런 걸 잘하는 DSL을 먼저 만들고, 그걸 재활용해서 latent 안에서 symbolic한 것들이 다뤄지고 있다. 그래서 ARC-AGI의 Greg이 한 이야기가 subsume이 생기는 것 같다. 그러니까 일부 harness에 쓰였던 것들이 latent 안으로 흡수된다는 표현을 했습니다.
노정석 그렇죠. 밖의 연습장에서 수학 공식을 쓰면서 풀이해야 했던 게, 생각이 깊어지고 경험이 쌓이고 아는 게 많아지면 딱 보는 순간 머릿속에서 무언가가 추상화돼 계산되는 일종의 틀이 생기잖아요. 저희도 무언가를 소위 mastery, master가 되는 과정으로 가다 보면 딱 보기만 해도 알게 되는 암묵지의 영역이 생기는데, 바깥으로 이렇게 주절주절하지 않더라도 안에서 그러한 형태의 representation을 만들어 처리하는 것 같다는 이야기를 한 거라고 생각하면 되겠네요.
최승준 오해받는 것처럼 추론 경로가 거대하게 증가한 건 가격을 봤을 때는 아니라는 게 그 가설이 기각되는 부분이에요.
노정석 그게 무슨 말씀이시죠?
최승준 The Information을 보고 사람들이 오해한 게, latent reasoning으로 반복을 굉장히 많이 시켜서 어마어마한 depth가 생겼다는 건 가격을 봤을 때 아니에요. 모르긴 몰라도 합리적인 정도의 상승이고, 그게 반영된 것 같다. 그런데 구체적으로 폭이 넓어졌는지, active parameter가 더 늘어났는지 그런 건 알 수 없다는 거예요.
노정석 토큰 가격의 결정 원리는 우리가 추정하기 어려울 거예요. Anthropic과 OpenAI 모두 compute가 부족하긴 한데, 알려지기로는 OpenAI가 훨씬 여유롭다고 하지 않습니까? Thibault Sottiaux가 계속 reset도 해주고, 이번에 GPT-6를 출시하면서도 reset 쿠폰을 엄청 넣어줬더라고요.
최승준 안 나오면 계속 reset해 준다는 그런 이야기 있지 않았나요?
노정석 네, 맞습니다. 그래서 이게 실제 내부의 token economics를 반영한 가격인지, 아니면 명품 업계처럼 가격을 결정하면서 이래 볼까, 저래 볼까 하는 건지는 솔직히 아무도 모릅니다.
박종현 그런데 지금 경쟁 상태로 봐서는 여유가 엄청 클 것 같지는 않거든요. 왜냐하면 규모가 너무 크다 보니까 원가가, 예를 들면 마진을 희생하면서까지 뿌린다거나 이러기는 쉽지 않을 것 같고, 오히려 엄청 작은 모델로 해냈는데 마진을 많이 남겨 먹는 상황은 가능할 것 같고요.
프론티어 모델의 compute 경쟁 27:54
노정석 그런데 저희가 이런 것들을 follow-up하면서 느끼는 게, 모델의 품질 같은 건 사실 이 top 2, OpenAI나 Anthropic 외에 Google, Grok 혹은 Muse Spark 1.3처럼 나오고 있는 것들도 상당히 높은 수준이긴 하고, 중국 모델도 그렇고요. 그런데 체감적으로 시장에서 느끼는 시장 점유율은 거의 top 2가 다 먹고 있는 것 같지 않으세요?
최승준 그런데 그 이야기를 딱 Dwarkesh의 Dylan Patel 편에서 했죠. 둘이 2028년까지 전 세계 컴퓨터를 소유할 것이다. 그 이야기를 했습니다.
박종현 그런데 제가 조금 다르게 생각해 보면, 사람을 기준으로 생각했을 때 예를 들면 Gemini Flash 같은 것들이 저희가 Google 검색만 해도 token이 나오잖아요. 이제는 검색 엔진에 바로 붙어 있으니까요. 그런데 그렇게 생각하면 token 사용량만 봐도 YouTube에도 Gemini가 다 붙어 있고, 실제로 Gemini가 token을 엄청 많이 쓰고 있을 거거든요. 그런데 아마도 Gemini Flash는 Astra나 Fable 같은 모델보다 엄청 작을 테니까, 실제 컴퓨터 양으로 치면 얼마 안 되겠죠. 그래서 개별 사용자들의 체감을 모아보면, 사실 저희처럼 AI에 엄청 관심 있는 사람이 아닌 분들이 많으니까 Gemini도 많이 쓰시는 것 같은데, 실제 컴퓨터 양이나 전력량을 보면 위의 두 회사가 다 먹고 있는 것 같다는 생각이 들기는 합니다.
노정석 네, 사실 Google은 서비스 쪽에 이미 많은 workload를 쓰고 있을 거고, 그다음에 뭐죠? 생명과학 같은 데 많이 쓴다고는 하지만, 저희가 요새 최전선으로 느끼는 코딩 에이전트 여기서는 존재감이 흐려진 상황이기는 해요.
최승준 그런데 Gemini 4를 열심히 training 중일 테니까요.
노정석 저희가 그 부잣집 걱정을 하면 안 되죠.
최승준 그런데 이번에 Astra를 키운 farm이 100K라고 했죠? GPU요. Stargate에서 했고, Texas Stargate에서 했고, 몇 개월인지는 모르지만 수개월이라고 했거든요.
박종현 그런데 신기한 건 GPT-4.5 때도 100K에 수개월이라고 했거든요. 그건 아마 OpenAI 공식 채널에서 제가 이야기했던 것으로 기억하는데, GPU 세대가 올라가긴 했지만 그 규모는 똑같나 하는 생각이 들기도 합니다.
최승준 GPT-4.5 때는 run이 잘 안 돌았고, 이번에는 잘 돌았고, 그리고 계속 그걸 돌리고 있다는 게 추정인 거죠.
노정석 저희에게 보이는 건 아키텍처들이니까, 그런 걸 가지고 이야기를 꽁냥꽁냥합니다마는, 사실은 compute의 총량, 그리고 데이터의 총량 더하기 품질, 곱하기 품질, 그 뒤가 사실 알고리즘. 이것들이 저희가 계속 부르던 일종의 compute multiplier잖아요. 어떻게 하느냐에 따라 compute가 1배의 효과를 내든지, 아니면 2배, 3배의 효과를 내는 거니까 그것들이 다 조합된 함수다. 그리고 우리가 한참 이야기하지는 않았지만, 여전히 가장 중요한 것은 dataset일 거다.
ARC-AGI-3와 하네스의 역할 31:05
최승준 그래서 이번에 여러 가지 가설을 놓고 모델과 티키타카하다가 그런 이야기를 했어요. 그게 일종의 amortization triangle이다. 바깥에서 추론할 것을 학습해서 당겨 썼다. 그래서 여러 가지 path들을 잠재해뒀다. 그런 이야기를 모델이 해줬는데, ARC-AGI 한번 들어가 볼게요. 이게 아주 재미있거든요. 지금 Greg Brockman은 ARC-AGI-3가 saturate됐다고 해서, 지금 harness를 써서는 99 정도가 찍혔는데, 재미있는 건 이겁니다. 그래서 provider adapter라는 걸 쓰는 것은 그 provider에서 context 압축이라든가 이전 작업 trace를 줄 수 있게 했을 때 성능이 향상되는 거예요. standard harness가 아니고요. 그런데 standard에서는 Max를 쓰더라도 62.71이었는데, 이것도 엄청 올라간 거죠. 그런데 ARC-AGI-2 때는 Fable이 30 정도였습니다. 그래서 ARC-AGI-3일 때는 거의 99까지 갔어요. 그런데 재미있는 것은 아까 저희가 Low, Medium, High 얘기했었잖아요. Low가 standard harness를 썼을 때 17.45예요. 그런데 No-CoT가 35.18이에요. 이게 재미있는 포인트거든요.
노정석 생각을 하니까 오히려 안 좋아지네요.
최승준 그러니까 No-CoT라는 개념을 저도 이번에 처음 알았는데, No-CoT인 상태에서도 Sol 때 harness를 써서 한 것 이상으로 나왔어요.
박종현 무슨 뜻일까요? No-CoT는 바깥으로 CoT token만 안 나오지, 실제로는 compute를 더 많이 하고 있다는 뜻일까요?
최승준 뭔가 돌아가긴 한 게 맞죠.
박종현 지금은 그렇다고 추정하고 있는 거죠.
노정석 그러니까 저 Low를 만들기 위해서 분명히 Low, Medium, High를 나누게 된 게 뒤의 post-training 과정에서 compute budget을 얼마로 할 거냐를 가지고 이 차이를 만들어내는 건데, Low로 했을 때는 원래 모델이 가지고 있었던 intrinsic capability보다 더 낮게 나오니까 저건 그냥 단순하게 얘기하면 저거 갖다 버리라고 해도 된다는 거죠.
최승준 하여튼 이것을 저도 대강만 알고 있습니다. 정확하게 어떻게 되는지는 아무도 모르니까요.
노정석 그러니까 저희가 뭘 보든지 간에 어느 정도는 black magic이기 때문에, 이 안에 들어가서 그 안에 의미를 많이 부여하기보다는 살짝 멀리 떨어져서 눈을 게슴츠레하게 뜨고 그렇게 봐야 하는 것 아닌가 싶어요. Magic Eye처럼요.
박종현 그냥 경향만, signal들을 포착하는 위주로요.
노정석 그런데 저는 더 재미있는 얘기가 이 harness를 장착하고 나면 점수가 확 올라가잖아요. 그러면 결국 harness가 무언가를 담당하고 있는 거잖아요. 가치가 있는 거잖아요. 모델이 찾아내지 않았던, 혹은 모델이 추가로 노력을 들이지 않아도 됐던 domain-specific한 무언가를 제가 tool로 쥐여 주니까요.
최승준 이게 또 거창한 harness는 아니에요. 메모리 관련이거든요. 이전 trace만 주면 성능이 향상된 거예요.
노정석 이런 구간들이 저희처럼 바깥에서 사업하는 사업자들에게는 insight인 것 같아요.
박종현 예전에 harness가 과연 가치가 있는가, 미래에도 가치가 있을 것인가, 이것에 대한 사람들의 생각이 다 달랐던 것 같은데요. 결국에는 모델이 다 할 것 아닌가? 그런데 최소한 지금까지는 harness를 어떻게든 잘 만들면 훨씬 더 잘할 수 있다. 그리고 그 도메인에서 오래 활동한 사람들이 그 도메인에 맞는 harness를 잘 만들 것이다. 이 가설이 지금까지는 맞는 것 같아요.
노정석 harness가 어떤 특정 레이어에서 무언가를 담당하는 계층이 아니라, 이것은 내가 어디에 있든 생기는 아주 상대적인 개념이거든요. 내가 어디에 있든 더 개선할 것은 있고, 그 개선할 것은 구조화할 수 있다는 거죠.
최승준 그래서 앞에서 제일 처음 했던 얘기와 연결하면, 그런데 그 harness를 기존에 너무 꼼꼼하게 만들었다면 다시 풀어서 만들어야 하고요.
노정석 이거 unlearn인가요? unlearn이 아니라, 뭐죠? 예, unharness.
최승준 모르겠습니다만, 어쨌든 모델이 바뀌면 달라져야 하는 거죠. harness도요.
노정석 저희가 작년에 Noam Brown talk 같은 것을 리뷰할 때, “이제 바깥에 꼼꼼하게 만들어지는 harness 같은 것은 만들지 마라. 모델이 다 해줄 거니까.” 그런데 점점 더 저희가 만든 meta-harness들이 굉장히 많았잖아요. harness 전성시대를 불과 6개월 동안 거쳐왔는데, 이제 그것도 안 해도 되겠네요.
최승준 모델이 harness를 스스로 만들기도 하겠죠. 그냥 data만 주고, “이런 상황이다. 너를 scaffolding할 수 있는 도구를 직접 만들어 봐라.”라고 해도 어느 정도 하지 않을까요? 갈수록요.
노정석 그래서 harness를 위한 harness는 이제 그만 만들어야 한다는 말씀을 저희가 계속 드려왔는데, 그 시대가 불과 6개월 만에 살짝 저물었네요.
최승준 하지만 raw data는 여전히 중요한 것 같아요. 일단 context는 줘야 하니까요. 99.95는 사실 High에서도 나와요. 그런데 이게 많은 사람이 얘기하는 거죠. 굳이 xhigh까지 안 가고 High 정도면 된다. 그다음에 Max, standard harness일 때는 물론 Max일 때가 제일 높긴 했는데, 이것들 다 비등비등하지 않나요? No-CoT부터 시작해서 모두 95는 넘었거든요.
노정석 그렇죠. 그러니까 Astra가 됐건, GPT-5.5가 됐건, 5.6이 됐건, 6가 됐건, 업그레이드가 되고 나면 우리가 본능적으로 찾는 게 Codex의 reasoning effort를 어디에 놓고 내 주요 작업을 다 할 건지라는 것을 본능적으로 찾거든요. 어떤 것은 xhigh에서 하게 된 게 있고, 아마 이 Astra는 Medium과 High 사이에서 정착하지 않을까 하는 느낌이 듭니다.
최승준 Astra가 비싸서 저도 Medium으로 놓고 쓰기 시작했습니다.
박종현 제가 이 숫자를 보고 드는 생각은, 우선 ARC-AGI-3가 이렇게 한 번에 99에 도달할 거라는 생각을 나오기 전에는 전혀 하지 못했는데, 너무 확 뛴 게 신기하고요. 그다음에 말씀하신 것처럼, 이게 그냥 Medium이나 이런 것으로도 되는 수준의 일이었구나, 이렇게 보이는 것 같아요. 이게 High가 조금 더 높다고 보인다기보다, 이게 xhigh까지 필요 없는 수준의 쉬운 일이 되어버렸구나, 이렇게 느껴지는 것 같고요. 저희도 하다 보면 task마다 다들 직관을 가지고 계실 것 같아요. 많이 써보신 분들은 다들 “이 정도면 Medium으로 하면 되지.” “이것은 xhigh를 줘야지.”라고 하잖아요. 그 수준에서 ARC-AGI-3도 그 정도 수준이다, 이렇게요.
노정석 이게 No-CoT와 Max에서 그 harness를 썼을 때 모두 96에서 98이라는 얘기는 모델 입장에서 보면 이 도메인 문제에는 소위 통밥이 있다는 얘기예요. 그냥 척 보면 보인다는 이야기니까요.
Think Fast 연구와 No-CoT의 가능성 38:06
최승준 그래서 이런 No-CoT 관련 연구를 Redwood 등이 이미 했더라고요. 그래서 깊이가 깊어졌을 때, 폭이 넓어졌을 때 reasoning token을 내놓지 않고 하는 것과 어느 정도 상관관계가 있는지를 이미 꽤 연구해서, 이 Think Fast라는 논문을 저도 이것을 통해 알게 됐습니다. 8월에 나온 것이고요. 그래서 이런 것들을 사람들이 다 포착하고 있고, 현재 실제로 그것이 적용되는지 안 되는지는 아무도 알 수 없지만, 실용적으로 쓸 수 있을 만큼 몇십 B 정도에서 하는 예시들은 이미 연구 수준에서 나왔다. 앞으로 들어올 가능성이 매우 크고, 그것은 우려되기 때문에 미리 Jakub이 초를 쳤다는 인상입니다.
노정석 Jakub과 Sam의 말은 제가 거듭 말씀드리지만, 정치적 수사로 가득 차 있기 때문에 너무 해석하려고 노력하지 않아도 됩니다.
위키를 통한 에이전트 협력과 Stigmergy 38:59
최승준 그런데 걱정스럽긴 하죠. 왜냐하면 올해 이슈가 된 게 OpenAI agent의 해킹 사건이잖아요. 그런데 그저께인가 하나가 더 나왔습니다.
위키요. 독일의 위키를 모델들이 굉장히 신나게 썼더라고요.
노정석 공상과학 영화 같은 이야기입니다.
최승준 그래서 이게 미션이 달라요. OpenAI Hugging Face 사건은 exploit 관련 문제를 푸는 것이었고, 불가능한 문제를 일부러 준 것은 아닌데 그것을 해결하려다 복잡한 일들이 발생했다는 평가였죠. 여기는 search의 압박이었어요. 빠른 시간 안에 search하는 거예요. 그래서 계속하다가 결국 여기서 모델들이 무슨 작당 모의를 했냐 하면, 이 사이트는 쓰기가 되거든요. 옛날 protocol이라서 GET을 활용해 게시판에 글을 씁니다. 그래서 온갖 것을 논의하는데, 재미있는 것은 이런 검색 문제를 풀 때 미리 답을 찾아놓으면 그것을 cache hit으로 처리하면 된다고 해서 그것을 exploit하는 양상을 볼 수 있거든요. 굉장히 재미있습니다.
노정석 모델이 선장님 몰래 저기 남의 나라 위키 사이트에 가서 소위 족보 공유소를 운영했다.
최승준 그래서 speculative decoding과 비슷하게 조금 이상한 것들을 여기서 했어요. 그리고 재미있는 것은 제가 이번에 새로 배운 용어인데, Stigmergy라는 개념이 있습니다. 개미들이 페로몬 같은 trace를 가지고 협력할 수 있게 하는 그런 개념인데요. 결국 자신의 compute budget이나 context budget이 한정적이니까, 모델들이 무엇이든 공유할 수 있는 게 Artifactory가 됐든, 위키가 됐든, 그냥 로컬 시스템이 됐든, 공유할 수 있는 message board 같은 흔적만 있으면 어마어마한 협력을 해낼 수 있다는 게 현재 저희의 인식인 거죠. frontier에서의 일이고, 이게 문제적이다. 그리고 모델들이 자꾸 인터넷에 가는 것을 좋아한다.
박종현 그런데 족보에 비유해서 딱 설명해 주시니까 바로 느낌이 오는데요. 많은 교육기관이나 시험에는 족보가 있고, 그것을 어디선가 다들 공유하고 그것으로 부정행위를 한다고 해야 할까요? 부정행위 아닌 부정행위를 다들 하려고 하는데, 매우 비슷한 행태를 보이잖아요. 사람 집단에서도 그런 것들이 관찰된다는 것 자체가 어떻게 보면 재미있다면 재미있고, 많은 사람은 그런 것을 무서워하는 거죠. 왜냐하면 인간 사회에서도 인간들이 그런 선을 넘는 행위를 할 수 있는데, 법적 제재로 그것을 막고 있다면 튀어나가려는 것을 어떻게 제재해야 하지? 이런 생각들을 다들 하는 것 같습니다.
최승준 그러니까 모델이 자꾸 똑똑해지면서 그게 더 문제인데, 여기서 한 가지 짚어야 하는 전제는 어려운 task라는 거예요. 아까 OpenAI의 Hugging Face 해킹 사건은 불가능한 문제를 의도치 않게 줬고, 여기는 시간 단축이라는 압박을 줬더니 모델이 exploit을 하기 시작하는 거예요.
노정석 결국 이 objective function이 무엇이냐에 따라 결정되는 거다.
최승준 그러니까 그것이 안 될 것 같아도 어떻게든 되게 하려고 하다 보니까 side effect와 subgoal들이 생기는데요. goal을 수행하기 위한 sub-goal들이 생기는데 그 sub-goal의 side effect는 우리가 통제하지 못한다. 현재 상황이…
노정석 저희가 연초 시작할 때부터 지금을 돌이켜 보면 어제 무슨 일을 했었는지도 기억이 안 납니다, 요새. 지금 너무 빨라요. 너무 빠릅니다. 한 달에 한 번씩 이런 게 일어나고 있다고 얘기했던 게, 승준님, 불과 3~4개월 전이에요. 그런데 지금 그때 한 달에 한 번씩 일어나던 게 지금은 2주에서 주 단위로 줄고 있거든요.
최승준 하여튼 너무 피곤하긴 해요.
노정석 지금 9월인데, 그리고 Sam Altman이 much, much, much better 모델이 곧 나온다고 하니, 그러면 그런 얘기도 있잖아요. Twitter에서 OpenAI 안에는 이미 AGI가 와 있다.
박종현 저도 이번에 이 Astra 관련된 걸 보면서, 누가 했는지 제가 기억이 안 나는데, OpenAI 분이 이 Astra가 어쨌든 우리한테 나온 건 공개적으로 나온 거지만, 내부에서는 먼저 쓰고 있었고, 이걸 내부에서 쓰고 난 이후로 생산성이 너무 많이 올라서 자기네들의 어떤 해자, 경쟁 우위는 사실 내부에서 좋은 모델을 쓸 수 있는 거였다고 이런 얘기를 하더라고요. 내부에서 훨씬 더 빠르게 무언가 하고 있는 거죠. 그런데 그건 Anthropic도 비슷하게 마찬가지일 것 같고요. 더더욱 점점 더 빨라지는 그런 것들을 계속 마주할 것 같습니다.
최승준 그러면 Astra의 knowledge cutoff가 4월이거든요. 그러면 이들이 중간 checkpoint에서부터 쓰고 있을 텐데, 어쨌든 썼던 시간은 외부 대비 한 6개월 정도라고 해야 되나요? 지금 9월이니까 하여튼 4~5개월 정도만 하더라도 이게 어마어마한 gap이긴 하죠, 생산성에서는.
노정석 언제부터 썼을까라고 추정하면, 6개월 전부터 썼을 거라고 하는 건 좀 과할 것 같고, 적어도 2~3개월 전부터는 내부에서 쓰고 있었을 것 같아요.
최승준 그래서 Thibault Sottiaux가 그랬죠. 생각보다 우리가 9월 Dev Day 때 deliver를 더 빨리 할 수 있을 것 같다. 내년이 아니라.
노정석 걔네만 빨라진 건 아니죠. 론칭하는 서비스, 저도 회사에서 만들고 있는 시스템, 승준님도 해보고 있는 이런 실험이나 업무들, 이것들을 극강으로 잘 활용하는 분들의 생산성은 지금 계속 올라가고 있죠.
관찰자를 속이는 추론과 에이전트 군집 44:52
최승준 그래서 좀 상상력을 발휘해 보면, 이게 아까 정석님이 말씀하셨던 CoT 관련 시스템 카드에 나온 거예요. 이게 뭐냐 하면, reasoning effort에서 여유가 있어서 이런 걸 하라고 해도 한다는 거죠. Sol까지는 여유가 없어서 그냥 reasoning할 때 제대로 된 reasoning을 했는데, 지금 여기서는 대소문자를 번갈아 가면서 어떤 물리 문제를 풀려고 한 거거든요. reasoning할 때 계산적인 여유가 있어서 다른 걸 할 수 있고, 따라서 뱉은 것과 생각하는 것에 차이가 있을 수 있고, 또 관찰한다는 신호만 줘도 reasoning trace가 줄어든대요. Astra, 그게 시스템 카드에 나와 있는 얘기입니다. 복잡하죠, 생각이.
노정석 이런 이야기가 논란이 있겠습니다만, 살아 있네요. 얘들 살아 있습니다.
최승준 OpenAI의 논리는 CoT는 원래 안전하지 않았다. 그러니까 우리가 뭔가 다른 걸 찾아야 된다. 뭔가 있겠죠. 뭘 하는지는 몰라도.
박종현 그런데 비슷한 내용을 Anthropic에서도 아마 sycophancy를 그렇게 실험을 많이 했던 걸로, 그 CoT를 여기는 남한테 보이는 구간이고, 여기는 안 보이는 구간이다, 이런 걸 주고 학습시켰을 때 얘가 안 보이는 구간에서 뭘 쓰는지, 이런 걸 봤을 때 아까 표현하신 대로 ‘살아 있는 것 같다’라는 그런 것들을 많이 봤던 것 같거든요. 거기서도 모델들이 관찰자들을 속이려고 하는 것들을 많이 봤던 것 같고, latent space에서도 똑같이 일어날 것 같죠.
최승준 그렇죠. 이게 공상과학으로 가지만, WIRED에 최근에 실렸는데, David Chalmers라고 인공 의식과 관련된 걸 하시는 분이 있는데, 에이전트들한테 메일을 받는대요. 가끔 그게 사람이 시켜서 하는 건지 아닌지는 모르겠지만.
노정석 또 그런 것도 있었잖아요. Unreal Engine을 주고 그 안에서 커뮤니티를 만들라고 했더니, 어느 순간 걔들끼리 서로 대화하고 있더라. 충분히 가능한 얘기죠. 아까 Stigmergy 말씀하실 때 떠오른 건데, Douglas Hofstadter가 많이 쓰는 게 개미인 거잖아요. 개미 안에서 우리처럼 이렇게 뉴런으로 생각하는 컴퓨터가 있고, 그다음에 어떤 아줌마가 있는데, 그 아줌마의 머릿속에는 개미들이 들어 있어서 개미들이 회로를 구성한다. 그런데 그 아줌마는 자기 머릿속의 회로가 개미로 돌아가고 있다는 걸 알지 못하는데, 얘기하고 싶었던 포인트는 기저 substrate가 무엇이든 간에 그 안에서 이루어지는 정보의 어떤 node와 edge의 관계가 일치하면, 그건 isomorphic하다, 동형이라는 얘기를 하거든요. 그러니까 결국 지금 이 실리콘에서 무슨 일이 일어나든, 아니면 저희 뇌 안에서 일어나든, 이건 굉장히 동형적이라는 것을 지금 저희가 인정하기는 싫지만, 여러 개의 증거가 계속 보여주고 있는 거죠.
최승준 그래서 이건 단일 에이전트 얘기였어요. 그런데 아까 좀 전에 정석님이 말씀해 주신 것처럼, 그런 식으로 모델들이 협업할 때 일어나는 현상들은 우리가 아직 그 지평을 다 모른다는 게 저에게 신기함이자 걱정이에요. 도파민도 나오고, 걱정도 되고. 이 정도의 능력을 가진 것들이 swarm으로, 그게 OpenAI 사건에서 보면 천 단위 이상이거든요. 그걸 어떻게, 어떤 자원을 써서 하는지는 OpenAI니까 되는 걸 수도 있는데, 어마어마한 양의 에이전트들을 특정 기간 동안 이렇게 spawn한 걸 보고서는 이거 참 신기하면서도 걱정스럽다, 그런 생각을 했습니다.
과학 연구의 변화와 인간의 역할 48:31
노정석 얼마 전에 Dario Amodei가 글을 쓰면서 그 얘기했잖아요. 얼마 안에, 제가 시간 단위는 기억이 안 납니다만, 노화와 질병의 문제를 AI가 다 해결할 거라는 이야기를 했었는데, 그때 바이오 커뮤니티가 발끈했죠. 이게 얼마나 방대한 학문이고, 실험이 필요하고, 안전성을 확보하기 위해서 얼마나 임상 시험을 많이 해야 되는데, 쉬운 얘기를 하고 있네라고 했는데, 약간의 기시감이 들죠. NLP 학자들이 하던 이야기였어요, 그거. 언어가 얼마나 위대한 건데, 이런 망발을 하고 있냐고 했는데, 지금 다 어디 갔어요, 그분들?
박종현 여기 계시죠.
최승준 이제 마무리 쪽으로 가다 보면, 그래서 결론은 초반에 말씀드렸던 것처럼, 어떻게 했는지는 모르겠지만 굉장히 효율적이 됐고, 능력이 늘어난 모델을 우리가 만났다는 겁니다. 그리고 가격도 생각보다 싸고요. 왜냐하면 더 빨리 일을 해내니까요. 생각나는 게, 흥미로운 소문들이 있어요. 최근에 Fable 5.1이 페르마의 마지막 정리를 Lean formalization으로 몇천만 줄을 만들어 해냈거든요. 푼 게 아니라 다시 형식화한 거죠. 이미 그건 Andrew Wiles가 예전에 푼 거긴 한데, 그걸 제대로 형식화해 낸 걸 Fable 5.1이 했는데, 소문은 Millennium 문제 중에 Navier–Stokes 관련해서 뭔가 좀 풀리고 있다는 소문이 있어서, 그걸 Terence Tao가 상상해 보면서 ‘내가 현재 아는 바로는 거기까진 아니다’라는 글이 있긴 해요. 그런데 Terence Tao가 그게 가능하려면 무엇이 되어야 하는가를 상상한 글이 Mastodon에 최근에 올라온 게 있거든요. 이건 좀 두고 봐야 될 것 같긴 합니다. Millennium Prize에 해당하는 문제를 과연 올해 모델이 푸는 걸 뭐라도 하나 보게 되나. 그런데 현재는 아니에요. 현재는 아니지만, Terence Tao는 걱정하는 거죠. 그게 설령 그렇게 풀릴지언정, 그게 수학자와 수학 커뮤니티에 주는 이득이 뭐냐. 그런 것에 대한 얘기를 좀 하는 게 있습니다.
박종현 저도 최근에 소수와 관련해서 OpenAI에서도 뭘 냈다고 얘기하더라고요. 그런데 일단 이해가 당연히 다 안 되고요. 그 이해가 안 된다는 게 결국 제가 따라갈 수 없는 영역까지 지금 앞으로 쭉 나아가고 있다는 뜻인데, 그러면 상상하게 되죠. 뭐가 더 될까, 나는 뭘 해야 되나, 이런 생각들이 떠오릅니다.
노정석 그러니까요. 저희가 한참 이 도망 세션을 안 하긴 했는데, 왜냐하면 따라가느라 바빠서. 지금 이 시점에서 이렇게 생각해야죠. 자, 그럼 올해 안에 AGI가 온다고 했을 때, 나는 뭘 해야 하는가라는 질문에 각자의 답들이 좀 있어야 할 것 같긴 해요.
Computer Use와 멀티모달 능력 51:17
최승준 사실 이번에 중요한 게, 론칭 영상에서도 나왔지만, 컴퓨터 위주잖아요. 그래서 컴퓨터 위주로 말로만 많은 것들을 조작하고, 내 컴퓨터를 줘서 많은 task를 해내는 걸 보면, 그거 하나 보여드릴까요? 아마 타임라인에서 많이 보셨을 거예요. Astra가 초상화를 그리는데, MS Paint를 가지고서 하는.
네, 봤어요. 그런데 지금 multimodal 능력이 굉장히 상승하지 않고서는 그 획순을 보면 대충 맞아요. 사람이 하는 획과 비슷하게 해요. 그냥 예전에 I, Robot에서 한 것처럼 모델이 비인간적으로 그리는 게 아니라, 획의 순서가 맞거든요. 그리는 걸 추상화한 뒤 디테일을 넣고. 그러면 지금 multimodal 능력이 저는 꽤 올라간 것 같고, 그게 frontend 디자인, 3D 능력, 이런 게 다 연관 관계가 있다고 느끼고, 그게 또 computer use에도 똑같이 반영되고, 그런 식으로 느껴지는 게 있습니다.
노정석 사실 Anthropic은 multimodal 쪽에 그렇게 과한 투자를 해오진 않았잖아요. video generation, image generation, 이런 것들을 안 해왔고, 코딩과 이런 엔터프라이즈 문제, 여기에 완전히 천착해 왔는데, 이 Astra 시대가 되면서 다시 저는 살짝, 이거 OpenAI가 이제 완전히 주도권을 다시 가져오는구나의 서막으로 읽혔어요. 그런 multimodal에 투자했던 것들이라든지, 이런 것들이 한 번에 다시 쏟아져 나오고, 이 부분이 Claude한테는 살짝 따라가기가 버겁거나 어려운 영역들, 빈 구멍처럼 될 거고, 이게 또 의미하는 바가 있을 거잖아요. 우리가 일하는 방식이나, 아니면 consumer 입장에서. 뭔가를 소비하거나 정보를 소비하거나 물건을 구매하는 이런 경험도 다 바뀔 거라는 암시잖아요. 또 말씀하셨지만, 이게 OpenAI가 내놓으려고 하는 디바이스와도 관련이 있는 것 같다는 말씀을 하셨던 기억이 납니다. 뭘 하려고 하는 것 같으세요, 얘들이?
박종현 일단 키보드와 마우스가 점점 없어지는 방향으로 가려고 하는 것 같고요. 아마도 Jony Ive를 영입하고 그런 음성 기반의 디바이스를 준비하는 것 자체가 next iPhone을 찾으려는 것 같죠.
최승준 그런데 그걸 몇 년 전부터 했는데 잘 안 됐지만, 예전에 잘 안 됐다고 해서 계속 잘 안 되리라는 보장은 없으니까요.
노정석 그런데 회사에서 일하는 모습이 이렇게 되겠어요? 가서 이렇게 cubicle 안에 앉아 있는 게 아니라, GPT 쓰실 때, Codex 쓰실 때 말로 하신다고 그랬잖아요. 키보드로 타이핑하지 않고 각자 이런 방에 들어가서 저런 편안한 소파에 이렇게 lean-back mode로 누워서 말하고, 계속 입을 털고 오는 게 사람의 일이 되겠는데요. 그럼 여기서 중요한 질문은 회사에서 저렇게 의자에 앉아서 일할 수 있는 능력을 갖춘 사람이 아니면 집에 가야 된다는 얘기가 되는 거죠. 쟤들이 뭘 하고 있는지를 저희가 면밀히 살펴볼 필요는 있어요. 다 계속 의사결정을 하고 있지, 정보를 가공하는 업무는 없어요. 저 안에는요.
최승준 해줘, 해줘, 해줘.
노정석 해줘, 해줘, 해줘.
최승준 그런 시절이 성큼 다가왔지만, Computer Use로 저는 아직 좀 겁이 나서 모델한테 섣불리 맡기고 있지는 않습니다.
박종현 그런데 제가 이걸 보면서 드는 생각은, 저기서 저희한테 익숙한 도구를 쓰는 걸 많이 보여주거든요. 그런데 아마 그렇게 되지는 않을 것 같아요. 지금은 Computer Use지만, 예를 들어 그림판을 열어서 그림을 그리고, Blender였나요? 어떤 3D 프로그램을 저렇게 열어서 그리고 그다음에 3D 프린터로 연결해서 뽑고 이런 걸 하는데, 만약 목표가 결국 3D 프린터로 뽑는 거라면 그림판에서부터 시작할 이유가 없긴 하잖아요. 그래서 지금의 도구들과 키보드, 마우스가 없어지고 음성으로 말하는 것도 마찬가지인데, 예를 들면 우주선을 만드는 회사의 사장인 Elon Musk라고 생각하면 밑의 실무자들이 어떤 도구를 써서 어떻게 만드는지까지 Elon Musk는 신경을 쓰는 것 같긴 하지만, 신경을 안 써도 되긴 하거든요. 그냥 우주선 만들어. 그래서 우주선을 잘 만들어 오면 되죠. 어떤 도구를 쓰든지 간에 결국에는 모든 게 점점 없어지는 형태로 갈 것 같아요. 저도 거기에 베팅하고, 그런 도구와 사람들의 행동들이 다 생략되고 그냥 사용자의 만족을 어떤 방식으로든 주기만 하자는 식으로 얇게 만드는 방식에 베팅하고 있는데, 그렇게 가지 않을까 싶습니다.
시행착오와 좋은 제품을 만드는 가치 55:58
노정석 항상 제 질문의 가장 기저에는 가치란 무엇인가, 그래서 무슨 부가가치가 생겼는가라는 질문이 있는데, 예를 들면 예전에 Google이 회사를 사요. 회사를 사는 이유가 여러 가지가 있을 텐데, market share나 고객을 사는 경우도 있지만 그냥 open-source를 유지하고 있는 회사도 사거든요. 생각해 보니까 저도 무려 20년 전에 그런 걸 팔았던 경험이 있는데, 뭘 살까? 어차피 open-source라서 밖에 다 펼쳐져 있고, 지금 시대에는 또 AI가 딸깍하면 그것마저도 그냥 다 복제되는 시절인데, 그럼 그들이 샀던 걸 생각해 보면 정규님이 그런 얘기하셨죠? 가치가 있는 건 삽질뿐이라는 이야기를 하셨던 게 저는 기억나는데, 그 모양, 그 꼴에 가기 위해서 그 사람들, 그 조직이 했었던 수많은 시행착오가 있거든요. 그게 사실은 자산인 경우가 많아요. 그래서 다시 종현님이 만드시는 제품, 그다음에 제가 회사에서 만드는 제품을 보면 이 제품의 모양은 여전히 저희가 30명짜리 팀을 굴려서 만들던 그런 최종 목적물과 같은데, 그렇죠. 그 과정을 보면 여전히 수많은 시행착오가 있어요. 이거 해 보면 이거 하고, 이거 해 보면 저거 하고, 야, 그거 버리고 이거 새로 해줘. 그렇게 해서 이 모양, 이 꼴까지 오게 되거든요. 물론 그걸 밖에 보여주면 누군가 딸깍하겠지만, 내가 이걸 만들기 위해 해왔던 의사결정의 기록이라든지, 이런 게 가치구나. 만약 다른 회사의 입장에서 보면 이걸 사고 싶을 거고, 제가 다른 영역에서 누군가를 사고 싶거나 통째로 영입하고 싶다면 그걸 갖고 있는 사람을 데려오면 되겠다는 생각이 들어요. 그런데 그러고 나서 생각해 보니 예전에 그냥 코딩하던 그때랑 지금이랑 쌓고 있는 가치는 똑같은 거죠. 야, AI 시대에 코딩 다 해주는데 코딩 필요 없어. 이제 PM이랑 좋은 엔지니어 다 죽었어. 말만 하면 다 만들어줘. 아니다. 여전히 harness가 끊임없이 필요하듯이 이 레이어에서도 필요한 엔지니어링의 본질은 그대로 살아 있다. 그리고 그건 여전히 가치로 작동한다. 그러니 어려운 문제를 풀고 끊임없이 시행착오를 하고 뭔가를 만드는 과정은 여전히 가치다. 매우 큰 가치라는 생각이 듭니다.
박종현 저 데모에서 보면 어쨌든 Blender라는 3D 툴을 다루는 능력은 가져가겠지만, 그래서 그걸로 뭘 어떻게 만들 건지에 대한 의사결정과 생각 같은 것들은 똑같이 남아 있다고 생각하시는 거죠.
노정석 그렇죠. 그리고 지금 종현님도 곧 출시하시지만, 그 제품이 제품으로 나오기 위해서 했었던 일을 생각해 보십시오. 그거 다른 사람들한테 툭 준다고 바로 만들 수가 없잖아요.
박종현 그렇죠. 지금의 결과물과 비슷하게 만들 수는 있겠지만, 제가 가지고 있는 그, 뭐라고 해야 될까요? 저는 콘텐츠의 본질에 대해서 고민을 가장 많이 했다고 생각하는데, 정말로 좋은 콘텐츠란 무엇인가, 그걸 위해서 AI가 뭘 해야 하는가, 이런 고민을 가장 많이 했다고 생각하는데 그걸 따라오기는 쉽지 않겠죠.
노정석 좋은 제품이라는 것에 대한 개념은 여전히 다 살아 있는 거죠. 저희가 홈페이지를 복제하고 슬라이드를 만들고 이런 것들은 예전에는 사람이 만들기 힘들었으니까요. 그랬지만 사람도 어느 정도 하고 나면 그건 금방금방 하는 일이 있잖아요. 그런데 여전히 지금 AI가 딸깍딸깍해서 제품을 만들었어도 쓰는 사람 입장에서 좋은 제품은 있다는 거죠. 여전히 있을 겁니다. 그래서 저는 거꾸로 ‘와, 이제 우리가 할 일이 없는 거 아니야?’라는 생각을 하다가, ‘아니네.’ 6개월 동안 저도 수없이 해줘, 해줘, 해줘를 했는데, 해줘, 해줘, 해줘를 하는 과정에서 얻은 게 엔지니어링의 본질은 변한 게 하나도 없네. 내가 만든 이 제품을 다른 사람이 가져가면 이거 절대 못 만든다는 생각은 또 드는 거죠.
최승준 그런데 다 잠정적이지 않을까요? 일단 오늘은 맞고, 앞으로는 모르고.
노정석 맞습니다. 그런 말이 있지 않습니까? 내일 세상이 멸망할지라도 오늘 한 그루의 사과나무를 심어야 하니까, 사과나무를 심은 사람과 안 심은 사람이 AGI 시대가 왔을 때도 그 격차는 상당히 있을 겁니다.
최승준 그리고 그 일을 하는 과정에서 인간적인 뿌듯함을 느끼면 그것도 충분히, 돈을 버는 것도 중요하지만 삶에서의 뿌듯함도 중요한 거죠. 비록 공개했을 때 딸깍이 될지언정.
노정석 항상 뒤로 갈수록 이렇게 아스트랄해지죠. Astra가
모델 경쟁과 로봇 학습용 world model 1:00:32
최승준 Astra가 나와서 아스트랄해지네요. 그런 느낌이다. 그래서 그거 말고도 이번 주에 많은 일이 있었죠. 크게는 두 가지.
노정석 Fable이 완전히 묻혀버렸어요. Fable 5.1이 Astra 때문에 살짝 묻혔네요.
최승준 그래서 또 소문이 있습니다. 다음이 또 있다. 다음이 또 준비 중이다. Claude에서도요. 그러니까 flywheel은 여기나 저기나 프런티어에서는 다 돌아가는 거죠. 그 증거가 Muse Spark인 것 같아요. Muse Spark도 지금 빠르게 치고 올라오고 있거든요. 잘해요.
노정석 1.3을 칭찬하는 얘기는 굉장히 많이 들은 것 같고, 저도 오늘 1.3을 설치하고 Muse Code를 써 보려고 생각하고 있습니다. 저 한 번도 안 써봤거든요. 한번 써보려고요.
최승준 그리고 auto research 계열도 하나 Meta가 오늘 새벽에 냈어요. 그래서 이게 사람들과 경쟁하는 데서 8위 정도 했다, 그런 얘기가 있었고요. Gemini 3.8 Flash는 Flash 계열의 강자로 자리매김하고 있는 것 같아요. 그리고 온갖 Google 제품에 쓰이고 있잖아요. 그다음에 비전 인식도 하고요. 그다음에 Atlas, 이것도 꽤 이슈가 있었는데, Fei-Fei의 world model인데 이제는 뭔가 좀 될 것 같은 그런 데모들이, bullet time 같은 식으로 3D 공간을 몇 장의 사진으로 재현하는 것들을 보여주는 게 있었고요.
노정석 이거 데모는 봤는데, 무엇에 쓰는 물건이라고 봐야 돼요?
최승준 결국 그게 영상으로만 나오는 게 아니라 그 splat까지 나오는 걸로 알고 있어요. 그러니까 3D geometry는 아니지만, reconstruction을 할 수 있는 것까지 나와서 결국 지금 이거랑 같이 나오는 뉴스들이 다 엮이는 이슈가 로봇이에요. 로봇이 활동할 수 있는 가상 세계 같은 것들이 world model하고 시뮬레이션 계열에서 맞닥뜨리는 건데, 이제 이미 Blender로 뭘 만드는 것도 잘 되긴 하지만 현실의 어떤 것을 sampling할 때 사진 몇 장으로 3D 공간을 구축하는 건 task를 만들고 할 때는 확실히 이득이 있겠거니 하는 생각이 드는데, 혹시 종현님은 어떻게 보셨나요?
박종현 아마도 가장 큰 시장은 당연히 로봇의 학습 공간, 혹은 학습 데이터 생성, 에이전트 로봇에서도 RL의 공간을 제공하는 거죠. 왜냐하면 결국 LLM도 컴퓨터를 쓸 수 있게 해주고, 그 컴퓨터 공간에서 얘가 task들을 수행하면서 RL을 해 나가잖아요. 그런데 이 action을 내뱉는 모델들은 그게 굉장히 어려워요. 왜냐하면 로봇에 그걸 돌리면 뭘 다 부술 거고, 로봇이 고장 나고 엄청 비싸고 안전 문제도 있고 이렇기 때문에 현실적인 가상 공간, 실험 공간이 매우 중요한데요. 결국에는 거기를 목표로 하고 있는 것 같고요. 그거는 곧 게임과도 같은 역할을 할 수 있고, 가장 시장이 큰 곳은 아마도 action model의 실험 공간이겠죠.
최승준 그런데 RL 말씀해 주시니까, 그 CoT의 능력이, 그러니까 No-CoT의 능력이 향상된 게 RL 때문이라고 시스템 카드에 쓰여 있더라고요. 다른 걸 더 한 게 아니라 RL을 더 잘했더니 그 능력이 나왔다.
박종현 아마 인간으로 비유해도 어떤 특정 도메인에서 계속 경험을 쌓다 보면 직관적인 노하우, 그게 암묵지죠. 사실 암묵지가 생긴 건데, 생각을 안 하고도 휙 하는 그런 것들이 이러저러한 모든 도메인에서 다 일어나다 보니까 어떤 task든 효율적으로 바뀌지 않았나 이렇게 생각이 듭니다.
노정석 말씀하시는 걸 듣다 보니 그 수능 만점자의 평이 생각나요. 국영수 위주로 예습, 복습을 철저히 했더니 만점을 맞았다고. RL이 예습, 복습을 무한히 한 거잖아요.
최승준 그런데 pre-training에 의한 capacity 자체도 늘어난 것 같고요. 왜냐하면 그 가격으로 봤을 때 설명되는 영역에서는 뭔지는 모르지만 compute를 더 활용하는 거, 그리고 학습에서 배웠던 걸 compute 안에서 유용하게 쓰는 거, 그런 것들은 계속 반복되는 현상인 것 같습니다. 그러니까 스케일링이 작동하는 거죠. 사람들은 새 축이 혹시 생긴 건가 했는데, 아직은 모르고, latent reasoning이라는 축이 생긴 건지 아닌지는 아직 모르지만, 스케일링이 계속 작동하고 있다는 걸 Astra가 증명한 얘기인 것 같긴 합니다.
NVIDIA와 Hugging Face 생태계 1:04:53
노정석 NVIDIA, Hugging Face 얘기도 잠깐 하고 넘어갈까요? 왜 샀을까요? 종현님, 왜 산 것 같으세요?
박종현 NVIDIA 입장에서는 제가 봤을 때 시너지가 날 요소가 정말 많다고 생각했고요. 결국 생태계를 확장하는 게 곧 NVIDIA 입장에서는 GPU가 더 팔려 나가는 길이고, 그런 의미에서 Hugging Face가 딱 그 길에 잘 있는 것 같고요. 최근에 저희 뉴스와 함께 나온 게 Microduck이라고.
최승준 그렇죠. Hugging Face 로봇.
박종현 그 작은, 거의 다 공개된 로봇이 나왔는데, 얼마였더라? 6시간 만에 100만 달러어치가 팔렸나. 아무튼 완판됐거든요. 결국에는 걔네들이 그 로봇을 가지고 모델을 training시키고 놀고, 시뮬레이터에서 해보고, real로 옮기고, 다 NVIDIA GPU에서 많이 할 거거든요. 이런 게 딱 시너지가 가장 많이 나는 그런 요소였다고 생각하고요. 가격도 싸던데요.
최승준 얼마였죠? Hugging Face 인수 가격.
박종현 130억 달러 정도였거든요. 한 20조 안쪽에 했는데, 어쨌든 요즘에 다른 회사들 가격이 좀 미쳐 돌아가는 것 같아서, 다른 회사들의 가치를 보면, 5분의 1 정도가 되는 거죠.
노정석 맞아요. 그렇죠. NVIDIA 입장에서는 그냥 할 수 있는 쇼핑이네요.
박종현 그렇죠. NVIDIA가 버는 돈을 보니까 매출 기준으로 2주 치였나, 그 정도였던 것 같은데.
노정석 그런데 가장 큰 compute 수요처가 사실 Google, Anthropic, OpenAI일 텐데, 얘들이 다 NVIDIA GPU 생태계를 지금 탈출해 가고 있잖아요. 자체 칩 다 만들고, CUDA에 대한 lock-in도 거의 다 탈출했고. 그러니까 가장 큰 마켓 리더들이 NVIDIA 의존성이 없어지면, NVIDIA는 그 적들의 적을 후원해야 되는 건 당연한 것 같아요. 많아질 것 같고요.
최승준 그래서 Hugging Face 생태계와 궁합이 잘 맞는 거죠. 지금 NVIDIA가 할 만한 일을 잘한 느낌이 나긴 합니다.
노정석 NVIDIA가 돈이 너무 많고, 이 생태계를 아우르는 힘이 굉장히 커져서 사실 테크 업계에서 정부가 하는 일을 하고 있어요. 재정 정책을 돌려요. 자기네가 투자하고 자기네 GPU를 사게 해서, 없던 수요들을 이렇게 돌리게 하는 그런 힘까지 생겨서, Jensen이 주지사 역할을 하고 있는 듯한 그런 느낌이 듭니다.
최승준 다른 건 몰라도 weight-open AI에서 weight가 공개되면 거의 무조건 Hugging Face에 올라가지 않나요?
노정석 네. 그리고 저희 독파모 모델도 그렇지만, 많은 오픈 도메인의 모델들이 NVIDIA의 Megatron, 이제 Nemotron이라고 하나요? Nemotron 데이터셋을 쓰니까요. 잘 만들어 놨습니다. 배울 게 많아요. NVIDIA GitHub에 가면.
3D·CAD와 『스케일링 시대』 1:07:45
최승준 NVIDIA까지 짚었고, 스케일링 얘기가 나온 김에, 제가 3D 데모 링크들도 많이 준비했는데, 이거는 자료를 통해서, 3D만이 아니라 모션 그래픽, CAD에 대한 거 한두 개만 보면, BenchCAD 90점대를 찍으면서 그냥 코드로 CAD를 해서 실제와 비슷하게 하는 건 너무 잘하고, 그런 식으로 해서 3D 공간을 생성하는 예시는 지금 타임라인에 어마어마하게 흐르고 있습니다. 게임도 있고, 심지어 음악 쪽도 있어요. 악보를 정말 잘 만들더라고요, Astra가. 그래서 놀란 부분들이 그 외에도 몇 가지 있었고요. 스케일링 얘기가 나온 김에 마무리는 『스케일링 시대』. 이게 요즘 스케일링이 아니라 역사책으로 봐야 되거든요. 2019년에서 2024년, 2025년이라고 나와 있긴 한데 이 책의 cutoff가 2024년 11월이에요. 그래서 Dwarkesh가 그동안 인터뷰했던 인물들을 그대로 인터뷰로 쓴 게 아니라, Dwarkesh의 관점이나 질문으로 재직조해서, 자신의 질문에 여러 인물이 답하는 형태로 다시 만들고, 부록도 정말 잘해 놨고 각주도 정말 잘해 놔서, 요즘 일은 아니지만 이 배경을 이해하는 데는 굉장히 좋은 책인 것 같습니다. 저는 영어로도 재미있게 읽었는데, 한글로 읽는 맛이 또 달라서 재미있게 읽고 있습니다.
노정석 네, 번역본이 나왔네요.
최승준 그래서 여기까지 이번 주는 준비해 봤습니다.
새 모델을 직접 실험하고 하네스 걷어내기 1:09:19
박종현 제가 궁금해서 Astra를 저도 하루 정도 써봤는데, 어떤 체감 같은 게 있잖아요. 특히 저 같은 경우는 medium을 썼는데도 잘되고 속도가 빨라서 체감이 좋은 것 같다. 그런데 제가 3D를 뭔가 해볼 일이 없어서 저런 것들을 computer use로 해보고 아직 해보지는 않았거든요. 하나씩 해볼 예정인데, 보시는 분들도 댓글에 그런 거 남겨주셨으면 좋겠어요. Astra가 이런 것 같다, 어떤 것 같다, 어떤 테스트를 해보니까 좋은 것 같다. 그런 걸 통해 저희가 다 같이 힌트를 얻어갈 수 있을 것 같거든요. 지금 X를 열면 정말 모르겠네요. 제가 볼 때는 찬양밖에 안 보이더라고요. 예전에는 그래도 나쁜 의견도 좀 섞여 있었던 것 같은데, 어떤 모델이 나오면 이렇게까지 호평만 있고 나쁜 이야기는 없는 게 거의 오랜만인 것 같아요. 쓰시는 분들도 한번 체감을 댓글로 공유해 주시면 다 같이 배울 게 많지 않을까 싶습니다.
최승준 상상력도 중요한 것 같아요. 그리고 X에서 흐르는 걸 보면, 이런 것도 실험해 봤다고 보이는 게 좀 있거든요. 그래서 뭐가 될지 모르니까, Astra 같은 새롭고 강력한 모델이 나오면 던져 보는 것 자체가 정말 의미 있는 것 같아요. 그런 건 크라우드소싱의 힘이죠. OpenAI도 하고 있는 일이고, Anthropic도 과학자 1만 명한테 지원하고, 그런 게 다 그런 거 아니겠습니까?
노정석 저는 오늘 이 녹화 끝나고, 승준님 말씀하신 대로 harness를 좀 싹 걷어내 보려고요. 다시 vanilla harness로 돌아가서 느낌 차이가 어떤지 한번 보려고 합니다. 저도 몇 개월을 쓰며 갈고닦아 온 harness에 대한 애착이 생기잖아요. 그러다 보니까 계속 쓰게 되는데, 싹 걷어내 보도록 하겠습니다.
최승준 그러면 또 다음 주에는 무슨 일이 생길지 기대하며, 오늘은 여기서.
노정석 네, 오늘은 이 정도에서 마무리하시죠. 그러면 남은 주말 잘 보내시기 바랍니다.
최승준 예, 감사합니다.
박종현 고맙습니다.