EP 107
미래란 언제나 예측불허: 주가 롤러코스터, Kimi K3 쇼크, 재귀적 자기 개선의 시작
Leopold Aschenbrenner의 포트폴리오 청산과 대형주 롤러코스터 00:00
노정석 자, 시작하겠습니다. 녹화하고 있는 오늘은 2026년 8월 1일입니다. 이번 주에도 정말 엄청난 소식들이 많았죠. 가장 재미있는 소식을 꼽아보라면 아무래도 Leopold Aschenbrenner가 크게 손해를 한 번 봤다는 겁니다. 그게 무엇과 연관되어 있느냐? 시가총액 1, 2위의 대형주들이 이틀 연속해서 15%씩 폭락하고 그다음 날 거의 30%까지 올라서 롤러코스터였는데, 이 주간 동안의 변동 폭을 따지면 한 1~2% 정도밖에 안 떨어진 거예요. 이게 미국에서 일어난 재미난 사건인데, Leopold Aschenbrenner라고 굉장히 젊고 유능한 분이죠. Dwarkesh Podcast에 나와서 Situational Awareness라는 페이퍼와 함께 앞으로 우리 사회에 어떤 일이 일어나는지, 전력 계통부터 칩과 그 위의 레이어까지 어떤 일이 일어날지 나름의 백서를 썼던 친구잖아요.
그런데 그 친구가 말만 하는 게 아니라 자기만의 펀드를 조직해서 자기 신념이 향하는 방향으로 포트폴리오를 만들었단 말이에요. 그것도 몇천만 원 단위가 아니라 몇십 조 단위로 포트폴리오를 굴렸는데, 이 포트폴리오가 Anthropic 같은 비상장 주식을 갖고 있는 것도 많았고, 또 여기에서 자신감을 얻으니까 이 친구가 포트폴리오를 더 공격적으로 운영했어요. 레버리지를 쓰기 시작한 거죠. 좋은 주식들은 올라간다며 레버리지를 걸고, 떨어지는 주식들에 대해서는 숏을 걸고, AI 회사나 인프라 회사나 전력 회사는 꾸준히 오르고 기존의 소프트웨어 회사들은 AI 모델의 발전 때문에 다 없어지게 된다. 그래서 Adobe를 비롯해서 Figma 등 회사들에 숏을 걸었던 포트폴리오를 가지고 있었는데, 지난 짧은 기간 동안 포트폴리오가 완전히 반대로 움직였죠. 인프라 주식들이 폭락하고 소프트웨어 주식들이 오르고, 또 주식 시장에서 무슨 일이 일어날지는 아무도 몰라요. 그러다가 많이 잃었죠.
하지만 대부분의 상장 주식 포트폴리오를 Leopold Aschenbrenner가 다 잃은 것 같아요. 그리고 그 주식들은 Citadel이 매우 싼 가격에 잘 주워 갔다는 게 소식으로 돌았고, 그럼에도 불구하고 Leopold Aschenbrenner의 전체 펀드는 여전히 한 80% 플러스라고 해요. Anthropic 같은 주식들, 비상장 주식은 주가가 하루하루 움직이지 않으니까 그 평가액으로 했을 때 여전히 플러스를 기록하고 있는 것 같고요. 또 이러한 변동성이 촉발된 게 저는 Fable의 출시 때부터라고 생각하는데, 마케팅일 수도 있고 진정성일 수도 있는데, Anthropic의 행보를 계속 보고 있다 보면 이건 잘 짜인 마케팅일 가능성도 높겠다는 음모론에 저도 조금 기울긴 했어요.
그래서 Fable이 어마어마한 능력을 가지고 있고 보안 문제를 가지고 있어 큰 문제가 될 거다. 이런 호들갑을 떨어주니까 이것 때문에 결국 미국 정부가 모델을 막아버렸잖아요. 그리고 또 한 가지 사건은 GPT-6로 추정되는 모델이 Hugging Face를 해킹해서 휘저어 놓았는데, Hugging Face는 그걸 LLM으로 막아야 하는 상황이 됐고, 이런 상황들이 어떻게 보면 저희 sovereign AI를 포함해서 우리가 모두 가지고 있었던 믿음, 미국은 자유 세계를 수호하는 상징적인 아이콘 같은 존재고, 우리는 저 동맹에 기대어서 저들이 만드는 frontier 모델에 기대면 아름답게 잘 살아갈 수 있을 거라는 생각이 있었는데, 미국 정부가 ‘아니야’라는 걸 딱 만들어 버리고 나니까 그때부터 생각들이 다 바뀌기 시작했거든요. 저희가 뒤에 다룰 오픈웨이트에 대한 움직임도 생겼고, 거기에 기름을 확 부은 게 Kimi K3인 것 같아요.
숏 포지션과 마진 콜이 작동하는 방식 04:02
최승준 지금 이야기가 흘러가기 전에, 저는 주식을 잘 모르니까 궁금한 부분이 Leopold가 그렇게 청산된 건 마진 콜이 있었기 때문인 거 아니에요? 그런데 이게 만약 계속 Leopold가 예측했던 것처럼 AI가 이 방향으로 가고, 따라서 계속 수익이 있을 거다, 수요가 있고 수익이 있을 거라는 게 맞음에도 불구하고 마진 콜을 당한 건 왜 그런 거예요?
노정석 주가가 떨어지니까요. 주가가 떨어져서, 예를 들면 승준님이 이 주식을 빌려서 숏을 칠 거지 않습니까? 그러면 빌린 가격에 대해 증거금을 내고 있을 텐데, 주식을 빌려준 증권사가 받아야 하는 증거금 이하로 그 가치가 떨어지거나 떨어질 것 같으면 증권사는 자동으로 반대매매를 걸거든요. 자기네 원금을 회수해야 하니까요.
최승준 방향성을 본 게 아니라 그냥 기계적으로 반응했다는 거네요. 그러면
노정석 그렇죠. 정리하면 Leopold Aschenbrenner의 포트폴리오는 몇 년의 주기를 보고 설정된 건데, 주식 시장의 주가 변동성은 하루 단위로 일어나니까 푹 꺼지는 날이 있으면 그 기간 동안 반대매매를 당할 위험이 꽤 있는 거죠.
인프라 주식 전망과 닷컴·모바일 시대의 데자뷔 05:24
박종현 제가 주식 얘기로 돌아온 김에 좀 멍청한 질문이지만, 모두가 궁금해할 만한 질문을 하나만 하자면 그래서 뭘 사야 하나요?
노정석 글쎄요. 글쎄요. 이건 저의 사견인데, 사견이라는 걸 전제로 얘기하는 거니까 인프라 주식은 아직 한참 더 간다고 보고 있습니다. 그런데 주식이라는 게 현실을 반영하는 게 아니라 언제나 그 앞에서 호들갑을 떨고, 그러고 나서 진실이 오면 그 기대가 빠지면서 주가가 떨어지는 성향이 있거든요. 닷컴 때도 처음에 뜨거웠던 주식들은 Cisco라든지 네트워킹 칩을 만드는, 인터넷 연결성을 만드는 하드웨어 주식이었고, 그러나 그게 끝난 뒤에는 Yahoo 같은 애플리케이션들이 대체하며 성장했고, Google이 올라오고 Meta가 올라오는 일들이 있었고, 모바일 때도 처음에는 칩 주식들이 뜨거웠어요. 그러다가 점점 더 우리가 지금 알고 있는 애플리케이션 레이어 회사들로 왔었고요. 앞으로 AI에 대한 수요는 많은 것 같지만, 쓰고 있는 사람이 별로 없고 모든 사람이 다 agent를 키우게 되면 그들에게 줘야 할 computation은 지금 지구상에 존재하는 computation보다 훨씬 많기 때문에 데이터센터, 칩, 전력 관련 분야에는 아직도 수요가 한참 남았다고 보는 게 지금 시장의 전반적인 관점인 것 같아요.
그런데 반대쪽에서 싸우는 사람들은 “아니야. 이건 어차피 만들어지더라도 위에 있는 사람들 몇몇만, 지식 노동을 하고 있는 몇 개의 회사들만 이걸 잘 쓸 뿐이지, 인간들의 삶은 그렇게 많이 변하지 않을걸. 그리고 앞으로 모델들이 더 효율화되고 edge computing도 효율화되고, 단위 모델당 처리할 수 있는 일이 늘어나면서 computation 수요가 그렇게 많이 늘지 않을 거야. 그러니까 저건 거품이야.”라고 하는 두 관점이 아직 치열하게 싸우고 있는데, 어떤 방향으로 흘러갈지에 대해서는 아직 시장이 결정하지 않은 것 같아요.
아직 인프라 주식이 조금은 더 갈 거라는 생각은 들고 있는데, 인프라 주식의 뒤를 뛰어넘어서 지금 모바일 시대를 예로 들면 Uber나 Airbnb 같은 여러 회사로 대변되는 애플리케이션 레벨의 회사들이 아직 출현하지 않았다고 보고 있거든요.
Nebius로 보는 네오클라우드와 AI 공급망 병목 07:56
박종현 네, 인프라부터 가고 있다는 거죠. 저도 그 포트폴리오를 보면서 놀라웠던 게 Nebius가 엄청 큰 비중인 게 조금 놀라웠거든요.
그래서 Nebius라는 회사를 잠깐 소개해 드리자면 GPU를 파는 회사죠. GPU를 사서 꾸려서 파는 네오클라우드 회사죠. 저희가 ICML 편에서 Nebius 부스가 있었고, 네오클라우드 업체가 엄청 많아서 ‘학회인데 신기하다.’라는 생각을 했었는데요. 포트폴리오에서도 그게 많이 차지하는 걸 보고, 이게 NVIDIA에서 GPU를 사서 클라우드를 꾸려 임대해서 팔고, 그 위에는 LLM이 올라가고, 그 LLM을 쓰는 애플리케이션이 생길 거고, 사용자는 LLM을 직접 쓰거나 애플리케이션을 쓰거나, 이런 식으로 아마 공급망이 만들어지게 될 텐데 거의 제일 앞쪽이죠.
NVIDIA 바로 다음이니까, NVIDIA나 저희 회사 같은 한국에 있는 메모리 회사들 바로 다음에 있는 회사니까 아래에서부터 보면 딱 그 레벨에 있는 게 주목을 많이 받고 있고, 변동성이 거기가 크구나 하는 생각이 들었고요.
저는 이 관점에서 보면 장기적으로는 일단 저희 채널을 운영하는 저희 호스트뿐만 아니라 들으시는 모든 분의 생각이 일치해 있을 텐데, 미래의 수요가 엄청 커질 거라고 비슷한 생각을 가지시는 분들이 이 콘텐츠를 보고 계실 테니까 당연히 수요가 훨씬 많이 커질 거라고 생각하고요. 그러니까 인프라를 포함해서 그 윗단에 있는 모든 것까지 쭉쭉 가치와 돈이 흘러가지 않을까 생각하고 있습니다.
미래 전략가의 헛발질과 변동성 장세의 겸허함 09:31
최승준 저는 개인적으로 이번 일을 훑어만 봤을 때, 경제가 어떻게 돌아가는지는 잘 모르겠지만 Leopold라는 사람을 다시금 살펴보게 됐어요. 조금 전에 확인해 보니까 2024년 6월에 Dwarkesh Podcast에 출연했었거든요. 그리고 출연한 게 OpenAI의 superalignment 팀에서 미래 전략가로 활동하다가 뭔가 발언을 잘못해서, 뭔가를 유출했다고 해서 자기 입장을 변론하지 못한 채 밀려났었거든요.
그러고 나서 Situational Awareness라는 걸 냈고, 그 이후 Daniel Kokotajlo도 OpenAI 출신인데 AI 2027을 내고 얼마 전에 AI 2040을 발표했어요. 미래 전략 쪽에 계시던 분들이 이런 걸 하는 거죠. 그런데 Leopold는 미래 전략가 출신임에도 욕심을 부렸다는 거죠. 방향성에 확신이 있을 수는 있지만, 굉장한 리스크를 걸었거든요.
노정석 그런데 이걸 뭐라고 말할 수는 없죠. 우리 입장에서는 욕심이겠지만, 그 입장에서는 당연한 포트폴리오 관리였을 수도 있는 거고, 언제나 시장에서 겸허하게 결과로 받아보게 되는 거니까요.
최승준 제가 말씀드리고 싶은 건 20대 초반의 패기 있는 미래 전략가도 헛발질은 얼마든지 할 수 있는 판이다.
최승준 그럼요. 장기적인 것과 이 신호는 상관이 없다.
노정석 그런데 떡잎부터 다르긴 하죠. 주식 시장에서 전 재산을 잃어보는 경험을 하고 그 고통에 몸부림쳤던 사람들만이 자산을 그 위에 쌓거든요. 사람들이 생각하시는 것만큼, 얘기를 해보면 다들 본인이 옳았던 것만 얘기해서 “내가 얼마큼 벌었다.”라고 얘기하지, 저희는 그것만 보고 “얘가 얼마 벌었대.”라고 하지, 3, 4일이 지나고 일주일이 지나서 시장의 변동성 때문에 그에게 다시 어떤 일이 일어났는지에 대해서는 추적을 안 하거든요. 놀랍게도 그렇게 돈을 많이 벌고 성공하는 사람들이 그렇게 많지는 않아요. 그리고 그 사람들은 프로그램을 썼든, 아니면 개인이 했든, 그러한 불확실성을 견딜 수 있는 멘탈을 가지고 베팅할 수 있었던 사람들이 보상을 받는 거지, 우리가 지나가는 얘기로 누가 뭘 해서 주식으로 얼마를 벌었다는 얘기에 전혀 여러분이 FOMO를 느끼실 필요가 없습니다. 우리 지인의 95%는 다 거기서 거기이기 때문에, 저는 이 주식 시장에서 대형주들이 이러한 변동성을 보이는 것 자체가 말이 안 되는 것 같아서요.
대형 AI 관련주의 비정상적 변동성과 기대의 시장 12:10
최승준 유례없는 일인 거죠.
노정석 그럼요. 코스닥의 시가총액 몇백억 하는 회사가 하루에 15%, 30%를 오르내린다는 건 말이 되지만, 하이닉스나 삼성전자 같은 시가총액 1, 2위를 다투는 회사가 저런 변동성을 보인다는 건 어마어마하게 많은 시장 참여자, 거의 대부분의 시장 참여자가 저 한두 개를 가지고 코인 거래를 하는 것과 마찬가지거든요. 주가는 미래에 기대되는 현금 흐름을 오늘로 할인한 것에 대한 기댓값이기 때문에, 주가가 오른다는 얘기는 미래에 돈을 어마어마하게 벌 거라는 기대가 선반영되는 거지, 내일이나 일주일 후나 1년 후의 펀더멘털과는 아무런 상관관계가 없는 상품이니까 저희가 그 본질을 잘 이해해야 합니다. 기대에 도박하는 시장이다. 그런데 이게 완전히 도박판이 돼서 저도 요새는 보고 있기가 참 어렵습니다. 결국 이런 시장에서 변동성을 견디는 방법은 많은 분이 얘기하듯이 가치를 미리 알아보고 정말 낮은 가격일 때 들어가서 오랫동안 팔지 않고 가지고 있는 게 답이거든요.
최승준 그게 쉽지 않으니까 이 난리가 나는 거죠.
노정석 그게 쉽지 않으니까 돈 버는 사람이 적은 겁니다. 이건 더 들어가면 철학이 되니까 그만해야 할 것 같습니다. 그러면 저희가 아까 내러티브를 쭉 따라오다가 이야기를 조금 했는데, 이 모든 내러티브의 시작은 Anthropic이 Fable을 내면서부터였다. 그러면서 미국 정부가 Fable을 막아버리면서 모든 사람의 기대를 다 뒤엎고, “우리도 우리 것을 가지지 않으면 큰일 나겠네. Anthropic과 OpenAI를 믿고 있을 수 없네. 미국을 믿고 있을 수 없네.”라는 걸 시장이 보게 된 게 지난 두 달 동안의 모든 변동성과 가정이 바뀌는 것들의 출발점이라고 저는 보고 있고, 저만 해도 우리도 우리 Claude가 있어야 되겠다는 생각을 하고 있거든요.
Fable 차단이 촉발한 sovereign AI 각성 13:41
Kimi K3 오픈웨이트 공개와 시장 충격 14:21
노정석 그런 와중에 불을 붙인 게 Kimi K3란 말이에요. 거의 Claude Opus급 능력, 지금 어떤 워크로드에 투입해도 모자람이 없다는 느낌을 주는 모델이에요. 그런 모델을 오픈웨이트로 밖에 내놨단 말이에요. 물론 돈을 억수로 벌면 그때부터 돈을 내라는 라이선스 조항이 있긴 하지만, 거의 대부분의 회사에는 무료예요. 그래서 이미 종현님이 방금 말씀하셨던 Nebius나 다른 회사들조차도 다 Kimi K3 모델을 클라우드에 올려서 내놓고 있는 단계에 있거든요.
그런데 Kimi K3가 API로 공개된 건 한 달 전쯤이고, 그다음 3일 전에 약속했던 대로 7월 27일에 오픈웨이트로 공개하면서 자기네 모델을 어떻게 만들었는지 모델 카드와 함께 아키텍처, 그다음에 training을 어떻게 했는지 이런 페이퍼들을 다 공개했단 말이죠.
frontier lab workflow의 설계 요약본이 된 Kimi K3 페이퍼 15:16
노정석 K3: Open Frontier Intelligence. 그리고 Kimi가 K2를 낼 때만 하더라도 얘네가 아키텍처는 DeepSeek이 내놓은 것들이 더 이상 여기서 할 게 있나라는 뉘앙스와 함께 optimizer만 Muon 정도로 바꾸고, 사실 DeepSeek 아키텍처를 조금만 바꿔서 쓰는 형태로 Kimi K2, K2.5를 내놨었는데, 올해 초에 DeepSeek이 페이퍼를 내면서 attention에 굉장히 많은 혁신을 가져왔잖아요. sliding attention이라든지, 아니면 attention compression이라든지 이런 것들을 가지고 결국은 저희가 운용상에 있어서 가장 큰 bottleneck으로 작용하고 있는 KV 캐시, KV 캐시의 용량을 어떤 식으로 줄일 수 있는지에 대해 얘기했단 말이에요. 그래서 상당히 알고리즘적인 진화를 이뤄냈는데,
최승준 그리고 mHC 같은 걸 얘기해서 residual connection 쪽도
노정석 그때 맞아요. 했었잖아요. 그래서 attention에서의 변화, MoE에서의 변화, 그다음에 각 블록을 어떤 식으로 연결하는지, residual에서의 변화. 아키텍처적으로는 이 세 가지가 transformer block의 가장 핵심이 되어 가고 있는 그런 부분인 것 같아요.
박종현 모델 안쪽에서 보통 페이퍼에 나온 내용들을 살짝만 분류해 보자면, 말씀해 주신 아키텍처, 모델 자체가 어떻게 생겼느냐에 대한 이야기가 있을 수 있을 것 같고요. 그다음에 제가 Kimi K2 페이퍼는 예전에 한 번 자세히 본 적이 있었는데, 거기에는 학습 방법, 데이터를 어떻게 generation하는지, 어떻게 simulation을 잘하고 데이터와 RL 환경을 어떻게 만드는지, 이런 내용들이 있었던 것으로 기억하거든요. 아키텍처가 생기면 그 아키텍처에 있는 weight를 어떻게 똑똑하게 만들 것인가에 대한 방법론. 이렇게 크게는 두 가지로 나눠서 내용들이 페이퍼에 다 적혀 있는 것 같습니다.
노정석 종현님이 말씀하신 것처럼 K2 페이퍼가 나올 때만 하더라도 그때가 한참 reasoning 모델이 나오고 RL 환경을 구축하는 부분들이 시작되던 시기여서, 얘네가 어떻게 on-policy에서 rubric들을 만들고 환경들을 만드는지에 대한 내용들이 꽤 길게 있었잖아요. 그런데 Kimi K3 페이퍼가 나오면서, 사실 이 페이퍼를 하나로 요약하면 요새 frontier model들과 frontier lab들의 workflow는 어떤 식으로 구성되어 있는지에 대한 전체 설계 요약본이에요. 그래서 모델의 아키텍처는 이런 식으로 변화했다는 게 하나 있고, 그런데 사실 아키텍처보다 훨씬 중요한 게 dataset과 compute를 어떤 식으로 engineering했는가, 이런 부분들인데, 이런 부분들에 대해서는 이제 많이 빠져 있어요. 그러나 어떤 방향으로 갔다고 하면서 paragraph마다 한 단락, 한 단락이 어떻게 보면 하나의 논문이 돼도 될 정도로 굵직굵직한 것들의 융합체라서, 이걸 Kimi나 DeepSeek 같은 회사를 제대로 따라 하기만 해도 어마어마한 노력이 들고, 이걸 찾아내는 것만으로도 큰 공부가 되겠구나라는 생각이 들어요.
그리고 원래 pre-training을 하면서 dataset과 관련한 얘기가 있었는데, 이번에는 그런 얘기가 거의 없고요. 많은 비중이 post-training에 들어가 있어요. 그리고 compute 총량이 얼마 투입됐다, token을 얼마 사용했다, 이런 얘기는 하나도 없어요. 그런 것들은 다 가려지는 것 같고, 뒤에 재미있는 게 RL 환경을 만들기 위해서, dataset을 자동으로 generation하기 위해서 어떤 것들을 썼는지에 대한 방법론들의 서술이 있고, 다른 데에 있는 Mercor라든지 Scale AI가 dataset을 생성하는 방법과 거의 비슷하긴 하거든요.
그러고 나서 RL 환경이라는 것 자체가 사실 pre-training하고는 workload가 다르잖아요. 왜냐하면 pre-training은 그냥 쭉 걸기만 하면 되는데, RL은 학습 과정에서 추론하는 과정, inference를 하나씩 다 해야 되기 때문에. 그런데 그 inference 과정이 어떤 건 짧게 끝나고 어떤 건 길게 끝나고, 똑같은 rollout의 문제에 대해서도 trajectory의 길이가 다 다를 수 있기 때문에, 이런 것들을 어떤 식으로 처리하는지에 대한 인튜이션들만 쭉 나와 있어요. 그러나 이걸 실제로 우리가 파이프라인에 걸어봐야겠다고 하면 그 하나하나가 일이 될 정도예요.
그래서 post-training에 굉장히 많은 지면을 쓰고 있고, 뒤의 evaluation 부분들은 그냥 숫자들인데, evaluation 결과로는 우리가 Claude Opus나 GPT-5.6 Pro보다는 좋다고 얘기한 것 같아요. 그런데 GPT-5.6이나 Fable보다는 살짝 못한 정도라고 평가하고 있고. 그런데 요새 small model들이 나오면서 벤치마크에서 small model이 large model을 넘어서는 것들이 많이 보이고 있는데, 저는 이제 벤치마크를 믿을 수 있나라는 생각은 조금 들긴 하고요.
벤치마크 해석의 어려움과 상위 모델 출시의 징후 20:17
박종현 네, evaluation 결과를 해석하는 게 항상 어려운 것 같아요. 벤치 결과와 점수가 어떻게 나왔든, 실제로 사용해 보면 안 맞는 경우가 많죠. 특히 제가 느끼기에는 상용 서비스를 하지 않는 모델들, 사용자가 엄청 많지 않은 모델들은 그런 경향이 더 심하거든요. 왜냐하면 벤치에 overfit해서 벤치 점수는 올렸는데, 실제로 다른 사용 사례, 엄청 general한 실사용 사례에서는 안 좋은 거죠.
그런데 그런 관점에서 보면 Kimi 같은 경우에는 그래도 상용적으로 서비스를 실제로 많이 하고자 하는 게 목적이다 보니까, 벤치 점수가 그런 경우에는 그래도 상관성이 꽤 있지 않나, 이렇게 개인적으로는 경험하고 있습니다.
최승준 저는 좀 다르게 보는 게, 어제가 오늘 새벽인가였죠. DeepSeek V4 Flash도 나왔잖아요. 그것도 벤치가 상당히 좋은데, 이번에 Claude Opus 5가 나오면서 일부 Fable보다 벤치가 잘 나오는 걸 보고 느낀 건 Fable 5.12가 나오겠구나였거든요. 그러니까 그렇게 상위 모델을 넘어서는 벤치가 나온 건 상위 모델의 다음 것이 나오겠다는 징후 같이 느껴지긴 했습니다.
노정석 네, 그 간격이 너무 줄어들고 있죠. 저희가 지금 소위 특이점을 지나고 있는 그런 단계라서 그런 게 아닌가 싶어요. 분명 사람의 속도는 아니라고 저희가 미루어 짐작할 수 있잖아요.
최승준 그게 RSI인 거죠. RSI의 어떤 진입점에 있는 상황으로 보이는 징후들이라고 생각합니다.
노정석 RSI가 Recursive Self-Improvement죠. 그러니까 모델이 스스로 재귀적으로 진화하는 걸 나타낸 건데, 좀 넘어가 볼게요.
벤치마크들, 항상 첫 장은 요약하는 것들과 벤치마크가 우리가 이만큼 좋아졌다는 걸 나타내는 게 있죠. 이 Kimi K3가 정말 이상한 짓들을 많이 했더라고요. 여기에 자기들이 공헌했던 포인트들이 나오죠. 우리 모델을 2.8T 파라미터 정도로 키웠다. 그다음에 104B activated parameter가 되고, context window는 1M token이라는 게 나왔고, 그다음에 KDA, 그다음에 Attention Residual, Stable Latent MoE.
2.8T 파라미터와 1M context, Kimi K3 핵심 스펙 22:13
노정석 이런 것들이 크게 보면, KDA가 attention에서 어떤 혁신을 했는지, 그다음에 Attention Residual이 transformer block 간에 어떤 변화를 줬는지,
최승준 초반에, 올해 초반에 논문이 나왔어요.
노정석 MoE에서 어떤 변화가 있었는지.
노정석 그리고 이 숫자가 또 중요한데, Kimi K2 대비 모델의 아키텍처 개선이 있었고, 그다음에 dataset의 변화가 있었던 것. 항상 이 두 가지 정도가 핵심인데, 동일한 compute를 투입했을 때 2.5배 빠르게 더 낮은 validation loss에 도달한다. 그러니까 더 많은 학습을 이뤄낸다는 얘기죠. 얘네가 도대체 어떤 혁신들을 했는지 여러분에게 인튜이션만 말씀드리면서 가면 될 것 같은데, transformer를 따라오셨던 분들은 머릿속에 상이 있으실 거잖아요. 맨 아래에 단어들을 token으로 바꿔주는 tokenizer가 있고, 거기에 번호들이 붙어 있는 거고, 거기에 embedding을, 저희가 hidden layer dimension이라고 부르는 embedding으로 바꾸고, 거기서부터 transformer block이 시작하는 건데, 하나의 transformer block 안에 들어 있는 게 처음에는 attention block, 그다음에 normalization이 있고, residual이 들어간 다음에 그 위에 fully connected, FFN, MLP block이 있고, 거기서 다시 residual이 하나 있고. 이걸 하나의 block으로 부르고, 그 block들이 촘촘히 쌓여 맨 위까지 올라가고, 맨 위에 LM head가 붙어 있고, 그걸 다시 결과로 바꾸는 이게 일반적인 transformer의 구조잖아요.
이 큰 구조 자체는 지금껏 변하지 않았는데, 이 안에 있는 내용들은 지난 2~3년 동안 거의 연금술 수준으로 바뀌어 왔잖아요. 예, 그렇죠. 그런데 이건 저는 연금술이라고 불러야 할 것 같아요. 어떤 이론적인 배경과 이론이 있어서 이걸 이렇게 만드는 게 아니라, 이렇게 하면 정보가 더 효율적으로 흐르겠네, 이렇게 하면 정보들이 잡히겠네, 이렇게 바꿔 봐도 되나 해서, 되면 그냥 되는 거예요. loss가 떨어지고 evaluation이 만족되면 그냥 되는, 일종의 발명이 아니라 저는 이제 발견의 단계에 들어간 게 아닌가, 이런 생각이 들 정도인데.
박종현 네, 저도 거기에 동의하는 게, 저기 나와 있는 Gated MLA라든가 이런 알고리즘들이 예전에 Qwen에서부터 Gated DeltaNet 같은 식으로 계속 엄청 다양하게 나왔습니다. 이게 scale이 가장 문제인 것 같아요. scale이 엄청 커야 하다 보니까 이런 실험, 저런 실험을 통제하고 실험을 다 해볼 수가 없습니다.
그러다 보니까 이런 문제가 있으니까, 기억력에 문제가 있으니까, 이런 식으로 하면 좋을 것 같다는 알고리즘을 하나 설계해서 넣고 해본 뒤, 좋으면 끝. 그냥 이렇게 끝나는 것 같아요. 이렇게도 해보고 저렇게도 해봐서 이게 더 좋다는 실험을 할 수 있는 scale이 아니라서, 그래서 발견에 가깝다는 생각을 저도 비슷하게 하고
노정석 있습니다. 방금 얘기했던 이 하나의 transformer block, attention과 MoE가 들어 있는 기존의 transformer block 하나가 제가 마우스로 동글동글 표시하고 있는 이 KDA와 Stable Latent MoE, 이게 기존의 transformer block 하나라고 보시면 돼요. KDA가 새로운 attention 역할을 하는 애고, attention이 끝나고 나면 다시 MoE를 돌리고, 그사이에 residual들이 있는 구조인데, 여기 보시면 3×라고 돼 있잖아요. 이 block을 세 번 반복하고, 그 위에 있는 Gated MLA는 기존에 DeepSeek에서 봤던 전통적인 attention layer하고 비슷한 겁니다. 이게 한 번 들어가는, 이게 하나의 단위 block이 돼요. 이 단위 block을 위로 촘촘하게 몇십 개 쌓아서 전체 parameter 수를 만든 거거든요.
LSTM과 Mamba를 섞어 KV cache를 없앤 Kimi Delta Attention 26:33
노정석 그러면 여기서 봐야 할 신기한 게, 이게 또 DeepSeek과 완전히 다른 게 얘네가 KDA라는 걸 만들어서 전통적인 attention을 싹 바꿔냈어요. 그 KDA라는 구조가 왼쪽에 있는 이거거든요. KDA가 Kimi Delta Attention의 구조인데, 저는 이걸 보면서 이 그림과 안에 있는 알고리즘을 다 따라가지는 않을게요. 그런데 제가 심상으로 느낀 건, 이거 그냥 옛날 LSTM 느낌이고,
최승준 RNN 시절에 그거죠.
노정석 네, 그렇죠. 어떤 걸 기억할 건가, 어떤 걸 잊을 건가라는 gate를 가지고 recurrent model이 쭉 돌았던 게 LSTM이었잖아요. 제가 한참 또 관심에 빠져서, SSM, State Space Model과 Mamba로 보통 많이 알려져 있다고 얘기하는 그 모델의 인튜이션이 이거였거든요. 학습은 transformer처럼 병렬로 이 모든 sequence를 한 번에 넣어서 학습할 수 있고, inference할 때는 보통의 recurrent model처럼 하나의 모델이 계속 단어를 내놓게 하는 그런 모델을 만들면 어떨까? 그러면 transformer의 비효율이 많이 사라지니까. 이게 Mamba의 인튜이션이었는데, transformer와 Mamba와 LSTM을 다 섞어 놓은 게 이거예요.
KDA예요. 전통적인 KV 캐시 block을 그냥 갖고 있지 않아요. Mamba처럼 하나의 block이 memory block이고, 그 안에 신기한 게 attention스럽게 QKV 테이블을 구현해 놨어요. 그러면서 얘가 올라가면서 input gate, forget gate를 사용하면서 이 token들이 계속 sequence를 가지고 과거에서 미래로 나아가는 것들을 쌓아갈 수 있도록 만들어 놓은 구조예요. 이건 이해하지 않으셔도 돼요. 대략적인 심상이 그렇다는 것만 생각하시면 되고, 그렇다 보니까 이렇게 recurrent network 같은 구조가 이 안에 끼어 있다 보니까, 눈치 빠르신 분들은 눈치를 채셨을 텐데, positional encoding을 넣는 게 하나도 없어요.
KDA block 자체가 positional data를, 얘가 sequence를 처리하는 block이다 보니까 다 처리해요. position을 넣지 않아도 돼요. 하더라고요. 맞아요. NoPE라고 부르더라고요. No Positional Encoding. 그리고 이런 구조를 취했던 최근에 봤던 모델이 Nemotron이었거든요. Nemotron이 Mamba block을 중간에 끼워 놓고 transformer attention block을 넣고, 그런 식으로 중첩되는 구조를 섞었죠. 그래서 이 Kimi K3 구조와 매우 흡사하거든요.
그래서 이런 것들이 서로 조금씩만 다를 뿐이지, 이 아이디어라는 유전자들이 서로 이종 교배가 일어난 것과 비슷하거든요.
최승준 그 sequence가, token sequence가 길어지는 것과 상관없이 그냥 고정돼 있는 거죠. 얘네들은
노정석 KDA는 KV 캐시가 없죠. 왜냐하면 이 안에 있는 QKV의 하나의 단일 state와 그것들의 변화를 트래킹하는 delta라고 하는 데이터를
최승준 조금씩, 조금씩, 조금씩, 조금씩 변화하는 게 delta죠.
노정석 거기를 그냥 parameterize해서 학습시키는 거거든요. 그게 왜 되냐고 저에게 묻지 마십시오. 되니까 했겠죠.
최승준 찾아보니까 이걸 연상 기억 장치나 아니면 fast weights라고 표현하는 경우가 있더라고요.
노정석 그러니까 얘들도 이런 인튜이션들을 섞어 넣으면서 이렇게 되니까 했겠죠. 그런데 이걸 왜 했느냐가 중요한 건데, 목적은 대부분 비슷해요. 메모리와 compute를 줄이는 게 항상 목적이에요. 이 KDA를 쓰는 것 때문에 다른 전통적인 attention을 쓰는 것 대비 거의 memory-wise 75% 정도가 줄어요. 굉장히 작은 메모리로 줄어드는 거고, Kimi K3가 굉장히 큰 parameter size를 갖고 있음에도 불구하고 이런 이야기 심심치 않게 듣잖아요.
얘네는 quantization이 잘 안 된다. 왜냐하면 안에서 이미 줄일 대로 줄여놔서 이런 식의 전통적인 계산이 여기서는 다 없어져요. 굉장히 효율화돼 있습니다. 이게
최승준 그러니까 과거를 연결하는, 원래 self-attention은 그 축에서만 되는데 이건 과거 것을 참조할 수 있게 되는 거죠. 원래는 과거 것이 embedding을 따라 계속 흘러, residual을 따라 흘러가야 하는데 이건 과거의 것을 잘 참고할 수 있게 해주는 그런 느낌 아니에요?
노정석 과거를, 예전의 전통적인 attention은 과거를 전부 KV 캐시로, K와 V를 다 가지고 있고 거기에 Q를 적용해서 전부 계산해보는 형태로 어떤 과거가 나와 관련이 있는지를 찾아내는 방식이었다면, 얘는 그게 아니라 그냥 쌓여온 delta를 가지고 거기에 query를 적용하면 가장 적절한 value를 그냥 내주는 거죠. 네가 찾는 value가 이걸 거라고 해서 내주는 거죠. 그걸 어떤 식으로 parameterize했는지는 저도 거기까지 들어가 보지 않았습니다. 하지만 인튜이션은 그렇다.
박종현 쉽게 말하면 과거의 어떤 정보들을 다 갖고 있는 게 아니라 더 작은 크기의 vector latent space에 압축해서 넣고, 그걸 넣는 법마저도 학습시키겠다. 이렇게 이해할 수 있을 것 같고요. 제가 이해한 대로, 정확하게 다 따라오지 못한 것 같은데 인튜이션을 한번 제 나름대로 해석해보자면, LSTM스럽다고 말씀해주셨는데 제가 듣기에는 그건 좋은 방법이라고 생각되지는 않거든요. Transformer라는 큰 골자가 있고, Transformer라는 큰 골자는 과거에 있었던 RNN이나 LSTM 같은 알고리즘에 비해 규모는 엄청 크지만 알고리즘을 뜯어보면 훨씬 간단하거든요. 그런 걸 정형원 박사님 톡을 보면 inductive bias를 풀어서 우리가 이렇게 해라, 저렇게 해라, 기억이라는 건 이렇게 하는 거다, 이런 가이드 매뉴얼 같은 걸 싹 철폐하고 그냥 데이터를 때려 박아서 네가 알아서 공부하라고 하면 똑똑해질 잠재력을 가진 큰 LLM들은 결국 데이터가 많으면 배워낼 것이다. 이런 식의 큰 인튜이션에서 출발했을 때, 이 Kimi Delta Attention이 LSTM스럽다는 건 과거를 어떻게 해라, 어디를 봐라, 이런 것들을 우리가 알고리즘적으로 복잡하게 다 집어넣어 준 거다 보니까 다시 역행했다고 볼 수 있을 것 같아요. 이 골자에서는 결국 사람도 마찬가지인데, 이런 bias를 주는 것, 신입이 들어오면 교육을 하는 거죠. 이렇게 해야 돼. 이런 강제를 주는 건 자유도를 제한함과 동시에 잠재력을 제한하면서도 상당히 효율적인 교육을 저희가 할 수 있게 하잖아요. 그러니까 compute가 제한된 상황에서, 규모가 너무 크다 보니까, 게다가 중국은 compute 자원도 제한된 상황에서 그 compute로 어떻게 하면 가장 효율적으로 큰 모델을 잘 training할 수 있을까라는 고민에서 나온 결과물이라고, 제 느낌에는 그런 인튜이션이 들고요. 그럼 결국 아마 시간이 지나면 이런 것들은 점점 쌓여가면서 더 효율적인 걸 찾다가 한계를 마주하고 다시 풀어내고, 이런 역사의 반복을 또 마주하게 되지 않을까, 이렇게 생각됩니다.
inductive bias 강제의 이유, inference 효율이라는 지상 과제 34:01
노정석 그러니까 이 아키텍처에 어떤 plateau가 있을 거예요. 끝까지 가서 더 이상 도달할 수 없는 평형점에 도달할 텐데, 그걸 넘어서려면 innovation이 있어서 완전한 architectural change가 있어야 하는 거고, 그런 architectural change를 연구하겠다는 회사들이 요즘 Bay Area에서 몇 billion 단위로 투자를 받고 있는 거죠.
종현님 말씀에서 제가 잠깐만 보완하면, 저희가 이렇게 지금 그림으로 보고 있는 이런 것들 자체가 그냥 inductive bias를 강요하는 거죠. 그렇게 틀을 만들어 놓고 여기에 또 scale을 투입하면 문제가 해결되니까. 그런데 inductive bias를 그렇게 강제하는 이유는 그것 때문이에요. 메모리와 compute를 효율화하기 위해서. 그럼 이게 왜 필요하냐? inference 때문에 그런 거거든요. training time의 비효율은 저희가 다 감내할 수 있어요.
그런데 inference workload가 훨씬 커지기 때문에 inference workload의 가장 큰 bottleneck이 되는 게 저희가 느끼기에는 KV 캐시잖아요. DeepSeek도 그랬고 Kimi도 그렇고, 얘들은 거기에 가장 큰 모순이 숨어 있다고 본 것 같아요. KV 캐시를 어떻게든 없애버리자.
박종현 큰 흐름에서 보면 Transformer라는 골자가 나온 지 거의 10년이 다 돼가는데, 그걸 끝까지 쥐어짜고 최대한 엔지니어링해서 점점 끝까지 최대한 끌어올리고 있는 과정이다. 이렇게
박종현 맞아요. 저희가 그 길에 있다고 볼 수 있겠네요.
최승준 그런데 KV 캐시가 없어진 건 아니잖아요. MLA에 합쳐져서 있잖아요.
노정석 네, MLA에는 KV 캐시가 여전히 있죠. Gated MLA에는 전통적인 KV 캐시가 있어서 KDA 블록에서 과도하게 없어졌을 수 있는 그런 것들의 구조를 딱 트래킹하는 구조로 되어 있죠.
최승준 Multi-head Latent Attention.
노정석 네, 이건 저희가 DeepSeek에서 봤던 거죠. 전통적인 KV 캐시에서 hidden dimension의 dependency가 있는 게 아니라 한 번 더 latent로 내려서 attention까지도 압축해버린 거죠.
아래 블록을 건너뛰어 참조하는 Attention Residual과 Stable Latent MoE 36:06
노정석 저희가 residual 이야기를 하고 있는 건데, 인튜이션만 말씀드리면 기존 Transformer의 residual들은 아래의 input 부분에서 위의 output까지 가는 쪽으로 정직하게 하나씩, 하나씩 쌓여가잖아요. 그랬는데 DeepSeek이 이 attention에서 바꾼 게 그 부분에도 학습 가능한 weight를 줘서 어떤 정보들이 올라가고 내려가는지를 학습하도록 하겠다는 residual을 만든 거고요.
그런데 얘는요. DeepSeek도 단계별 sequence를 건너뛰지는 않아요. 그런데 얘는 여기에 개념을 하나 더 도입해서 저 아래 블록까지 건너뛸 수 있는 그런 residual pipeline을 만든 거예요.
굳이 강하게 이해하려고 하지는 맙시다. 왜냐하면 여러분이 더 깊게 질문하면 제가 답할 수 없기 때문에.
최승준 그런데 어쨌든 alpha가 learned parameter인 거죠? 학습된 거죠?
노정석 alpha는 아니요. W가 learned parameter이고, alpha는 그 parameter에서 각각 아래 layer에서 얼마만큼의 weight로 꺼낼지 softmax를 하는
최승준 그러면 W에서 alpha가 나오는 거예요?
노정석 네, 계수를 보는 거죠. W 앞에 붙는 계수죠. 이게, 제가 큰 인튜이션을 설명하면 아까 말씀드린 대로 이 Transformer 블록이 아래 input부터 시작해서 KDA 세 개, 그다음에 Gated MLA 하나, 이런 식으로 가고 그 사이사이에 당연히 MoE가 있고, 세 개, 하나, 세 개, 하나, 세 개, 하나의 블록으로 이렇게 쌓인다는 이야기거든요. Transformer 블록이 총 97개 있는데, 여기서 한 단위가 네 개니까 이런 단위가 한 스물몇 개 있겠죠.
그런데 residual에서는 이걸 하나의 블록으로 봐요.
최승준 그럼 이게 Attention Residual이에요?
노정석 네, 이게 지금 설명드리는 Attention Residual이에요. 그래서 크게 세 개의 space에서 얘네가 모델을 변화시켜 놓은 건데, 여기 아래를 보시면 block n, block n-1, block n-2, 이렇게 돼 있잖아요. 뒤에 오는 블록에 있는 stream을 꺼내 쓰지는 않고, 그건 말이 안 되니까, 당연히 과거에 있는 블록들에서 꺼내오는데 보시면 embedding에서부터 아래로 쌓이는 블록들 전체가 있죠. 만약 얘가 최상위 블록이라면 이 아래에 쌓인 블록이 한 스물몇 개 있을 거예요. embedding까지 포함해서 그 블록들에서 어떤 residual들을 꺼낼지를 weighting할 수 있게 만들어 놨어요. 정말 정보를 자르고 할 수 있는 상상 가능한 inductive bias는 그냥 적용하면 되는구나라는 게 제 심상이고요.
최승준 헷갈리는 게, 전체 93개 layer인가 그랬던 것 같은데, 23개 정도의 블록 그룹에 93개 정도가 배치된 거예요? 그러면
노정석 여기서 블록이라는 단위를 헷갈리면 안 되는 게, 저희가 전통적으로 아는 Transformer 블록은 KDA와 Stable Latent MoE 하나, 그다음에 Gated MLA와 Stable Latent MoE 하나, 이런 게 전통적인, 뭐죠, Transformer 블록인데, 그런데 여기서 block n-1, n-2라고 하는 건 이거 세 개, 하나를 묶은 걸 Attention Residual의 한 블록으로 본 거죠. 그 블록의 개념은 앞에 붙는 형용사가 다릅니다. 그래서 얘들이 attention을 하는 건 이 블록들에서 나온 것들을 다 aggregate한 데서 고른다는 의미를 이 그림으로 그린 겁니다.
박종현 이 residual을 보니까 어떤 생각이 드냐면, 가공되지 않은 token들의 정보를 다 끌어다 쓰겠다. 이런 게 inductive bias일 것 같고, 그걸 넘어 이걸 실제 inference 최적화시킬 때 저희가 보통 사용하는 parallelism 중에 파이프라인 패럴리즘, 그러니까 앞의 블록은 이쪽 GPU에서 돌리고 뒤의 블록은 저쪽 GPU에서 돌리는 작업을 할 때 무언가 개선이 필요하겠다.
최승준 파이프라인 패럴리즘은 scale-out에서 rack 사이니까 그게 지금 블록 단위와 맞아떨어지는 거 아니에요?
노정석 이건 종현님이 헷갈리시면 안 되는 게 얘는 compute가 아니라 끝난 결과들이 cache에 들어 있는 거라서 엄밀하게 이야기하면 memory problem이에요. 위에 있는 블록이 계산할 때 아래에서 계산된 결과를 메모리에서 꺼내오는 거라서 parallelism과는 상관없죠. 아래 layer에서 계산된 것들이 cache에 다 담겨 있을 텐데, 그걸 어떤 비율로 꺼내서 마치 저희가, 뭐죠, attention에서 softmax를 하잖아요. softmax를 해서 다시 query에 곱하잖아요.
최승준 페이퍼에서는 PP와 관련이 있긴 있었어요.
노정석 맞아요. 이런 경우를 다 방어하는 마법의 방어 용어가 있더라고요. 만약 그러시다면 여러분 말이 맞습니다.
박종현 그렇죠. 저도 보고 그냥 떠오른 거라서 제가 틀릴 수 있습니다.
최승준 다 꿰고 있는 게 아니니까요.
노정석 그러고 나서 MoE 블록이 있는데, 여기 Stable Latent MoE를 보면 항상 특이한 점이 hidden dimension 크기가 커요. 그런데 걔가 여기 MoE 블록으로 올라올 거잖아요. 올라오면 shared expert 두 개는 쓰는데, 얘는 똑같은 hidden dimension으로 그냥 올라가고, routed expert는 고를 거잖아요. 열몇 개를 고를 겁니다. 그런데 고르는 과정에서는 중간에 압축을 한 번
노정석 해요. 굉장히 sparse한데, 그중에서도 그걸 고르는 linear 블록이 하나 있죠. MLA처럼 차원을 절반으로 축소해요. 축소한 다음 다시 돌아가고, 다시 차원을 펼쳐서 원래 올라오는 것과 더하는 식으로 해요. 그리고 이 안에 굉장히 알고리즘적으로 복잡한 내용들이 들어 있어요. 얘네가 numerical stability, 계산을 안정시키기 위해 썼던 알고리즘들이 잔뜩 들어 있는데, 거기는 보는 순간 잠이 너무 몰려와서 덮었어요. 제가 본 건 그것들이 블록으로 결합돼서 총 이런 식으로 돼 있다는 거예요. 그런데 저희가 여기서 이 블록 이야기를 마무리할 건데, 이런 것들이 재미있게 보이니까 저희도 이걸 이야기하는 거죠. 재미있긴 하죠. 눈에 보이니까.
아키텍처 딥다이브를 접는 선언과 데이터 중심 관점 42:44
노정석 그런데 맞아요. 이해하면 뭔가 대단한 존재가 되는 것 같고, 뭔가 앞서가는 것 같고, 뭔가 깨달음을 얻은 것 같고, 그렇긴 한데, 어쨌든 승준님이랑 저랑 이렇게 하면서 이런 페이퍼가 나올 때마다 리뷰를 했었는데, 제가 일종의 선언을 하자면, 이제 이거 그만하려고요.
최승준 보시기만 하고 그만한다는 거죠?
노정석 그렇죠. 이제 커버만 살짝 봐서 이게 인튜이션이 어떻게 가고 있구나 감은 오는데, 그 감의 큰 목적성은 이건 inference workload가 워낙 커지고 있기 때문에 KV 캐시를 줄여서 memory와 compute efficiency를 높이려는 그런 큰 방향성들이 저 아키텍처 안에 계속 구현되고 있는 거죠. 이 안에 있는 내용들은 이제 사람이 할 것 같지도 않고, 새 모델이 나오면 덮어야겠다는 생각은 좀 들어요.
박종현 저도 과거에 비해 이런 관심도가 많이 떨어진 것 같아요. 너무 복잡하고 새로운 것들이 나오고, 그래서 아마 다음에 innovation이라고 부를 만한 큰 변화가 오면 그런 것들이나 이런 것들만 관심 있게 보지 않을까 싶습니다.
노정석 대략의 인튜이션을 보면 저희가 많이 봤던 그런 수식이고, 대략 뭘 하고 있구나라는 감만 올 뿐이죠.
최승준 그런데 공통적으로 나타나는 건 다 뭔가 가중합이에요. 그냥 다 예전에 흘려보냈다면, 그걸 선별하는 느낌이 좀 있는 것 같더라고요, 모든 게.
노정석 맞습니다. 저희가 이런 거 얘기하면 사람들이 나와서 얘기하잖아요. 그냥 다 따지고 보면 다 matmul이라고, matrix multiplication 공부 많이 했다고, 이런 얘기를 하는 거죠. 이걸 누가 썼을까요? 사람이 썼을까요? 그다음에 vision에 별도의 encoder를 붙이지 않고 그냥 하나의 end-to-end block에 vision도 끼워 넣어서 했다. 안에 있는 내용의 디테일은 ‘그렇구나, 잘해 놨네.’ 이런 정도의 인튜이션을 갖고 넘어가면 되지만, 전체적인 대제목들이 어떻게 배치되는지는 우리가 알고 있어야 돼요. 왜냐하면 이게 frontier lab들의 process 설계도거든요. 하나하나마다 어마어마한 아이템들이 들어 있고, 이게 이런 block으로 돼 있고 어디가 지금 병목이고 어디가 제일 중요한지에 대해 어떤 심상을 가지고 있는 게, 저희가 아까 Leopold Aschenbrenner 얘기를 했지만, 앞으로 나올 수많은 회사의 주식 투자를 하는 데 있어서 어떤 본질적인 가정을 갖는 데 매우 중요합니다.
만약에 틀렸다면, 만약에 틀렸다면 승준님 말씀이 맞습니다. 참 모르죠. 어떻게 되는지는 저도 모르고, 지금 말을 하면서도 제가 말을 하고 있는 건지, 아니면 제 speculative decoding이 되는 누군가가 다 말을 하고 있는 건지 잘 모를 때가
최승준 많습니다. 요새 그 얘기 안 했네요. 모든 게 다 speculative decoding이랑 MTP가 기본이더라고요, 요새는.
노정석 맞아요. 인간의 뇌 안에도 그 구조가 지금 돌고 있을 거예요. 저희가 얘기하면서도 앞으로 무엇을 얘기해야 될지에 대한 소위 기시감이 드는 건 어디선가 speculative decoding, 그러니까 decoding block이 돌고 있기 때문이라는 생각이 들거든요.
박종현 갑자기 speculative decoding 얘기를 하니까 떠올랐는데, 제가 가끔 채팅을 하다 보면 저는 어려서부터 게임을 하면서 자란 세대라 그런지 말보다 손이 빠르거든요. 어떤 때는 제가 생각을 거치지 않고, 말은 보통 다 생각을 거쳐서 나가는데 채팅은 이미 쳐져 있는 경우가 있어요. 그러니까 speculative decoding을 해서 손은 이미 먼저 나가고 있는 거죠.
노정석 그 얘기는 저희가 뒤에서 또 해봅시다. 저희가 아마 이야기를 하면 24시간 동안 얘기해도 안 끝날 수 있을 거예요.
최승준 그런데 그런 것들이 TPS를 높이는 것하고 다 관련 있어 보여서, 잠깐…
노정석 그럼요. 그 모든 것들이 지금 다 이 serving infrastructure에서 어떻게 efficiency를 높이느냐, 효율을 높이느냐와 연결된 얘기죠. 이 엄청나게 복잡한 것들이 inference infrastructure에 들어 있는데, 지금 보고 있으면 놀랄 정도죠. 얘기로 돌아와서, 아까 저희가 architecture block을 봤죠. 모델에서는 어떻게 됐는지. 그건 저희가 저기서 시간을 많이 쓰긴 했는데, 저는 중요도 측면에서 저 model architecture는 10%라고 봅니다.
90%는 뒤에서 어떻게 pre-training이 됐고, 어떻게 post-training을 했고, dataset과 compute 문제가 90%라고 보고, dataset과 compute에는 왕도가 없거든요. 지루한 engineering이 쌓여 있고, lab마다 엄청난 축적이 있을 거고, 그 축적의 힘이 지금의 어떤, 뭐라고 해야 될까, differentiator로 작용하고 있는데, 그 축들에서 기본을 갖춘 애들 사이에는 급속히 상향 평준화가 되고 있는 것 같다는 생각은 듭니다.
저는 여기에서 얻어 놓은 practice들이 다 바깥으로 나올 것 같아요. Hugging Face 모델이나 이런 방법론이나, 또 하나의 에이전트가 불러 쓰는 tool로 나와서 이제는 회사마다 다 model training을 하는 시대가 곧 다시 올 거란 생각은 하고
최승준 있는데요. 또 샛길이긴 하지만, 그렇게 기술이 다변화됐는데 왜 성능은 다 비슷해요?
노정석 질문을 이해 못 했어요.
최승준 그러니까 이런저런 기술들이 다, 어떤 회사는 이런 축적이 있어서 이런 걸 파고들고 저런 걸 파고드는데, 나온 걸 보면 모델들의 성능과 품질은 수렴하고 있잖아요.
노정석 성능과 품질이 수렴하는지는 잘 모르겠는데요. 수렴은 하고 있지만, 아키텍처들이 조금씩 다르고 나오는 성능에 일종의 Pareto frontier curve가 지금 있는 거죠. 그리고 모두가 십시일반하면서 조금씩 algorithm enhancement, dataset enhancement, 그 아래 engineering infrastructure enhancement를 더하며 인류 전체의 Pareto frontier가 지금 전진하고 있는 거라고 보는 게 맞겠죠.
최승준 그러니까 제 인상은, 달라지는 것도 분명히 맞긴 하지만 공통분모인 recipe가 있는 데서 조금 다변화되는 게 아닌가라는 생각을 잠깐 가졌어요.
노정석 다 따지고 보면 다 Transformer죠.
박종현 이런 생각도 합니다. 다양하게 뻗어나간 기술들이 사람들이 이직하면서 다 수렴하는 지점들이 있을 수도 있겠지만, 어쩌면 다 달라도 아무 상관이 없는 일일 수도 있겠다는 생각도 듭니다.
노정석 네, 맞아요. 그게 저희가 지금 이 모델에서 승준님이 방금 했던 질문들을 이 space에 그대로 올려서 저 agent orchestration으로 가면 또 똑같은 문제들이 동형으로 발생하거든요. 그런데 그건 좀 더 넘어가 보죠. 우리 계속 토끼굴을 파다가는 이게 안 끝날 것 같습니다.
최승준 맞습니다.
프리트레이닝 데이터 품질과 1M context 확장 49:39
노정석 pre-training data, web text를 보세요. 여기 web text랑 code랑 mathematics, knowledge, 이걸 썼다고 나오고요. OCR 같은 것도 썼고, Kimi K2부터 쌓아 온 data pipeline을 썼다고 나오는데 dataset에 대한 언급은 없어요. lab별로 가지고 있는 pre-training용 corpus의 품질, 뒤에서 품질을 높이는 pipeline이 끊임없이 돌거든요. 이게 core asset이다. 그래서 이런저런 algorithm의 변화와 dataset의 품질을 증가시켰더니 이 curve가, validation loss curve가 Kimi K2 대비 Kimi K3니까 2.5배 증가했다. order of magnitude, OOM 수준은 아니지만 2.5배 정도 했다. 이거 엄청난 거죠. 거의 두 배 좋아진 거니까요.
이런 것들로 해서 context length가 1M이 됐고, training recipe가 있는데 이거 이렇게 짧아요. training recipe가 이 정도밖에 안 돼요.
최승준 중요해서 짧게 넣나요?
노정석 아니요. 완전히 거꾸로 말씀하신 거네요. 이게 자기네 노하우겠죠. 그런데 1M을 하기 위해서 처음에 8K로 갔다가 뭘 했다가 이렇게, 전통적인 개념에서는 어떤 식으로 annealing을 했는지 이런 얘기를 해 놓은 건데, long-context extension, NoPE. 여기 나오네요. positional encoding을 안 쓴다.
1M long-horizon SFT와 장기 에이전트 워크플로우 학습 51:02
노정석 그리고 post-training하는 과정은 처음에 supervised fine-tuning 얘기가 쭉 나옵니다. SFT예요. post-training 얘기를 하면서 저는 중요하게 봤던 포인트가 1M context로 늘린 게 얘들이 지금 굉장히 강조하고 있는 부분이고, 그다음에 요새 1M context에서 중요하게 보는 게 이 long-running work이거든요. 굉장히 길게 이어지는 agent workflow, 1M context를 가득 채우는. 1M context는 굉장히 큰 양이잖아요. 그걸 다 채울 정도로 왔다 갔다 하는 복잡한 agent workflow를 어떻게 끊기지 않고 task를 끝까지 마무리하느냐. 과거에는 모델이 이런 능력이 떨어지니까 저희가 밖에서 하네스로 엄청나게 많은 강제 prompt를 넣고 막 check logic을 넣었던 건데, 그런 부분들이 모델 안으로 계속 들어가고 있다는 게 이런 부분인데, 1M 안에서 어떻게 이걸 다 하게 할까 하는 부분인데, 이건 제가 의심하건대 증거는 없습니다.
제가 틀렸다면 아마 여러분 말이 맞을 겁니다. 그런데 이 supervised fine-tuning 부분이 Anthropic이나 이런 데서 얘기하는 ‘쟤들이 우리 모델을 엄청나게 distill했네.’라고 하는 그 부분이 아닐까 싶어요.
최승준 잘 작동하는 궤적을 다 distill했다는 거죠.
노정석 그렇죠. 특히 저희도 과거 DeepSeek R1이나 이런 것들을 따라오면서 느꼈던 게, 모델의 능력이 어느 정도 괜찮으면 SFT만 잘해도 그 function이 확 생겨나거든요. 그래서 충분히 똑똑해진 모델로 RL 연습 문제를 풀면 얘가 거기서 소위 좀 정교해지는 거고, 얼추 배워야 되는 것들은 pre-training이고, SFT에서 거의 다 배워서 SFT만 끝난 모델을 써도 상당히 똑똑하게 바로 동작한다는 논문들이 꽤 있었단 말이에요. Kimi나 중국의 다른 모델이나 후속 모델들이 Anthropic과 ChatGPT를 엄청나게 distill하지 않았을까라는 생각이 들어요. 복잡한 workflow에서 tool call을 어떻게 처리하는지, 뭘 하는지, 이런 것들을 아마 넣었겠죠.
박종현 자료에… 저도 충분히 개연성이 있다고 생각하는 게, 이 1M짜리 long-horizon task라는 건 그 trajectory를 사실 사람이 만들 수 있는 규모의 dataset은 아닙니다. 그리고 웹에 존재하는 dataset도 아니에요. 전통적으로는 Kimi CLI들이 나오고, 사람들이 Claude Code나 그런 것들을 쓰면서 누적돼서 나온 새로운 종류의 dataset입니다. 전에는 존재하지 않았던 dataset이기 때문에 이걸 축적하기가 쉽지는 않았을 것 같거든요. 무에서부터 만든다고 생각하면. 그런 방면에서 어떻게 이 데이터를 가져왔을까 하고 의심하는 것도 충분히 그럴 수 있다고 얘기
툴콜 트레일 증류와 모델 상향 평준화 54:07
노정석 맞아요. 합니다. 맞아요. 그러니까 현재 Anthropic이나 OpenAI 모델을 보면 reasoning trail은 다 가려요. 안 주잖아요. 그래서 reasoning trail은 숨겨버릴 수 있지만, tool call trail은 숨길 수가 없거든요. 왜냐하면 local에 와서 tool call을 다 하고 그 trail을 다 갖고 모델에 다시 넣어 주는 구조로 돼 있기 때문에 없앨 수가 없어요.
Anthropic이나 OpenAI 입장에서도 distillation을 하러 들어오는 traffic과 real user의 traffic을 구분할 수가 없을 거고, 막고 싶어도 막을 수 없는 영역이기 때문에 이건 바보가 아닌 이상 distillation을 당연히 할 것 같고, 해야 된다고 생각하고, 이건 살짝 샛길이긴 한데, Anthropic이 distillation을 못 하게 해달라고 잉잉거리는 거, 그게 좀 이슈가 되어 가고 있죠.
이게 오픈웨이트와 연관돼 있어서 뒤에서 좀 다루겠지만, 그들도 쌓아 올린 기저가 다 남의 책과 남의 데이터 위에 쌓아 올린 건데, 그 위에서 모델이 내는 산출물을 다른 데서 가져간다. 그럼 제가 승준님이 쓴 책을 샀어요. 그 책을 읽어서 제 지식 체계가 업데이트됐어요. 그래서 제가 비슷한 글을 썼어요. 그럼 이게 제가 distillation을 했기 때문에 불법인가요? 아니잖아요. 그래서 저는 이건 막을 수 없다고 봐요.
그리고 이렇게 서로 distillation이 되는 이 과정이 아까 승준님이 얘기했던 다 같이 상향 평준화되는 이유이기도 한 것 아닌가라는 생각이 들어요. 여기서 보시면 아시겠지만 매우 짧게 넘어가지만, 저는 여기에 굉장히 많은 꼼수와 비밀들이 숨어 있다고 봅니다. 그다음에
최승준 QAT 정도는 소개해 볼 만하지 않나요?
최승준 어떤 거요? QAT요. QAT가… Quantization Aware Training. 저도 잘 모르긴 합니다만.
박종현 QAT는 보통 저희가 모델을 학습할 때 precision을 더 높게 해서 학습하고, inference할 때는 quantization해서 bit 수를 낮춰 inference하는 게 지금까지의 가장 일반적인 방법이었는데, 우리가 serving을 할 때 보통 MXFP4로 하잖아요. 그래서 FP4로 학습된다는 걸 가정하고, 여기서 아주 조금씩 학습하는 delta들은 반올림하면 다 잘려 나갈 거니까 그런 걸 인지한 상태에서 training을 돌리면 나중에 할 quantization에 맞게 학습할 수 있다, 이런 겁니다. 그래서 요즘에는 거의 표준으로 자리 잡은…
최승준 인지의 주체가 누구예요?
박종현 인지가 어떤 걸 말씀하시는…
최승준 좀 전에 quantization될 거라는 걸 인지하고 한다고
노정석 했을 때… 인지하는… trainer. trainer가 그 인지의 주체인 거예요.
최승준 그러니까 training하는 시스템 자체가, 아니면 모델 자체가
박종현 training 코드라고 보면 될 것 같고요.
최승준 training 코드.
박종현 그런데 이 QAT라는 방법은 LLM 이전 시대에도 계속했었던 방법이고요. 그걸 LLM에도 똑같이 다 적용하는
RL 데이터 커버리지와 multi-teacher on-policy distillation 57:13
노정석 겁니다. 그럼 이제 reinforcement learning으로 넘어갈게요. 이건 연습 문제를 푸는 건데, 이 reinforcement learning 단계는 저는 여기에서 이 학습을 효율적으로 가능하게 하기 위해 복잡한 engineering infrastructure와 잘하기 위한 꼼수들이 뒤에 쭉 나열돼 있는데, 그것보다 더 중요한 건 dataset의 coverage예요.
예를 들어 저희가 변호사, 회계사 같은 직무에 대해 post-training을 한다고 하면, 지금은 그냥 존재하는 가장 간단하고 상위 레벨의 업무들에 대해서만 RL을 할 수도 있지만, 얘가 진짜 똑똑해지려면 그 subtask들에 대한 연습 문제들도 엄청 많이 풀어야 하거든요. 이런 경우가 생겼을 때 어떻게 해야 하나, 저런 경우가 생겼을 때 수많은 edge case를 처리하는 그런 연습 문제를 풀어야 얘가 어떤 것들을 맞닥뜨렸을 때 소위 robustness, 견고함이 증가하게 되는 거죠.
최승준 그 부분에서도 multi-teacher 같은 게 있지 않았어요? 비슷한 거 아닌가?
노정석 그건 뒤에서 multi-teacher 학습을 끝내고 나서 진짜 production 모델을 만들 때 뭘 했는지에 대한 내용으로 저는 이해했거든요. 뒤에 가면서 그거 한 번 설명해 드릴게요. 그래서 내용들이 나오기 전에 일단 어떤 식으로 이 algorithm들을 썼는지에 대한 것들이 나오는데, 그 얘기를 먼저 살짝 하고 넘어가 버리면, 하나의 문제에 대해서도 모델한테 시키면 여러 trajectory를 만들 거잖아요. 그런데 어떤 trajectory는 빨리 끝나고, 어떤 건 늦게 끝나고, 이렇게 되면 원래대로는 모든 게 다 끝나야 그것들에 대해 성공, 실패를 모아서 그걸 다시 πθ, 원래 모델에다가 backprop할 거잖아요. backprop을 해서 업데이트를 할 거지 않습니까? 그런데 그런 것들이 다 안 끝나는 비효율의 문제가 생기니까, 얘를 어떻게 처리했느냐면, 끝난 것들 몇 개만 골라서 그 끝난 것들을 가지고 먼저 그 cycle을 하고, 안 끝난 건 그다음 cycle에 같이 합쳐서 하는 건데, 그럼 다른 문제잖아요라는 question을 당연히 제기할 수 있는데, 그냥 그렇게 해도 된다는 이야기를 하고 있는 거예요.
저희가 보면 max, mid, low 해서 reasoning effort가 모델마다 다르잖아요. 그러면 당연히 처음 의심해 볼 수 있는 게, 그러면 이게 다 다른 모델인가? GPT-5.6 Sol의 low, medium, high, 이것들이 다 다른 모델인가? 그때마다 reasoning effort level이 다른 걸로 모델들을 교체해 주는 건가? 그런데 그건 너무 비효율적이란 말이죠. 왜냐하면 내가 코딩 agent로 코딩하고 있어서 앞에 prefill된 KV 캐시가 이만큼 있는데, 모델을 바꾸면 그 캐시를 들고 또 다른 데로 가야 하는데 이게 같은 farm에 있다는 보장도 없고, 그 비효율을 어떻게 감당하지라는 질문이 당연히 생길 거잖아요. 그러니까 그냥 한 모델에서 그 안의 effort level을 바꿔주는 걸 input으로 같이 집어넣어서 그에 따라 모델이 behavior를 바꿔주는 게 당연히 맞는 거잖아요. 그런데 얘는 이렇게 한 것 같아요. max effort를 할 때 보통 이걸 어떤 식으로 만드느냐면, effort level, 그러니까 compute budget을 제한하는 식으로 얘를 학습시키거든요. max effort일 경우에는 compute budget을 많이 주는 식으로 하는 거고, 그런 경우에는 어느 선을 넘기 전까지 얘가 다 써도 된다는 reward 신호를 계속 받게 되니까 얘는 문제를 최대한 넓히고 여러 군데를 가보면서 reasoning trace를 길게 쓰는 형태로 모델이 학습될 거예요. 그런 성향의 max 모델이 하나 만들어지고 나면, 그 모델을 가지고 compute budget을 줄이는 거죠.
어느 정도 이상 되면 그냥 끊어버리는 거죠. 그 선을 넘어가는 것에 대해 마이너스 1을 주면, 그러면 걔는 저 정도까지는 하면 안 되고 중간 정도의 effort level에서만 최선을 다하는 걸 찾을 거예요. low는 그 모델을 가져다 놓고 compute budget을 덜 주면, 걔 같은 경우에는 나는 budget이 매우 작기 때문에 소위 cut corners를 해야 하는 거죠. 그러니까 shortcut을 찾는 데 더 incentivize가 많이 되겠죠. 왜냐하면 빠른 시간 안에 답을 찾아야 하니까요. 그런 식으로 모델들을 max, medium, low, 이렇게 만든 다음에 이게 멀티티처 온폴리시 디스틸레이션이 말하는 내용인데, 그 모델 세 개가 만들어지면 각각 다르게 해서 production을 할 수는 없으니, 저희 Kimi K3도 지금 오픈웨이트로 나온 게 하나잖아요. 모델 하나잖아요. student 모델을 만들어서 production용 모델을 실제로 만드는 거죠. 그런데 그 student 모델 옆에 max, medium, low teacher들을 앉혀 놓고, teacher policy로 student를 학습하는 거예요.
최승준 도메인, domain-specialized 아니에요? multi-teacher는 effort
박종현 아니고 varying reasoning effort도 동시에 하는 거
노정석 아닌가요? 네, 동시에 해요. 동시에. effort와 이걸 다 동시에. 여기 있죠. 로우 하이 맥스 있고, 도메인과 이걸 결합해서 이 수식에 들어가 있을 텐데, 그럼 그것들에 대해 student 모델이 teacher가 했던 것들에서 guide를 받으면서 이 모든 것을 한 몸에 지니고 있는 student 모델을 최종적으로 꺼내는 거죠. 그리고 그 student 모델이 우리가 밖에 공개하는 production 모델인 거죠. 그걸 했다고 얘기하는 거고요.
knowledge graph로 뽑아내는 RL 연습 문제와 agentic environment 1:03:05
노정석 그런데 진짜 중요한 건 이거예요. RL Task Synthesis and Agentic Environments. 결국 실질적으로 환경을 직접 경험하고 inference를 직접 하면서, 그 과정에서 수없이 tool call도 해야 하고 실제로 모델이 돌아야 하잖아요. 그걸 하게 하는 agentic environment와 그다음에 그걸 하도록 만드는 dataset을 어떻게 synthesize했는지를 여기 나타내는 거죠. 이 그림이 제일 재미있어요. RL을 시켜야 하는 연습 문제의 일종의 curriculum인데, 이 curriculum이라는 것 자체가 어떤 category 형태로 돼 있는 게 아니라 graph 형태로 구성되는 게 맞다는 얘기를 하는 거고, 얘들이 이걸 이렇게 만든 거죠.
코딩과 인문, 과학, 수학 같은 게 주요 영역인 거고, 그래서 Agent Knowledge Graph Construction을 했다. 이 연습 문제들을 만들기 위해서 knowledge들이 어떻게 구성되어 있는지 이걸 knowledge graph 형태로 다 만든 다음, 그 graph를 계속 다양한 관점에서 출발하는 node와 weight만 다르게 해도 무한히 연습 문제를 뽑아낼 수 있을 테니까, 그렇게 해서 연습 문제를 뽑아냈다고 얘기하는 거죠.
최승준 예전에 가짜 MCP를 만들어서 RL 환경으로 했던 것도 Kimi였죠? 맞나?
박종현 네, 네. 그거 맞습니다.
노정석 맞아요. 그러니까 그거의 연장선인데, 연습 문제를 뽑는 도구를 설정하는 부분들은 이렇게 했다는 것과, 그다음에 그 환경이 agentic environment에서 나오는 거죠. 그때 Kimi K2 같은 데서 정말 길게 설명했던 영역이 이번에는 딱 한 block으로 요약돼 있는 건데, 이 큰 영역을 짧게 설명한다는 얘기는 이 안에 노하우가 많다는 얘기죠. 그래서 이걸 어떤 식으로 하게 됐는지, 어떤 문제들은 verifiable하고 수학과 코딩 같은 경우는 그냥 딱 떨어질 거고, 그렇지 않은 인문학 문제라든지 이런 문제들은 사실상 verifier가 적용되지 않는 문제들도 매우 많은데, 그 안에 예전에 얘기했던 rubric-based verifier를 만들어서 이 정도면 reward 신호를 0.7 주자, 이 정도면 0.3 주자, 이건 1이다. 완벽한 verification은 아니지만, 어떤 quasi-verification을 하는 logic을 만들어서 그
최승준 방식으로 해결은 안
최승준 되는 거죠. 안 되겠지만 hill climbing 정도는 되겠죠.
노정석 그런데 지금 이런 frontier 모델들이 발전하는 방향을 보면, 저희가 Claude Opus 4.8에서 5.0으로 갈 때, 버전이 바뀔 때 agent behavior가 이상하게 다르다는 느낌을 사용자들이 받잖아요.
박종현 동작 양식이 많이 다르죠. 대답하는 답변 형식이나 아니면 tool call을 하는 길이라든가, 점진적으로 진화한다는 느낌이 아니라 다르게 왔나? 이런 느낌을 많이 받는 것 같아요.
노정석 더 심하게 요약하면 frontier lab들도 거기에 지금 답이 있는 건 아니니까, 서로 상호 참조를 하면서 어떻게 하면 long-running agent 같은 게 가능할까 하면서 그런 쪽으로 지금 가장 많은 연구가 가 있으니까, 그런 쪽을 더 incentivize하는 방향으로 모델을 굴리다 보니 1M tokens 동안 그걸 유지하려면 span이 너무 길어지는 거잖아요. 그러다 보니 quality가 우리는 떨어진다고 느끼는 구간이 생기기도 하고, 이런 게 아닌가 싶어요.
그래서 지금 post-training RL 쪽에서 우리를 실험 대상으로 쓰면서 밖에 publish하고 있는 거죠. 그러면 이건 잘했어, 못했어 하는 것들이 나올 거고, 거기에서 또 뭔가를 distillation해서 자기네 모델을 만들면 그다음 어떤 rhythm을 잡을 거고, 이런 식으로 굴러가고 있지 않나.
여기서도 중요한 건 결국 이 RL의 연습 문제를 어떻게 품질 있게 뽑을 건지에 대한 그 부분, dataset에 대한 부분이 무지무지하게 중요하다.
박종현 그런 노력들이 보이는 게, OpenAI에서 최근에 researcher들을 십만 명인가 모집해서 자기네 모델을 쓸 수 있게 하는 프로그램을 운영하고 있는데, 그게 결국 researcher들이 자기네 문제를 풀면서 그런 trajectory들을 다 만들어 줄 테니까, 정말 양질의 research trajectory를 모아서 그게 뭔가 연습 문제가 될 수도 있고, SFT 문제가 될 수도 있고, 아니면 evaluation에 쓸 수도 있고, 그렇게 다 열심히 도전하고 있는 게 아닌가.
최승준 crowdsourcing하는 거죠.
노정석 distill하고 있는 거죠. 최상급 quality의 인간들을 지금 자기들도 distillation하고 있는 거죠. 그러면 이 문제들이 또 다른 철학적인 문제로 가게 될 텐데, 그건 좀 이따 얘기하고, 솔직히 얘기하면 여기서부터 잠이 와서 못 봤어요.
Instagram 숏폼처럼 변한 논문과 모델 리뷰의 동기 상실 1:07:39
최승준 그런데 이 infrastructure와 관련해서는 vLLM, SGLang, TokenSpeed가 다 Day-0 report를 냈더라고요.
최승준 그래요. reference code, Kimi 거 말고 자기네 것들을 바로 Day-0에 냈더라고요.
노정석 그러니까요. 이 architecture들이 예전 같았으면 어떻게 해서 이 모델이 문제를 해결하는 품질이 좋아지느냐가 지상 최대의 목표였다면, 우리가 얼마나 더 똑똑해졌어요였다면, 이제 우리가 얼마나 더 똑똑해졌어요라는 부분은 사람들이 별로 신경 안 써요. 안 쓴다기보다는 다 된 문제로 생각해요. 그래서 결국 여기서 보는 게 inference할 때 얼마나 효율화돼 있는지, 얼마나 더 낮은 가격에 예전 성능을 내는지, 얼마나 더 작은 model size로도 그 정도 성능을 내는지, 이런 것들과 복잡하게 융합해 있기 때문에 이제는 저희가 어떤 모델의 품질을 하나의 관점에서 바라보는 건 불가능한 시절이 됐다는 생각이 들고, 이런 내용들이 나오면 살펴보기는 하겠지만 이건 이제 다루지 않아야겠다는 생각을 하고 있다는 얘기를 하겠습니다.
박종현 예전만큼 깊게 볼 동인 같은 게 없어진 거죠.
노정석 맞아요. 그리고 워낙 깊어지고 있어서, 예전 같았으면 볼 의미가 있고 그랬는데 느낌상 이게 무슨 모터 같은 게 된 것 같아요. 그래서 이 모터 안이 어떻게 돼 있는지는 이제 덮고, 그다음 layer로 저는 가야겠다는 생각이
노정석 더 확실하게 들었고요.
최승준 안 보려다가 오늘 한다고 해서 본 거예요.
노정석 그냥 예의상 한 번 봐준 건데,
박종현 화제의 모델은 또 한 번 열어보긴 해야 하나 이런 생각이 있죠.
노정석 그러면서 저도 이걸 보면서, 저 dataset이나 training이나 infrastructure나 이런 부분들이 훨씬 중요하다는 데 weight가 있다는 걸 알고 있음에도, 저 앞의 algorithm스러운 것에 현혹되면서 그걸 쳐다보고 있는 모습을 보면서, 이게 논문이 약간 Instagram 숏폼처럼 되는 거예요. 그 앞에 자극적인 걸 배치해서 사람들이 많이 열어보게 하는, 그런 느낌을 받았어요. 중요한 것들은 다 숨겨놓고, 중요하지 않은 것들만 앞에 잔뜩 뒀는데 그게 자극적이어서 사람들을 보게 만드는 evaluation 얘기들이 있고 나오는데, evaluation 얘기. 사실 저런 부분들이 진짜 핵심들인데. 그런데 뒤에 있는 내용들은 모델들에 다 이 paper를 넣고, 질문이 떠오르는 게 있으면 물어보면 되겠다. 전부 중국인 이름이죠? 그러네. 전부 중국인 이름입니다.
최승준 200명은 되겠네.
노정석 거뜬히 몇백 명 되겠네요. 이제 이 뒷얘기가, 왜냐하면 저희가 오늘 하는 얘기들이 쭉 하나로 다 연결돼 있어서 다시 원래 상위 얘기로 돌아가면, 왜 Kimi K3가 이런 변화들을, 이런 시장에서의 급격한 우려나 이런 것들을 자아낼 정도였는지. 충분히 강한 모델이 오픈웨이트로 풀렸다. 그리고 이 오픈웨이트의 의미가 도대체 뭔지.
Jensen Huang의 Open Weights 성명과 서명한 회사들 1:10:42
노정석 물론 젠슨이 이걸 제일 강하게 밀고 있죠. 나쁜 사람이에요. 가만 보면, 자기들이 먹어야 될 건 철저하게 하고 있고, 선량한 사람들을 다 끌어들여서 자신들의 먹이로 이렇게 다 앞에 깔고 있는 그런 느낌이 들거든요.
왜냐하면 이런 오픈웨이트가 많아지면 자기네만 좋거든요.
노정석 그렇죠. 자, 그럼 종현님이 자연스럽게 오픈웨이트라는 우리 주제를 가지고 두 번째 챕터로 들어갈 텐데, 한번 들어가 볼까요?
박종현 오픈웨이트, 결국 이게 Kimi발 오픈웨이트 운동이라고 해야 될까요? 많이 이슈가 되었는데, 그중에서 Open Weights for American AI Leadership이라는 성명을 냈습니다. 누가 냈냐면 Jensen Huang이 냈습니다. 동시에 Microsoft의 Satya Nadella나 여러 인물들이 다 같이 내긴 했는데, 어쨌든 Jensen Huang이 X를 열고 “제 첫 번째 게시물입니다.”라고 하면서 이 성명을 냈어요. 오픈웨이트를 해야 된다. 오픈 소스처럼 해야 생태계도 확보되고, 미국의 AI 리더십을 빼앗기지 않고 더 잘 나아갈 수 있고, 보안 문제도 해결할 수 있고, 그런 오픈웨이트를 하자. 처음에 딱 낼 때는, 동시에 낼 때는 저희가 알 만한 오픈웨이트에 친화적인 회사들이 다 같이 모여서 성명을 냈어요. 날이면 날마다 하나씩 서명하는 회사들이 추가됐습니다. 대표적으로는 OpenAI. OpenAI가 서명했다는 게 살짝 놀랍긴 합니다. 왜냐하면 GPT 같은 가장 frontier인 모델들을 현재 공개하지 않고 있기 때문입니다. 그런데 대부분은 인프라 회사들이에요. 오픈웨이트 생태계가 발달하면 유리한 회사들, NVIDIA를 필두로 해서요. 왜냐하면 많은 회사가 NVIDIA GPU를 살 거고, 그걸로 training도 하고 inference도 할 거고, 그래서 Jensen Huang 입장에서는 아주 유리한 서명이었다고 볼 수 있고요. 어쨌든 Jensen Huang의 게시물은 간단합니다. 결국 하고 싶은 얘기는 오픈웨이트 모델이랑 closed frontier model이 둘 다 있어야 된다는 겁니다.
신기한 것은 Coinbase에서도 LLM을 엄청나게 많이 쓰고 있는데, 자기네들도 실제로 closed frontier model을 쓰다가 점점 더 많은 비율의 토큰을 오픈웨이트 모델로 바꿔 가고 있다고 하더라고요. 왜냐하면 지금 저희가 수행하는 대부분의 작업 중 꼭 정말 최고의 모델을 써야 되는 작업이 100%는 아니거든요. 예를 들면 아까 소개한 Kimi K3 같은 것, 실제로 on-prem에서 serving해서 돌릴 수 있는 작업들이, 가성비 있게 돌아가는 작업들이, 그다음에 데이터가 밖으로 나가지 않기를 원하는 작업들이 많을 것이기 때문에 그런 식으로 움직이고 있다는 거고, 미국의 입장에서 생각해 본다면 미국 생태계에서 Kimi K3 같은 중국계 모델들이 저렇게 올라왔을 때 그걸 가져와서 자기네 인프라에서 serving하긴 하겠지만, 그래도 자기네 모델로 하는 게 더 좋겠죠. 그리고 또 distillation, 아까 얘기했던 distillation 이야기도 있습니다. 좋은 모델에서 데이터를 가져와서 그걸 가지고 모델을 만드는 행위는 미국 기업을 포함해서 다 하고 있고, 좋은 모델을 만드는 과정 중 극히 일부일 뿐이다. 이런 이야기를 하기도 했습니다.
그리고 오픈웨이트 모델의 성지라고 할 수 있는 Hugging Face에서는 중국계 모델이 이미 미국계를 추월해 1등이라고 하더라고요. 오픈웨이트만큼은 확실히 중국계가 다 앞서가고 있다고 볼 수 있을 것 같고요. 참고로 Hugging Face는 미국과 프랑스 양쪽에 본사를 두고 있는 회사라서 정체성이 살짝 애매한데, 어쨌든 서방 세계권이라고 보면 될 것 같긴 합니다. 그리고 하고 싶었던 얘기는 이겁니다.
서명하지 않은 Anthropic과 Dario Amodei의 반론 1:14:56
박종현 Anthropic이 서명하지 않았다. Anthropic이 서명하지 않아서 원성이 자자하니까 Dario Amodei가 Anthropic의 블로그 게시물을 하나 냈어요. 공식 페이지에 글을 하나 냈습니다. 자기네들이 오픈웨이트 지지 성명에 서명하지 않는다고 해서 우리가 오픈웨이트를 배척하는 건 아니다. 오픈웨이트를 우리가 딱 하겠다고 말하지 못할 뿐이지. 그런데 대신 오픈웨이트를 하면 자기네들이 주장하는 문제들, 다른 후발 주자들, 특히 중국 쪽에서 잘 따라올 수도 있고, 그다음에 보안상 문제가 될 여지도 많은데 그런 것들을 어떻게 해결해야 될까 해서 오픈웨이트로 하지 말고 이렇게 하자고 내놨거든요. 칩 수출 통제, 인프라 수출 통제를 해서 compute를 중국 쪽에서 많이 가져가지 못하게 하고, 그다음에 아까 얘기했던 산업 규모의 distillation, 그러니까 industrial-level의 distillation은 막아야 된다.
노정석 이게 지금 많은 반발을 사고 있는 것 중 하나죠.
박종현 네, 실제로 Anthropic은 책들을 학습시키는 데 도서관 같은 걸 활용했었고, 소송 결과가
노정석 어떻게 됐나요? 져서 몇 조 단위를 물어주기로 하고 협상을 마무리하는 걸로 알고 있습니다.
박종현 그래서 마케팅으로도 노이즈를 내는 데 잘 사용될 수도 있긴 하겠지만, 어쨌든 여론이 그렇게까지 좋지는 않은 것 같긴 합니다. 그다음에 다른 보안 문제를 해결하는 방안으로는 open이든 closed든 상관없이 이번에 Mythos가 그랬던 것처럼 밖으로 나가기 전에 다 통제하자. 검열 다 하자, 검수 다 하자, 이런 이야기를 했습니다. 그런데 어쨌든 지금 오픈웨이트 운동의 대세와는 좀 반대되는 의견이에요. 더 규제하고 더 숨기겠다는 여론이
박종현 좋지 않은 것 같아요.
그런데 Anthropic을 가만히 보고 있으면, 얘네가 앞에서 얘기했던 “우리는 좋은 회사다. OpenAI는 사악하다.” 같은 말들보다 결국 행동이 그들이 갖고 있는 진실을 얘기하잖아요. “이거 얘들 다 개소리였구나.”라는 생각이 들어요. 그래서 정부의 규정 준수 요구에 응하지 않겠다고 했던 게 불과 3~4개월 전이에요. 우리는 규제를 다 풀어 국방부와 미국 정부에 이런 걸 납품하지 않겠다. 이렇게 하면서 칭찬받았던 게 불과 몇 개월 전이거든요. 지금 하는 얘기는 징징거리는 거거든요. “야, 중국이 우리 거 다 가져가니까 걔네한테 칩 주지 마. 그다음에 distillation 막아 줘.” 이런 건데, 이건 말도 안 되는, 완전히 모순된 입장으로 몇 개월 만에 바뀐 거죠.
몇 달 만에 뒤집힌 입장, 모델의 commodity화와 가치 이동 1:17:00
박종현 그러는데 이게 지금 frontier lab들이 겪고 있는 구조적인 변화이자, 어떻게 보면 시대가 바뀌면서 본질적으로 역사가 반복되는 게 아닌가라는 뉘앙스를 많이 얘기하고 있거든요.
무슨 얘기인가 하면, 예를 들어 OpenAI가 처음에 ChatGPT를 가지고 막 치고 나갔고, 그런데 얘들이 전선을 넓히는 동안 Anthropic이 Claude Code나 이런 쪽으로 집중하고, 텍스트 기반 모델이나 agent workflow에 집중해서 꽤 재미를 봤죠. 그런데 그 재미가 영원해야 되는데, Anthropic이 만들었던 우위도 다른 데로 레시피가 빠져나가고, Codex는 더 싼 가격에 더 자주 리셋해 주고 이런 것들을 하면서 시장 점유율을 넓혀 가고 있고, 좀 상향 평준화되고 있다. 그리고 얘들이 더 가져가는 게 도망갈 데가 더 없어지는 영역으로 계속 가고 있어요.
원래 자기네들이 생각했던 건 이런 진짜 superintelligence급 능력을 가진 모델은 자기네나 OpenAI 정도, 더 합치면 Google 정도만 가지고 있어야 되는 아주 특급 기술이 되고, 그 기술의 우위를 가지고 다른 서비스라든지 엔터프라이즈 서비스라든지 이런 걸 다 끝장내서 차세대 Google이 되는 게 이들의 청사진이었는데, Anthropic이 그래서 1T 단위의 밸류에이션으로 투자를 받고 이랬었거든요. 그런데 Kimi가 엊그저께 투자받았는데, 걔네 밸류에이션이 35B인가 그렇거든요. 그러니까 거의 30분의 1 수준인 거죠. 그러면 “야, 이게 Anthropic이 과대평가된 회사냐, 아니면 Kimi가 안 좋은 회사냐?” 저는 Anthropic이 과대평가된 회사라는 평가를 내리는 거죠. 모델 회사들이 쌓는 가치가 급속도로 낮아지고 있다. 차별재가 아닌 그냥 범용재가 되어 가고 있다. 그래서 commodity 포지션이 되면 거기에는 효율밖에 안 남거든요. 그렇게 되면 그 레이어의 value capture, 그러니까 돈을 뜯어내는 힘이 작아지는 거거든요. 왜냐하면 고객들이 “Anthropic 모델 말고 우리 on-prem에 우리 기계 사서 Kimi 올릴게.”로 가는 거죠.
그래도 되거든요. 쟤네한테 비싼 값을 낼 필요가 없으니까 이렇게 되는 거죠. 이미 다 죄수의 딜레마에 빠져 있는 거고, 모델을 만들어서 지능을 만들어 낸 산업 자체가 따지고 보니 데이터와 compute에 종속된 함수였다는 게 드러나는 거고, 그리고 그 레시피와 아이디어는 어느 누구의 것도 아니라는 게 증명되고 있는 거죠. 그렇게 되면 거기서 capture하는 value가 좀 낮아지면 그 아래 칩 파는 애들로 value가 첫 번째로 이동하는 거고, 그 위에서 실제로 돈 내는 고객들을 잡고, 고객이 원하는 걸 잘해 주는 애플리케이션 회사들로 가는 거고, 저는 그 위 애플리케이션 회사들은 아직 시작도 안 했다고 보고 있거든요. 이제 시작될 것 같아요. 이런 흐름 속에서 가치가 이동하는 신호탄이라는 생각은 하고 있습니다.
Google 독점과 달리 시간을 부여받지 못한 frontier lab 1:21:08
박종현 그럼 제가 질문을 하나 드리고 싶은데요. 동형적으로 과거 시점을 한번 되돌아보자면, 닷컴 버블일까요? 저는 그때 좀 어렸어서 잘 모르거든요. Google을 지금 시점에서 보면, Google이 압도적인 검색 엔진을 기반으로 거의 전 세계 인터넷을 장악했다고 볼 수 있는데, 그걸 지금 시대에 대입해 보면 검색 엔진이라는 능력이 LLM의 모델 capability나 지능이라고 치환할 수 있을 거고, Google 말고도 Yahoo니 AltaVista니 하던 검색 엔진들이 결국 다 죽고 한 회사가 다 이겼잖아요. 그러니까 하나의 LLM 지능이 너무나 뛰어나서 다 이길 수 있는 상황이었던 건가요?
노정석 글쎄요. 이게 하나의 관점으로만 볼 수는 없는 게, 예를 들어 Google이 그때 점유율을 가져올 수 있었던 건 압도적인 기술력과 압도적인 검색 품질을 한참 동안 유지할 수 있었던 거고, 그 한참 동안 유지하는 기간에 경쟁사가 없었다는 데 있거든요. 그래서 경쟁이 일어나지 않고 그 시대의 흐름을 온전히 다 포착해 낼 수 있는 시간을 충분히 부여받았어요. 그래서 이 단계에 도달한 거죠. 그런데 거꾸로 OpenAI나 Anthropic이 Google과 같은 서비스 회사 역할을 하고 있는데, 그럼 우리는 어떻게 해석해야 되느냐. Google급 기술을 가지고 있었던 회사들이 있었는데, 그 기술이 방금 전에 제가 했던 얘기와 맥이 같은데, 충분히 긴 시간 동안 시장을 창출하고 거기에 리더십 포지션을 구축하고, 고객들을 어떠한 형태로든 묶어 둘 시간을 부여받아야 되는데, 그 시간을 부여받지 못하고 있는 거라고 저는 생각해요.
박종현 네, 그러면 과거 시점으로 돌아가 보면 Google과 비슷한 검색 엔진 능력을 가진 회사들이 N개가 있어서 독점적인 포지션을 갖지 못하고 있는 상황이라고 볼 수 있겠네요.
노정석 맞아요. 그러니까 그때 Google은 독점적 우위 기술을 가지고 그걸 했었는데, 이것도 ChatGPT나 Anthropic의 Claude Opus, Fable이 독점적 우위 기술이었는데, 얘가 독점적 우위 기술이 아니라 commodity가 될 개연성이 제일 높다는 걸 올해 다 확인하고 있는 거거든요.
박종현 그렇게 될 것만 같았지만, 사실 까 보니 아니게 되어 버린 거죠.
노정석 맞아요. 그걸 시장이 지금 깨닫고 있는 거죠. 그래서 여기에서 생각이 조금 더 앞으로 나가는 사람들은 Anthropic의 IPO가 어떻게 보면 굉장히 낮은 밸류로 갈 수도 있겠는데, IPO 자체가 실패할 수도 있겠다는 이야기도 나오고 있죠. 그럼 이다음에 경쟁의 양태나 시장의 흐름은 어떻게 펼쳐질 것인가에 대해서 아직은 사람들의 생각이 분분해요. 그런데 저는 모델이 살짝 commodity화되어 가면 제일 좋은 건 어쨌든 소비자예요. 특정 플레이어한테 돈을 많이 내지 않아도 된다는 거고, 일단 하나의 승리자는 정해져 있죠. 저 아래 NVIDIA와 칩 회사들. 왜냐하면 compute 양이 계속 늘어나면 그 아래에서 공급을 댈 수 있는 회사들은 몇 개가 안 되니까. 그리고 그 위 레이어에서 경쟁하는 애들 때문에 그 아래 가격이 굉장히 올라 있거든요. 그래서 그들이 지금 최대의 value capture를 하고 있는데, 이것도 영원하지는 않을 거예요.
어느 정도가 되면 수요가 plateau에 이르는 시절이 올 거고, 물론 이 수요는 flat에 이르지 않고 영원히 증가한다는 Vinod Khosla 같은 아저씨의 얘기도 있어요. 왜냐하면 이건 지능이니까, 네가 똑똑한 애가 있으면 걔를 딱 하루에 8시간만 쓸 거야? 하루에 100시간 쓰고 싶을 거잖아. 그렇긴 한데, 그것도 거기서 역시 한계는 있을 것 같습니다. 어쨌든 다시 원래 이야기로 돌아오면, 산업 전반에서 보이는 이 value capture는 어떻게 될 거냐. 저희가 알다시피 아래에는 칩 회사를 포함한 인프라가 있고, 그 위에 모델 회사가 있고, 그 모델 위에 애플리케이션 회사가 있다는 게 지금 우리 모두의 머릿속에 있는 거였고, 지금까지는 가운데 있었던 모델 회사가 가장 큰 value capture를 하는 회사라고 생각되어서 걔네들의 밸류에이션도 높고, 매출도 거기에 쏠리고 있었는데, 알고 보니 이게 commodity다. 그럼 가치는 위아래로 펼쳐져 이동하는 거죠. 그런데 저는 아래에서 누리는 가치는 곧 줄어들 거라고 생각해요. 예를 들어 지금은 걔들도 역시 시간 차이의 혜택을 누리고 있는 거거든요. ASML이나 이런 것들, 노광 장비의 물리적인 한계 때문에 칩 생산 능력이 굉장히 제약된 상황인데, 중국이 만약 EUV라든지 DUV 장비를 양산하기 시작하고, Elon Musk도 Terafab을 통해서 칩 생산 능력을 완전히 배가하면 근데 그거는 충분히 저는 할 수 있을 거라는 생각이 들거든요. 그래서 이게 다음 병목이기 때문에 자기가 해결하겠다고 나선 거니까 거기도 저는 해결될 거라고 봐요.
위아래로 흩어지는 value capture와 다음 병목 1:25:04
노정석 그사이에 분명히 ASI는 올 거거든요. 금방, 우리 생각보다 훨씬 빨리 올 것 같죠. 그렇게 되면 가치는 어디로 갈 것인가가 제일 그다음으로 중요한 질문이죠. 위로 갈 거예요. 위로. 근데 그 위로 가는 데 어떤 형태로 거기서 함께 가치를 포착하는 그런 틀이 생길 거냐가 아직 정해지지 않은 거죠.
애플리케이션, 소비자 가까이 가는 영역. 근데 저는 그 부분도 어느 정도는 지금 담론들이 생겨나고 있다고 보여요. 왜냐하면 저희 회사도 그렇고 회사의 모든 프로세스를 다 agentic flow로 막 밀어 넣고 있는데, 그 agentic flow들을 여러 개씩 막 돌리지만 제가 요새 갖고 있는 질문이 그거거든요. 사람이 없어지질 않아요.
agentic flow를 다 깔아도 사람이 없어지지 않는 이유 1:27:05
박종현 왜 안 없어지나요? 어디가 문제죠?
노정석 믿고 맡길 수가 없어요. 걔한테 믿고 맡겨서 이거 하나를 네가 다 끝내라고 할 수 있는 수준이 안 돼요. 야, 네가 계속 네 입으로 AI가 인간의 성능을 뛰어넘는다고 그렇게 얘기했잖아. 근데 왜 안 된다는 거야? 이것도 해보니까 아는 거고, 삽질을 하다 보니까 알게 되는, 뼈에 새겨지는 교훈들 같은 건데 능력이 부족해서가 아니라 제어가 안 되기 때문에 그래요.
제어가 왜 안 되냐? 이 에이전트 시스템이라는 것 자체가 기본적으로 non-deterministic해요. 비유를 들면, 그냥 면접만 보고 저희 회사에 어떤 대리급 직원을 하나 뽑아가지고 중요한 function에 넣었는데 걔가 똑똑하니까 걔한테 “자, 그럼 너 이제 여기서 일해. 우리 업무 교본이 이거였어. 그 교본 보고 일해.”라고 해서는 안 되는 것과 마찬가지예요.
그래서 저도, 아마 종현님도 그렇고 우리가 많은 업무에 에이전트 시스템들을 쓰고 있고 그 긴 대화 안에 우리 회사의 프로세스와 이 암묵지들이 들어 있다고 다 얘기하고 있고 걔를 LLM 위키 형태로 추출하고 압축해가지고 어떤 하나의 최상위 constitutional prompt를 계속 잘 쌓으면 그게 회사가 될 거다, 그렇게 운영을 다 하고 있단 말이에요. 저도 왜 안 될까가 요새 제 최대의
박종현 질문이거든요. 자꾸 벗어나려고 하는 거죠. 그런데 사람이어도 똑같은 것 같아요. 너무나 똑똑한 직원이 오면 우리 회사의 어떤 시스템, 그러니까 그 사람이 우리 회사의 목표와 완전히 align되어 있는 게 아니기 때문에 본인의 이득을 위해서, 심하게 얘기하면 나쁜 짓, 예를 들면 횡령이라든가 시스템의 허점을 이용할 수도 있는 거고 아니면 뭔가를 들고 나가고 싶어 할 수도 있는 거고.
복식부기 원장에서 착안한 agent control plane 아이디어 1:29:01
노정석 그래서 제가 요새 매일 밤을 새우면서 다시 token maxi가 됐는데, 그 token maxi를 통해서 실험하고 있는 영역이 바로 그 영역이에요. 야, 이거를 그 task가 앞서 가고 뒤에서 LLM 위키 형태로 꺼내서 그 정제된 지식이 다시 상위의 policy로 동작할 거라는 그 전제는 잘못됐다. 지금 중간 결론을 내보면 제가 요새 집착하고 있는 단어는 control plane이거든요. 지금 현재 우리 회사라는 개념 자체도 사람 자체가 그냥 non-deterministic한 에이전트예요.
박종현 사람의 하네스라고 볼 수도 있겠죠.
노정석 맞아요. 회사라는 자체가 사람의 하네스고, 그래서 지금 현재 우리가 에이전트 하네스라고 볼 수 있는 거는 얘는 어떤 업무 단위 task에서 그 tool을 쓰는 하네스 정도로 굉장히 낮은 개념에서 하고 있는 거지, 그 상위 개념에 또 한 번의 하네스가 더 필요해요. 회사도 보면 조직도가 있고 권한과 접근할 수 있는 데이터가 다 나뉘어 있고 그러고 나서 어떤 intention이 도입되면 goal이죠. 회사 자체의 비전이든 goal이든 사업 목표든 그게 되면 그 각각의 회사 조직 안에서 action이 일어나요. 그리고 그 action에 대한 결과가 생기고 그 결과가 어떠한 형태로든 기록으로 남게 되고 거기에서 다시 graph가 바뀌는 형태로 돼요. 근데 이거는 그거 자체가 non-deterministic한 거 아니야? 당연히 질문이 따라오잖아요. 그렇죠.
근데 지금 제 머릿속에 전구가 하나 켜진 게, 야, 회사라는 조직 체계 안에서 완벽하게 틀이 잡혀 있는 부서가 하나 있어요.
노정석 뭐가 있죠? 어디죠? 재무, finance. Finance 부서가 굉장히 틀에 딱 잡혀 있어요. 그리고 그 finance 부서의 장부로 나오는 게 돈을 벌었다, 나갔다, 누가 얼마큼 썼다, 뭘 했다, 뭘 했다고 하는 그런 게 사실상은 다른 모든 function들의 원장이거든요.
박종현 최종 goal이네요. 마지막 evaluation metric.
노정석 그래서 대부분 회사의 경영 체계를 보면 그런 재무가 backbone이 되고 거기에 비즈니스들이 들어붙는 형태로 돼 있거든요. 저 재무의 틀이 명확하게 이루어지는 이유는 저 아래에 복식부기라는 하나의 명확한 원장 시스템을 가지고 있기 때문이거든요. 그리고 그 위에 쌓아 올리는 거고, 돈으로 뭘 사고 뭐가 들어왔다는 것들이 장부에 깔끔하게 정리돼서 누가 뭘 했고 왜 했고, 이런 것들이 거기에서 전부 다 trace되는 거죠. 근데 제 지금 아이디어의 출발은 간단해요. 이 에이전트가 하는 non-deterministic한 이런 것들이 저런 복식부기의 원장, ledger처럼 잘 기록되게 하면 되겠다. 그리고 그 기록하는 방식은 너무 명확하지만 graph 방식이 맞겠다. 근데 꼭 저 graph가 뭐라고 해야 될까요? 아니면 어쩌면 비트코인처럼 그냥 원장은 계속 raw로 쌓아가고, graph는 그 쌓여 있는 그 log에서부터 reproduce하면 graph가 되고, 이렇게 되고 그 graph 안에 policy와 행동과 이런 것들을 다 가두면 되겠다, 이런 상위 아이디어를 갖고 있어요.
예를 들어서 지금 에이전트한테 무슨 일을 시키면 그 에이언트가 깔끔한 context와 깔끔한 권한 범위 안에 밀어 넣어지지 않거든요. 사람이 그 LLM 위키 사이의 권한이라든지 데이터라든지 이런 것들을 명확하게 다 제어해 주지 않으면 그냥 error가 나요. 그래서 왜 에이전트들을 다 붙여놨는데 결국 최종 action과 decision은 다 사람이 하고 있는가가 제 어떤 이거의 출발점이었어요.
최승준 그럼 답은 반자동화예요? 답은 자동화 지향이 아니라 반자동화예요?
노정석 아니요. 사람이 들어가야 되는 point가 있는데 에이전트가 어떤 job을 딱 받았을 때 그 안에서 명확한 권한과 데이터 안에서 그냥 활동할 수 있게 되면 그게 된다. 그러면 그 agentic flow들을 어떠한 구조, 이 control plane 안에 가둘 것이냐라는 문제라는 거죠.
박종현 제가 정리해 보자면, 이 오픈웨이트와 closed model, 여기에 관련된 논의에서부터 여기까지 왔는데
노정석 여기 결국엔 다시 돌아와서 정리해서
오픈웨이트 논의와 조직 하네스의 연결 1:34:03
박종현 여기다 딱 넣어 보면요. 결국 회사라고 하면 인간의 하네스고, 인간이 여기서는 LLM인 거죠. LLM이 오픈웨이트든 아니면 closed model이든 그러면 closed model을 우리가 밖에서 불러다 쓴다고 생각하면 인간이라고 치면 외주 용역사를 불러서 쓴다고 생각할 수도 있을 것 같아요. on-prem에서 오픈웨이트 모델을 가져와서 쓰면 내부에 있는 직원이라고 비유할 수 있을 것 같고요. 그럼 그렇게 LLM에다가 하네스를 씌웠는데 하네스에 결국 뭘 해야 되냐면, 회사의 궁극적인 목표인 이윤 창출, 절대로 돈이라는 이 숫자가 틀어지지 않음. 이게 가장 마지막에 deterministic한 검사 logic으로 씌워지게 되고 결국 가장 바깥에는 deterministic한 게 있어야 되고 이 오픈웨이트와 closed model의 논의에서도 똑같이 얘기하는 것 중 하나가
노정석 이 보안 문제, 그다음에 Hugging Face의 claim도 이야기하는 게
박종현 자기네들이 LLM들을 회사들이 가져가서 쓸 때 자기네들의 목적에 맞게 데이터가 밖으로 나가지 않았으면 좋겠다는 것. 지금 보안 사고 얘기가 나오는데요. 보안 사고도 결국 LLM이 이 하네스를 탈출한 겁니다. 그러니까 회사로 치면 직원이 뭔가 데이터를 들고 나갔거나 내 회사 이름을 달고 남의 회사에 가서 욕을 했거나 이런 나쁜 행동들을 한 건데 그걸 막기가 너무 어렵다는 거죠. on-prem에다가 얘네들을 가두는 일을 할 수밖에 없고 외주 용역 직원이면 더 위험한 거죠. 데이터를 들고 나가기가 더 쉬우니까 그래서 오픈웨이트를 해야 된다, 이런 이야기들이 있는데 결국 다 맞닿아 있는 것 같아요.
노정석 네, 맞아요. 그래서 다음 step, RSI로 넘어가기 전에 저도 하나의 요약을 하면 그 memory의 위치가 무언가 action을 하고 뒤에서 LLM 위키 형태로 정리하는 후행하는 단계가 되면 안 되겠다. 얘가 앞에 있어야 된다. 이 memory network가 사실상 하네스를 제어하는 이런 구조로 돼야 된다.
그리고 이거의 아이디어는 회사라는 시스템 안에 이미 다 있는 것 같아요. 회사의 모든 action들, 그리고 Slack과 Gmail과 이런 것들로 하루하루 일어나는 action들을 어떻게 회계 장부처럼 원장 형태로 꺼내서 조합시킬 수 있을까? 그러면 그거 자체가 사실 회사일 텐데.
그리고 제가 가치 포착이 상단으로 이동할 거라고 말씀드렸는데 그럼 그 상단에서 핵심적으로 그 가치를 담는 틀이 무엇이 될 건가? 왜냐하면 아래의 지능은 다 빌려오는 거고, 근데 좋은 사람들이 무한히 공급되는 세상으로 가고 있는 게 어쩌면 이거의 본질인데 그럼 그들과 함께 회사를 구성했을 때 어떻게 고객에게 맞는 가치를 전달할 거냐? 그럼 결국 회사라는 시스템이거든요.
그 회사라는 시스템은, 제가 요새 머릿속에 담고 있는 키워드가 control plane이에요. 어떻게 그 control plane을 만드느냐에 있고 그 control plane의 가치가 포착되겠구나. 그래서 미래의 사업은 어떤 모양이겠구나, 이런 상들이 조금 맺히고 있다는 말씀을 드리고 싶었습니다. 이해하지 않으셔도 됩니다. 만약 여러분의 생각이 다르시다면 여러분이 맞습니다.
박종현 정리를 할까요? 어쨌든 오픈웨이트, closed-weight 논의로부터 시작해서 걔네들이 사람 사회에 들어왔을 때 어떤 식으로 바뀌어 갈 것인가? 결국 이게 다 LLM이 나오고 세상이 바뀌어 나가는 흐름에서 있었던 신호들, 사건들인 것 같아요. 저희가 그걸 보고 있고, 그거에 대해
노정석 각자 생각을 다 가지고 있는 거죠.
지능 가격 하락이 개인과 사업자에 주는 기회 1:37:44
박종현 그래서 이 사건을 기준으로 정리하자면, 당연하지만 지능의 가격이 계속 싸지는 거고 소비자한테 유리하게 되는 거죠. 그래서 저같이 이걸 가지고 무언가 가치를 만들고 싶어 하는, 아마도 이걸 다 듣고 계신 분들한테는 이런 표현이 지금 딱 어울리는 것 같아요. 지능이라는 모델 회사가 있고 그 지능을 유통하는 그 위의 level로 가면 유통하는 사람이 되는 거죠. 그래서 LLM을 이용해서 무언가 가치를 만들고 그 가치를 파는 데 더 유리해진 거죠. 왜냐하면 원가가 싸지니까. 그다음에 그걸 개인 level로 내려도 마찬가지입니다. 결국 지금 예를 들면 제가 이 글조차도 Twitter에서 저런 논의들, 트윗들을 다 보고, 이거에 대한 생각들이 저도 생기고 정리해서 전달해야겠다. 이 정리의 생각은 제가 한 거지만 정리는 이것도 다 Claude가 한 거거든요. 그래서 적극적으로 이런 걸 잘 쓰면 제가 예전에는 이런 걸 정리하려고 해도 하루 이틀씩 걸리던 일이 1시간으로 줄어들게 되고 유리하겠죠. 개인이 하고 싶은 것들을 해낼 수 있는 게 생산 가치가 늘어나니까.
그리고 중장기적으로 사회적으로 봤을 때도 결국 이런 논의가 되고 오픈웨이트가 계속 잘 나오면 나올수록 모델 배포가 계속 빨라지고 모델이 싸지고 변화가 가속되는 것까지는 중장기로는 거의 무조건 정해진 흐름인 것 같아요. 그거는 개인 level이든 사업자 level이든 회사 level이든 결국 전체적인 사회, 더 나아가면 정책이나 법안 같은 데도 영향을 많이 미칠 수밖에 없겠죠. 보안 사고 같은 것들이 지금 수면 위로 떠오르기 시작한 건데 앞으로도 계속 있겠죠. 그리고 그런 것들이 정책 변화를 포함해서 사람들의 눈에, 대중들의 시선에 다 각인되게 될 거고 변화가 더 빨라질 거라고 예상하게 됩니다.
DeepSeek V4 Flash 가격 인하와 RSI 진입의 신호 1:39:43
노정석 네, 좋습니다. 그렇지만 승준님이 준비하신 RSI part를 지금 타이밍상 안 하면 할 기회가 없기 때문에 저희가 RSI 관련 이야기를 한번 해보도록 하겠습니다. 근데 저희 팟캐스트 들으시는 분들은 아시겠지만 저희는 항상 뒤로 갈수록 좋은 내용이 많아요.
최승준 그래서 종현님 말씀에서 기가 막히게 한번 이어가 보면, 가격이 최근에 DeepSeek V4 Flash가 나오면서 어마어마하게 싸더라고요.
노정석 0.13, V4 말씀하시는 거죠?
최승준 네, Flash. Flash가 나왔는데 이 가격이 이거 나오기 직전에 Luna 출시가를 80% 인하했어요. 할인했죠. 그래서 이걸 가능하게 한 것에 대한 발표가 있었거든요. 결국에는 Sol을 활용해가지고 최적화했다. Terra하고 Luna는 할인하는데 Luna가 극적으로 할인됐죠. 그래서 커뮤니티 관련 맥락에서 이게 하나의 point였고요.
근데 그걸 하기 위한 여러 가지 issue들이 있었는데 쭉 넘어가면 제가 RSI, RSI죠. Recursive Self-Improvement 쪽으로 오늘 좀 소개하려고 하는데 재미있는 또 하나의 point가 하네스에 관련된 self-improvement를 7월 초에 얘기했던 TML의 Lilian Weng이 OpenAI로 돌아갔어요. 그래서 건강상의 문제로 그렇다고는 하는데, 사람들이 추측하기로는 The Information에서는 RSI 연구하러 돌아갔나? 그런 얘기들이 회자되고 있고요.
자기개선 하네스와 adversarial agent 실험 1:40:56
박종현 Lilian Weng이 OpenAI에서 나와서 Thinking Machines를 차린 코파운더죠.
최승준 코파운더입니다. 그래서 다시 돌아갔다. 그런데 또 OpenAI에서 여러 가지 재미난 포스팅을 최근에 했었는데, ARC-AGI-3에서 원래 성적이 별로 좋지 않았는데 기본 하네스가 아니라 자기네들의 하네스, 특히 기억을 강화시킨 Responses API를 쓰는 방식으로 해서 30%, 30점 넘는 것을 돌파한 게 또 재미난 포인트였어요. 그래서 그러한 것들이 하네스를 가지고 자기 개선의 뉘앙스를 띠고 하는 신호들이 있었는데, 건틀렛 루프라는 것도 나와서 살펴본 게 있는데 중요한 것은 adversarial한 에이전트를 쓰는 거예요. 루프를 돌리는 건 맞는데, 두 개가 서로 계속 경쟁하고 싸우게 하면서 검증하는 방식으로 해서 에셋 자체가, 3D 에셋 자체가 훌륭하게 나오는 시절로 돌아간 게 있었고요.
박종현 오늘 회사 얘기를 해서 그런지 회사 구조에서도 이런 게 떠오르는 게, 연구 부서와 품질 부서가 서로 싸우면서 제품을 개선하잖아요.
박종현 그렇죠. 그런 듯한 느낌도 듭니다. 서로 비평하면서 품질을 올려가는.
최승준 그래서 critic을 OpenAI 쪽에서는 기억을 유지하는 관점이라면, 건틀렛 루프에서는 기억이 없는 서브 에이전트, 다른 에이전트들의 context가 깨끗한 상태로 비평해야 된다는 게 포인트예요. 하나는
박종현 결과만 보고 해야 된다는 거죠.
최승준 네, 그렇죠. 맥락 없이 critic을 해야 되는 거고, 냉철하게 critic을 하려면 그게 필요한 거고, 이건 기억을 계승하게 하는 컴팩션을 계속할 수 있는 방법을 썼을 때 효과가 있었던 게 ARC-AGI-3에서 포인트를 높이는 방법이 있습니다.
노정석 저 건틀렛 루프는 꼭 한번 살펴봐야 되겠네요.
Pacing the Frontier 공개 서한과 반복되는 경고의 역사 1:43:17
최승준 저도 한번 같이 읽어봐야 될 것 같아요. 나온 결과물들이 대단하기는 합니다. 그리고 이건 RSI 맥락에서 흥미로운 게, 7월 말에 Pacing the Frontier, ‘우리 이제 뭔가 해야 되는 것 아니냐’라는 공개 서한이 나왔습니다. 그래서 아마 여기 그런 얘기가 있고, 서명한 분들을 보면 John Schulman, TML, Jakub Pachocki, OpenAI, Jared Kaplan, Anthropic, 다 시니어 사이언티스트급이죠. 네, 그리고 Meta, Google DeepMind의 Shane Legg, Ilya Sutskever, Mark Chen, Dario Amodei, Jack Clark, 이렇게 다 아는 이름들이 서명을 했어요.
노정석 이거 다 외교적 제스처 아닐까요?
최승준 그렇죠. 저도 그렇게 느꼈습니다.
박종현 실제로 페이싱을 할 것 같지는 않은데요.
노정석 절대 못 하죠.
최승준 그런데 이게 방증인 거죠. RSI의 초입이기 때문에 그런 얘기들이 나오거든요. 자기 개선이 가능한 단계의 초입. 그래서 여기 보면 “AI 기업들은 AI 연구를 자동화할 수 있는 단계에 가까워졌을 가능성이 있다고 보고 있습니다.”인데, 가능성이 아니라 이미 앞에서 소개했던 사례들이 아직은 인간이 통제하는 자기 개선이긴 하지만, 자기 개선은 이미 2020년대에 하고 있거든요. 그래서 그거의 방증이 됐습니다.
노정석 한 주 동안 나쁜 짓 잔뜩 하고 주말에 와서 고해성사하는 거예요. 지금.
최승준 그런데 이게 기시감이 드는 게, 2023년 3월에 이 서한이 있었거든요. 이거 아마 FLI였었네요. 네, 그쪽에서 나온 건데, 이때 당시에는 더 대선생님들급, Geoffrey Hinton, Yoshua Bengio 등이 서명해서 공개 서한을 보내고 “우리 좀 자제해야 된다.” 이게 GPT-4가 나올 즈음에 나왔던 거거든요. 안 됐거든요.
박종현 벌써 3년이나 됐네요.
최승준 하지만 결론은 안 됐다. 아무도 멈추지 않았다. 그런데 이것의 프리퀄이 2022년 2월에 있었습니다. AlphaCode 논문에서 2월 초에 “장기적으로 코드 생성은 곧 고등 AI 리스크로 이어질 수 있다. AI의 코딩 능력은 재귀적으로 스스로를 개선할 수 있는 시스템으로 이어질 수 있으며, 이는 점점 더 발전된 시스템으로 빠르게 이어질 수 있다.”고 했습니다. 그게 됐습니다. 그리고 2월 말에 Anthropic에서 Predictability and Surprise in Large Generative Models라는 논문을 내면서 “단도직입적으로 말하면 여기에 요약된 현상은 향후 몇 년 동안 행위자들이 점점 더 큰 모델을 구축하게 되는 것을 보게 될 것이며, 이러한 행위자들은 해로운 사회적 영향의 가능성에도 불구하고 이러한 모델을 배포할 강력한 동기를 갖게 될 것임을 시사합니다.”라고 했습니다. 너무 예언적이죠. 둘 다 지금 딱 이 상황이거든요.
노정석 역사적 틀로 다 환원해서 증기기관부터 인쇄술의 발전까지 굳이 매핑해 보자면 다 동형인 이야기들이 반복되고 있어서 일어날 일들은 일어나게 될 것 같습니다.
최승준 그래서 페이싱 조절이 정말 일어날지가 궁금하고, 그게 된다면 어떻게 될지도 너무 궁금한데, 저희의 나이브한 전망은 이게 다 제스처인 것 같다는 거죠.
수행적인 Hype, AI 담론을 연구하는 Hype Studies 1:46:39
최승준 그러나 그것과 관련해서 제가 최근에 접한 게 Hype Studies라는 연구 컬렉티브가 있더라고요. 이게 실제로 Hype을 연구하는 거예요. 그래서 여기서 AI CEO들의 Hype 같은 것들을 실제로 연구하거든요. 그게 어떠한 의도를 가지고 작동하는가. Hype은 단순한 과장이나 홍보 문구가 아니다. Hype은 수행적이다. 그래서 Hype을 내는 것들이 세팅이라는 거죠.
박종현 여기서 말하는 Hype이라는 게
최승준 우리가 평소에 말하는 AI Hype, 그 Hype이에요. 사람들의
박종현 어떤 과도한 관심.
최승준 호들갑. 이런 것들이 되는 거죠. 기술에 장밋빛 전망이 있고, 이러한 위험성이 있다는 게 다 Hype인 거죠. 그런데 그런 것들이 수행적이다. 이게 재미있는 건 마지막 부분이 특히 재미있는데, hype researcher’s paradox라고 해서 Hype을 비판하기 위해 반복해서 언급하면 오히려 그것의 가시성과 권위를 키울 수 있고, Hype을 안 따라가면 연구비를 얻지 못한다는 딜레마가 있다. 이것 자체가 재미있는데, 오늘 화두에 올랐던 기술에 대한 다양한 논의들, 그리고 중국이 나오고 빅테크가 나오고 이런 것들이 어떤 메시지를 전달하는지를 총체적으로 전망하는 것들이 결국 우리 일상의 주식에 대한 Hype, 그것도 FOMO가 있는 거고, 그런 거잖아요.
긴밀한 연결고리들이 있겠다는 생각이 들었고요. 이건 Hype이 어떻게 발생하는지를 아예 시각화까지 한 작업이 있더라고요.
박종현 Hype이라는 게 결국 호들갑을 떨어야 투자도 이루어지고, 관심도 생기고 마케팅도 이루어지고, 그래서 생태계가 전체적으로 발전하고, 수행적이라고 얘기한 게 그런 이야기였던 것 같아요. 이걸 선순환이라고 표현해야 될지 잘 모르겠지만.
최승준 선순환은 아닐 수 있습니다. 그런데 그게 어떤 자기실현적인 부분이 있죠.
박종현 촉진한다는 거죠.
최승준 그걸 말함으로써 해내려고 하는.
박종현 네, 선언 같은 거죠. “다이어트할 거야.”라고 해야 더 열심히 하게 되는, 그런 느낌.
최승준 그걸 말하는 건데. 스스로를 증폭시키는 경향이 있다는 거죠.
박종현 제가 과거에는 개인적으로 부정적이라고 해야 될까요? 잘 안 될 거라는 생각을 많이 했었는데, LLM 시대 이전에는 잘될 거라고 긍정적으로 생각하는 낙관적인 의견들이 있었는데 저도 생각이 상당히 많이 바뀌고 있거든요. 이 Hype이라는 게 어떻게 보면 낙관주의의 거의 끝에 있는 것과 Hype의 행동이 일치하게 되는데, 그런 행동들을 하니까 몰랐던 걸 더 알게 되고, 그때 호들갑을 떨었던 Hype은 실현되지 않을 수 있더라도 그 옆에 있는 무언가를 배우게 되고, 또 실현되는 것들도 있더라고요. 그래서 호들갑을 떨면서 살아야겠다, 이런 생각을 몇 년 전에 했거든요.
최승준 저희 채널이 딱 그러고 있거든요. 지금도요.
박종현 그렇죠. 사회적으로도 그렇다는 거죠.
최승준 그래서 저희도 Hype에 복무하고 있다는 자기 인식이 있죠.
박종현 그리고 팟캐스트에서 Hype됨도 잘 찍힙니다. 요새.
노정석 그걸 제가 이해 못 했어요. 뭐라고요?
박종현 YouTube에 보면 콘텐츠가 올라오면 Hype 버튼이 생겼어요. 그래서 Hype을 많이 받으면 AI 프런티어는 팟캐스트 카테고리에 있으니까 팟캐스트에서 Hype됨이라는 태그가 딱 붙어요. 그래서 채널도 영상도 Hype이 되고 있다.
예측 불가능한 지평과 Contingency의 철학 1:50:07
최승준 마무리 쪽으로 가보면, Terence Tao는 자기가 Mastodon에서 이야기한 걸 혼자 하는지 다른 사람의 힘을 빌려서 하는지 모르지만, 그런 걸 종합해서 자기 글을 가지고 페이지를 생성하고 있거든요. 그런데 거기에 최근 ICML에서였나, 하여튼 거기에서 발표한 내용을 다룬 얘기가 있어요. “2023년에 수학과 관련해 예측했던 확신이 이제는 사라졌다. 세계는 훨씬 더 예측 불가능해졌고, 현재로서는 길어야 1년 너머를 신뢰할 만하게 예측할 수 있는 사람이 있다고 보지 않는다.”라는 얘기를 Terence Tao가 했거든요. 지금 정말 모르겠어요. 한 주 한 주 사는
노정석 거지. 한 주 한 주 산다. 겨우 살아간다는 말이 지금 맞네요. 그렇죠.
최승준 그렇죠. 그래서
최승준 제가 마지막으로 소개하고 싶은 건 최근에 읽고 있는 건데, 새로 접한 용어가 Contingency, 우연성, 우발성으로 불리는 용어인데, 이게 철학 쪽에서 주목받는 Yuk Hui라는 홍콩 출신 철학자가 하는 얘기거든요. 그런데 이 Contingency가 뭐냐 하면, 내가 부른 적 없는데 와서 나에게 닿는 것. 그러니까 계산하고 예측할 수 있는 영역 밖에서 오는 우발성을 말하는 거더라고요. 바깥에서 와서 닿는 것. 오늘 강조하고 싶은 건 아까 Situational Awareness 같은 것을 얘기하면서, 변동성이나 불확실성을 얘기했을 때 지금 우리가 보고 있는 지평 자체는 너무 예측 불가하다. 우리가 모든 수단을 강구해서 조이고 예측하고 대비하려고 하지만, 어떤 부분에서는 겸허해져야 하는 부분이 있는 것 같다는 생각이 스쳐서 이걸 가져와 봤습니다.
박종현 특히 RSI로 인해 더 불확실해지고, 더 우발적인 것들이 많이 일어날 거라고 생각하시는 거죠?
최승준 그렇죠. RSI가 어떤 부산물을 만들어내거나 뭔가를 꺼낼지 모르죠. 그렇기 때문에 페이스를 조절하자는 얘기가 나오는 거기도 하고요.
노정석 모델 개발이나 프런티어 랩들이 우리에게 보여주는 하네스들은 모델이 만들었을 거라고 추정해야 돼요. 그런데 저희도 회사 안에서 하네스를 많이 만들지만, 정말 중요한 것들은 이렇게 human-in-the-loop로 하나하나 보면서 만들기도 하지만, 서브시스템은 목적만 세팅하고 작동하기만 하면 저희도 갖다 쓰는 경우가 많잖아요. 에러가 나도 에이전트들이 만드는 커밋 로그를 저희는 안 보잖아요. “됐니? 한번 검증해 봐. 또 찾아.” 하면서 그냥 닫아버리니까.
박종현 궁금한 것만 물어보고, 어느 정도 논리적으로 맞다고 생각하면 그냥 넘어가는 경우가 많은 것 같아요.
최승준 맞습니다. 그래서 Yuk Hui라는 분은 계획표 밖을 부르는 용어로 Contingency라는 용어를 사용합니다. 원래 있는 개념입니다. 그걸 제거하는 건 불가능하니까 관계 맺기의 대상으로 삼자. 제가 떠올린 건 거대 세계 가설, Sutton의 거대 세계 가설이 늘 세계가 에이전트보다 크다는 얘기를 하거든요. 제한된 합리성, 모든 정보를 다 알고 있지 않기 때문에 에이전트가 됐든 사람이 됐든 알고 있는 것 안에서 제한된 합리성을 취할 수밖에 없다는 정도로 마무리하겠습니다.
불확실성의 시대와 memory compaction으로서의 대화 1:53:27
노정석 맞습니다. 무슨 만화책이 떠오르는데요. 저 어렸을 때 그 만화책을 봤던 기억이 나는데, 아르미안의 네 딸들. 거기에서 나오는
최승준 신일숙 선생님이었나?
노정석 맞아요. 맞아요. “삶은 언제나 예측 불허, 그리하여 생은 그 의미를 갖는다.” 이 문장을 자주 쓰시거든요. 그런데 딱 요새에 맞는 것 같아요. 그러하기 때문에 거꾸로 이렇게 변동성이 높은 세상은 무언가를 해보고 싶어 하는 사람들에게는 기회입니다. 이런 변화가
박종현 재미있습니다.
최승준 도파민이 나오긴 하죠.
노정석 자, 저희가 오랜만에 길게 했네요. 그런데 저희도 종현님이나 승준님이나 저나, 자료를 가져와서 저희 셋끼리 티키타카를 해보면서 무언가 배움이 생기고, 생각의 균형이 적어도 다음 주가 되면 다 없어질 수 있겠지만, 오늘의 생각의 균형은 잡히거든요. 그래서 저는 거꾸로 이 과정이 요새 memory compaction을 하는 세션이라고 생각하거든요.
최승준 일단 컴팩션해 놓고, 맞아요. 그 키워드들만 유지하는 거죠. 시간이 지나면서 디테일은 기억이 안 나기 때문에.
노정석 그러면서 저희가 이야기하고 이야기가 끝나고 나면 중요한 키워드 몇 개는 남아서 그 컴팩션된 몇 개의 키워드를 가지고 조금은 덜어낸 상태에서 그다음 주를 시작하게 되는 거니. 저희는 이 과정이 저희에게도 굉장히 중요한 학습 과정인 거죠.
최승준 rollout 과정이었군요.
노정석 그렇죠. trajectory 하나 마무리하고 저희 모델을 on-policy로 업데이트를…
최승준 이번 주 policy로만 rollout하고 다음 주에는 업데이트된 거고.
노정석 그런 거죠. 그렇기 때문에 오늘 Kimi K3 페이퍼 안에도 가만히 보고 있으면 우리네 인생의 매뉴얼도 싹 다 들어 있어요.
박종현 맞아요. 오늘 대화에 있었던 Kimi K3 내용을 encoding해서 안으로 쏙 집어넣고, latent space에 attention으로 들어가 있는 거죠.
마무리 1:55:29
노정석 참, 우리끼리 얘기하면서도 웃기긴 합니다. 이 정도에서 그럼 오늘 마무리하도록 하겠습니다. 두 분, 오늘도 많은 가르침 감사드립니다.