EP 105
GPT-5.6 공개부터 ICML 현장까지
ICML 주간과 GPT-5.6 전격 발표 인트로 00:00
노정석 녹화를 하고 있는 오늘은 2026년 7월 11일 토요일 아침입니다. 이번 주가 ICML 주간이어 가지고 모두가 정말 정신이 없었습니다. 그 와중에 또 GPT-5.6도 전격적으로 발표가 돼서 오늘 GPT-5.6 관련한 이야기, 한번 어떤 일들이 있었는지 살펴보고, 그리고 ICML 관련해서 또 저희가 이렇게저렇게 행사도 개최하고 많은 사람들을 만났는데, 그 감상들을 한번 짧게 전달해 보도록 하겠습니다. 그러면 먼저 GPT-5.6 이야기로 한번 시작해 볼까요?
GPT-5.6 출시 전후 분위기와 얼리 유저 반응 00:31
최승준 정신이 없는 한 주였는데요. 일단 주변부에 이거 나온다고 하니까 아무래도 주요 이벤트면 늘 꼽사리들이 끼잖아요. 그래서 다들 존재감을 어필하느라고 SpaceX xAI도 Grok 4.5 소개했고 Muse Spark도 0.1 올려서 1.1로 소개했고 그런데 Gemini 3.5 Pro가 여름에 나온다고 했는데, 지금 7월 초반이 지나가고 있는 현재 아직 나오지는 않았죠. 그래서 트윗의 타임라인을 보면 맨날 Gemini 관련해서 Google AI Studio 쪽 하는 분들, Logan의 표정이 슬퍼 보이는 그런 느낌적 느낌이 있었습니다.
그래서 재미있었던 포인트는 이게 Sam Altman이랑 OpenAI 공식 계정에서 목요일에 발표한다고 소문은 계속 있었어요. 화요일이다, 수요일이다 계속 있었는데, 목요일에 발표한다고 하니까 그제야 사람들이 써 본 반응들을 마구 올렸어요.
그러니까 네임드들, 네임드들의 반응을 제가 Twitter에서 쭉 찾아봤는데, 흥미로웠던 거는 길게는 두 달 정도를 미리 써 보고 있었더라고요. 물론 이게 수출 통제 아니었고, 정부에서 통제한다고는 했지만 많은 사람한테 좀 뿌렸구나라는 것을 알 수 있었고요.
그런데 공통된 반응은 Fable 5만큼의 큰 모델 향기는 나지 않지만 매우 좋다, 새로운 데일리 드라이버다라는 표현들이 공통적으로 나왔습니다. 그래서 확실히 코딩 부분에서의 성능 향상은 있었던 것 같고요. 사용들 해 보셨나요?
Codex의 세분화된 effort 단계와 비용 차감 체감 02:14
박종현 저는 Codex에서 조금 사용해 봤습니다. 그랬는데, 안 그래도 새로운 데일리 드라이버다 말씀 주셨는데, 그러기에는 이것도 구독으로 쓰고 있는데도 비용 차감이 꽤 빠르다는 느낌을 받긴 했습니다.
최승준 effort를 뭐로 주셨는데요?
박종현 effort는 Sol, 제일 큰 모델에서 High랑 Max랑 Ultra, 이렇게 새로 생겼죠. 아무튼 Claude처럼 뭔가 위에 생겼는데, 그냥 위에서부터 한 번씩 눌러 보면서 다 테스트해 봤습니다.
최승준 그렇군요. 저는 그냥 High 정도에서만 써 봤는데.
노정석 맞아요. 막 6단계 이렇게 생겨 가지고 뭘 선택해야 되나, 매우 복잡한 심경입니다. OpenAI가 확실히 test-time compute에 많은 노력을 하는 느낌이에요. 그런 세분화도 잘해 놓고.
최승준 맞아요. 그래서 그런 것들을 알아 가야 되고, 어떤 effort가 나의 일에 맞는지에 대한 감도 인간이 탑재해야 비용을 효율적으로 쓸 수 있을 것 같은 시절인 것 같습니다. 아직은. 그래서 또 기습적으로 GPT-Live를 소개했어요. 하루 전에는 이게 GPT-Live를 활용한 것을 GPT-5.6 Sol 발표할 때, 라이브 맨 끝에 동시 통역으로도 활용하기도 했었거든요. 그래서 full duplex 형태로 GPT-Live가 나왔는데, 이것도 사용해 봤는데 계속 사용할지는 모르겠지만 확실히 전보다는 나아졌더라고요. 그래서 이거는 대화하면서 동시 통역이 가능해지는, 물론 라이브 때 한 번, GPT-5.6 라이브 때는 삑사리가 한 번 나긴 했었거든요. 그것도 재미있는 포인트이긴 했는데, 어쨌든 이게 나왔다. 그래서 스타트업 신에서는 이런 작업을 하고 계신 분들이 하루 만에 좌절했다는 그런 것들이 간간이 보이긴 했었어요. 그런 것을 돌파하려고 했었는데, full duplex 형태로 나와 버리니까 좀 곤란해진 상황들도 있었나 봅니다. 그게 참 문제죠.
full duplex로 나온 GPT-Live와 동시 통역 03:17
ChatGPT Work 분리와 재귀적 자기 개선 신호 04:10
그래서 GPT-5.6에 관련된 소식들은 저도 이제는 그래프나 이런 것들을 자세히 살펴보지는 않는데요. 한 가지 재미있었던 거는 웹 인터페이스로 들어가면 Chat하고 ChatGPT Work가 나뉘어 있어요. 그래서 기존에 effort 써 가지고 에이전트들이 여러 가지로 돌아가고 하는 자료 조사 같은 것을 하기에는 ChatGPT Work가 맞고, Chat은 굉장히 빨리 반응하더라고요. 심지어 앱을 업데이트했더니 앱에서는 effort 조절이나 모델 조절하는 게 바로 보이지 않았어요. 아마 하는 방법이 있을 수도 있을 텐데, 굉장히 응답이 빨랐습니다. 그러니까 아마 Instant, 예전에 쓰는 것처럼 쓰게 돼 있는 것 같은데 좀 알아 가야 될 것 같고요.
아직은 라이브 때 흥미로웠던 부분은 재귀적 자기 개선에 관련된 일화가 있었거든요. 그래서 저희가 여러 번 소개해 드렸던, 작년 10월 31일에, 30일이죠. 30일에 automated AI research intern을 소개하겠다. 9월에, 2020년 9월에, 그다음에 2028년 3월에는 완전히 자율 주행하는 AI researcher를 만들겠다, AI인 AI researcher를 만들겠다는 것을 했었는데, 이번에 발표하면서 Sol이 제일 작은 모델인 Luna를 post-train, 어떤 post-train인지는 잘 모르겠어요. SFT를 했다는 건지, 아니면 RL을 했다는 건지는 잘 모르겠는데, 중요한 어떤 자산이 나오는 부분에 대한, 숫자 나오는 부분에 대한 것들은 가려 가지고 프롬프트도 일부 공개했는데 평범해요. 그런데 그 프롬프트 가지고서는 실제로 실무에 쓸 수 있는 Luna를 Sol이 post-training 하는 것을 소개했습니다. 그래서 RSI 관련된 것들이 계속 신호들이 있는데, 지금 Thinking Machines Lab에 공동 창립자로 갔죠. OpenAI에 있다가 Lilian Weng이 자기 개선을 위한 harness engineering이라는, 지금 일어나고 있는 많은 것들을 정리해 주는 harness engineering 플러스 자기 개선에 관련된, 그러니까 어쨌든 자기 개선은 weight를 업데이트하는 자기 개선도 있지만, 하네스 자체를 개선하는 Autoresearch류의 자기 개선도 가능하잖아요. 그래서 그런 것들을 총망라하는 포스팅을 해 줬는데, 읽어 볼 만합니다. 그래서 지금 자세히 들어가지는 않고 소개만 드리겠습니다.
노정석 핵심적인 메시지는 weight를 개선해야 된다는 건가요, 아니면 하네스를 개선하는 게
최승준 빠르다는 건가요? 현재는 하네스를 개선하는 쪽인데, 지금 OpenAI의 신호는 weight를 개선하는 것도 자기 개선 루프로 하고 있다죠. Luna를 post-train했으니까. 그래서 둘 다 일어나는 것 같습니다. 그리고 그런 것을 Anthropic에서도 적절하게 한 달 전쯤에 소개했었고요. 자기 개선을 위한 AI가 스스로를 만들 때라는 포스팅을 했었죠. 그래서 가격과 속도로 훅 들어가 보면 그냥 Opus급의 가격이었습니다. 그래서 Opus 4.8이 입력 100만 토큰에 5달러, 출력 25달러인데 출력이 좀 비싸네요. 출력이 한 5달러 더 비싸서 이렇게 가격이 형성돼 있고요. 그래서 Opus급의 가격이지만 저희의 관심사는 이게 구독 정책에 들어가 있는 거죠. 그래서 아직은 구독입니다. 다행하게도.
GPT-5.6 가격 구조와 GPT-6 구독제 관전 포인트 07:04
그래서 소문이 있어요. GPT-6 소문이. 그래서 지금 벌써 나온 지가, 써 본 지가 두 달이라는 것은 이미 그전에, 한참 전에 나왔다는 거잖아요. 그래서 타이밍상 저희가 Claude 쪽의 모델 출시 간격을 보면 두 달 이하가 되고 있었던 그런 신호들이 있었잖아요. 그래서 지금 GPT-6도 상당히 준비된 상태라는 소문이 있고, GPT-6가 큰 모델, Mythos급이 될 거라는 그런 분위기가 있거든요.
그랬을 때 OpenAI가 그거를 구독에 넣어 줄지, 아니면 종량제로 갈지가 관전 포인트가 될 것 같아요. 그리고 그게 생각보다 머지않은 느낌이고요.
박종현 그렇죠. Fable 5도 이미 날짜를 좀 연장해 주긴 했지만, 구독 요금제를 더 이상 안 할 거라는 신호가 보였었던 것 같고요. OpenAI도 수익 개선을 위해서 당연히 그런 일을 하지 않을까, 두려움에 벌벌 떨고 있습니다.
최승준 그렇죠. 그거 그냥 원래 쓰던 감각으로 하면 하루 100만 원도 우습다는 얘기가 있더라고요. 그래서 이게 방금 말씀해 주신 것처럼 원래는 7월 7일에 닫아야 되기 때문에 다들 간 보면서 이거를 어느 타이밍에 써야 될지 하다가 7월 7일에 연장해 줬거든요. 그래서 막 “나 이것 때문에 밤샜는데.” 그런. 그래서 12일까지 쓸 수 있게 됐다, 이런 것이 있었고요.
그다음에 또 재미있는 게 Sol 나오고 나서 리셋을 한 번 해 줬어요. 5-hour랑 weekly rate limit을 리셋해 줬더니 Thibault가 이번에 라이브에 등장했거든요. “I smell fear. 두렵냐?” 그래서 사람들이 GPT-5.6으로 엑소더스하면 곤란해지니까. 그런데 그런 느낌이 있긴 있거든요.
12일에 또 봐야 되는데, 충분히 GPT-5.6이 좋으면 사람들이 당연히 엑소더스하겠죠. 그래서 이게 아직 배틀그라운드인 것 같아요. 이게 어떻게 시장에서 반응들이 있나, GPT-6는 어떻게 될 거냐. 그래서 그게 관전 포인트였고요.
Codex 앱 통합과 RTS 게임 같은 에이전트 매니징 감각 09:35
노정석 방금 승준님 말씀하시는 동안 Codex 앱이 업데이트했는데, Codex 앱과 ChatGPT 앱이 합쳐졌네요. 이제 하나로 그냥 ChatGPT 앱이 됐네요. Codex 앱이 따로 존재하지 않네요.
최승준 아이콘을 Codex로 유지할 거냐 아니냐 물어보긴 하더라고요.
노정석 그것만 물어보긴 하더라고요.
최승준 그래서 주변의 반응들을 저도 살피다가, 다들 게임을 하고 있는 것 같아요. 이걸 어느 타이밍에 어느 자산을 투자하고, 어떤 에이전트들을 써서 무슨 일을 하느냐를 게임하듯이 매니징한다는 생각이 들어서, 그것들을 조사해 보니까 이미 2025년 초부터 이거가 RTS 하는 것 같다, StarCraft 하는 것 같다는 얘기들이 심심치 않게 있었더라고요. 그래서 어느 타이밍에 탱크 넣고, StarCraft를 지금 세대들은 잘 모를 수도 있겠지만, 그런 것들을 전략 시뮬레이션 하는 감각으로 한다. 그래서 그거를 저도 한번 생성해 봤는데, 이게 프롬프트를 쓰는 게 near-hit, miss가 생기다 보니까 도파민 나오잖아요. 그래서 슬롯머신에 비유하는 경우는 참 많이 있는데, 거기에 더해서 지금은 이걸 어떻게 할까, 매니징해서 어떻게 이거를 목표를 완수해 낼까라는 게 됐고, 그래서 rate limit 리셋이나 이런 것의 타이밍을 잡는 것도 뭔가 다 전략을 가지고 하게 되거든요. 남은 양 보고 이거 쓸까, 저거 쓸까, effort를 올릴까, 낮출까. 그리고 한 방에 이쯤 준비되면 Fable 5에다가 크게 한 번 던지자, 이런 식으로 전략을 짜게 되는 그런 감각이 있는 것 같습니다.
AtCoder 인간 전원 추월과 1시간 만의 수학 추측 증명 11:21
그런데 그러다가 정신들이 나가죠. 저도 겪고 있고요. 그리고 또 흥미로운 게 7월 9일에 AtCoder라고 휴리스틱이랑 알고리즘을 가지고 경진대회 하는 게 있어요. 작년에 이슈가 있었거든요. 왜냐하면 saiho가 아는 사람들은 다 아는 분인가 본데, 그 계열에서는 그래도 “내가 1등 했다.”였었거든요. 작년 이맘때 7월에. 그리고 이 여름이 IMO에서 OpenAI가 돌파했다는 게 나왔던 타이밍이에요. 그러니까 AtCoder, IMO, 그러니까 국제수학올림피아드, 그런 것들의 돌파가 일어난 게 작년 여름쯤인데, 그래서 “Good job, saiho.”라고 Sam Altman이 한 번 이렇게 shout-out해 줬었는데, 1년 후 saiho가 또 포스팅했습니다. 그래서 AtCoder가 끝났는데, 지금 OpenAI, 물론 상은 사람한테 주지만 OpenAI의 스코어가 인간 스코어보다 어마어마하게 올랐어요. 그래서 알고리즘 부분하고 휴리스틱 부분에서 OpenAI 에이전트는 8,300점 만점을 풀었고, 어떤 문제를 어떻게 풀었는지는 저도 잘 모릅니다. 봐도 아마 어려워서 모를 수도 있는데. 그래서 어쨌든 큰 격차로 이겼고 그다음에 OpenAI가 휴리스틱 부문에서도 인간 참가자 전원을 앞섰다는 거죠. 그래서 이게 1년 만에 코딩에서도 최정상급 문제들을 푸는 게 작년에는 아니었는데 일어났다는 거죠.
그리고 수학에서도 모델 나올 때마다 OpenAI의 Sébastien Bubeck 등이 있으니까 수학에 관련된 얘기를 하는데, 다른 분에게서 나온 소식인데 이게 CDN에다가 슬쩍 이런 거를 올려놨어요. 이게 Cycle Double Cover Conjecture, 번역하면 아마 순환 이중 덮개 추측이라는 거를 또 해냈다. 그래서 수학 커뮤니티에서 아직 제대로 검증된 건 아닌데 또 수학 모델이 성능을 보여줬는데 이거를 굉장히 오래 한 게 아니라 1시간인가 걸렸어요. 공개된 모델로 한 건 아니고요. 프롬프트도 공개를 했나 봐요. 그래서 64개의 서브 에이전트를 활용해서 그래프 분해, 흐름 이론, 대수적 표현, 귀납법, 임베딩 등으로 그런 것들을 agentic workflow로 1시간 만에 어떤 추측을 수학과 관련해서 해냈다는 얘기라 이것도 좀 알아봐야겠습니다. 잘 모르겠지만 알아봐야겠다는 상황이고요.
관련해서 종현님하고 얘기를 해보고 있는데, Dwarkesh가 3Blue1Brown인가요? 그래서 Grant Sanderson하고 인터뷰한 것들이 수학에 관련된 많은 흥미로운 얘기를 각론으로 삼아서 던지고자 하는 메시지가 흥미로운 게 있었어요. 그래서 그런 거를 한번 저희가 다음번에 다뤄보면 좋겠다는 생각입니다. 그래서 이런 것들이 자동으로 되는 시대에 인간의 이해나 그런 것들은 어때야 하는가 같은 이야기를 예고편으로 남겨놓고요. 제 요즘 고민은 저번 시간에 제가 루프 밖과 루프 안이라는 두 스쿨이 있다고 말씀을 드렸는데, 그게 이분법이 아니라 이것도 경험해 보고 저것도 경험해 봐야 된다. 이해를 하고 하는 거, 그다음에 이해를 안 하지만 어쨌든 해내는 거, 그 양쪽을 다 경험해 보는 것에 대해서 생각을 해봤는데, 그것도 역시 다음 시간에 한번 다뤄보면 좋겠습니다.
AI 2040 번역 실험과 다음 논의 예고 14:29
마지막으로는 7월 9일에 AI 2027이라고 유명한 예측이 있었잖아요. 전망하는 거요. 그래서 Daniel Kokotajlo가 OpenAI에 있다가 나와서 Scott Alexander하고 같이 2027이라는 걸 만들었는데, AI 2040이라는 거를 어제 새벽에 냈어요. 그러니까 GPT-5.6 나오기 1시간 정도 전에 냈네요. 그래서 저도 읽어봐야 하겠으나 양이 굉장히 많거든요. 또 영어라서 그냥 GPT-5.6 Sol에다가 Codex에서 이 링크를 주고 로컬에 클론해서 한국어로 번역하고 싶다고만 했어요. 그랬더니 15분 지나서 이렇게 나왔습니다. 그래서 쭉 이렇게, 이게 LLM이 직접 번역한 거 아니고 LLM이 어떤 도구를 써서 번역한 것 같아요. Python이 돌아가고 그러더라고요. 그래서 전체 내용을 이렇게 다 한국어로 번역해 놨으니 읽어보겠습니다. 내용이 어떤 건지는 아직 잘 모릅니다. 하지만 또 흥미로운 전망이 있겠죠. 일단 제가 준비한 건 여기까지입니다.
AGI-pilled가 주류가 된 ICML 현장 분위기 16:00
노정석 그러니까요. 저희가 ICML 기간 동안 전 세계 톱 프론티어 랩들에 있는 연구자들이 오고, 또 각종 미디어와 회사들이 오고, 정말 많은 사람들을 만났는데 크게 동의하는 관점이 있다면 거의 대부분이 AGI-pilled예요. 이거는 거의 다 된 게임이라고 생각하는 사람들이 주류를 이뤘고, 그리고 많은 연구들이 제가 지난번에 아마 Nikhil이랑 인터뷰를, 실리콘밸리에서 온 어떤 벤처 캐피털리스트랑 인터뷰를 해서 그 친구도 “너 ICML에서 새롭게 느낀 게 뭐냐?”라고 했더니 대부분 사람이 AGI-pilled이고, 많은 연구가 모델의 알고리즘이나 이런 것보다 어떻게 하면 더 잘 evaluation을 할 수 있을지, evaluation metric을 어떻게 더 앞으로 끌고 갈지 이런 연구들이 많았다는 얘기를 했던 게 생각이 나고요.
그리고 또 그 와중에도 LLM을 하시는 분들은 거의 대부분이 스케일주의자인데, LLM보다 뒤따라오는 도메인들이 있거든요. 대표적으로 AI for Science가 요새 또 뜨거운 각광을 받고 있잖아요. LLM 다음에 Physical AI로 넘어갔다가 Physical AI 다음으로 AI for Science라는 트렌드를 세우려고 사람들이 다 노력하고 있는데, 거기는 아직 두 부류로 나뉘어 있는 것 같아요. 스케일주의자와 “저런 걸로는 안 돼. 바이오는 그런 식으로 풀리지 않아.”라고 하는 사람들이 확연하게 양분돼 있어서 모임에서 그 두 계층이 맞닥뜨리면 서로 불편해하더라고요.
AI for Science를 둘러싼 스케일주의와 도메인주의 충돌 17:03
당분간은 물과 기름처럼 거기는 섞이지 않겠구나라는 생각이 드는데, 스케일주의자들은 관점이 너무 명확해요. 여기는 데이터와 모델과 더 많은 컴퓨터를 투자함으로써 Bitter Lesson이 계속 지배하는 걸 보게 될 거라는 걸 너무 많이 봐와서 그걸 옹호하는 집단이 있고, 또 한쪽 분들의 특징은 도메인에 오래 계시다가 오신 분들이고 AI 세상에 오신 지는 얼마 안 돼서 Bitter Lesson을 지난 3, 4년 동안 커뮤니티가 얼마나 세게 겪어 왔는지에 대한 감이 아직 그렇게 와닿지 않으세요. 그런데 본인들이 해결해 왔던 문제들, 해왔던 실험들이 있으니까 “이거 알지도 못하는 애들이 와서, 어디 전산쟁이 나부랭이들이 와서 컴퓨터 키보드 좀 두드리면 되는 문제라고 생각하는데, 여기는 그런 곳이 아니야.”라는 뉘앙스, 이 두 개가 확연히 나뉘어 있더라고요. 뭐가 이길지는 아직 모르겠습니다. 정말 domain-specific한 무언가가 있을지.
최승준 모르신다고요? 지금 거의 정한 거 아니에요?
노정석 정석님은? 저는 정했죠. 저는 스케일주의자지만, 관찰자적인 시점에서는 어느 게 이길지에 대해서 함부로 얘기할 수는 없죠. 저는 개인적으로 스케일주의에 베팅했기 때문에 이렇게 저렇게 하면 “그건 되는 문제인데.”라는 감은 있죠.
최승준 그런데 생각보다 올해가 AI for Science의 해라고 했는데 신호가 아주 많지는 않았어요. 그런데 알고 봤더니 Periodic Labs가 나온 지 벌써 1년 가까이 돼가고 있는데, 열심히 공장을 짓고 있더라고요. 루프를 닫으려면 실험까지 연결해야 되는데 아직 거기까지는 안 되어 있는 상태예요. 그런데 RL 쪽을 또 굉장히 열심히 하더라고요. Periodic Labs도요.
빅테크 부스 투어와 채용 중심의 전시장 풍경 19:38
노정석 네, 현실의 시간이 걸리겠죠. 그러면 저희 ICML 이야기를 한번 본격적으로 해볼까요? 저희 종현님이 ICML 부스들을 많이 돌아다니셨으니까 관련한 말씀들을 한번
최승준 들어보고, 저도 가봤어야 되는데 외국에서 열리는 학회가 한국에 왔을 때 갈 기회였는데 못 갔습니다.
노정석 코엑스 주변이 홍역을 치렀습니다.
박종현 사람이 정말 많더라고요. 일단 ICML에 저도 다녀왔고요. 기본적으로 학회이기 때문에 논문 발표가 주를 이루지만, 그중에서도 특히 요즘에는 업계의 입김이 센 것 같아서 일단 스폰서 회사들의 부스를 돌아다니고 어떤 회사들이 많이 와서 이런 걸 관찰하고 있는가, 기여하고 있는가, 이런 것들을 한번 보도록 하겠습니다.
최승준 그런데 신청 자체는 어떻게 하신 거예요?
박종현 저는 프레스였습니다. 저는 프레스 자격으로 미리 프레스 신청을 하고 서약 같은 것도 해서 등록받아 갔습니다. 그래서 일단 사람들이 엄청 많았고요. 증정품도 많이 나눠줘서 후드 받으려고 사람들이 엄청 줄을 서 있더라고요. 크게는 당연히 빅테크들이 다 와 있었습니다. OpenAI, Google, Apple, Meta, Amazon, Microsoft 같은 회사들이 다 있었고, 대부분 운영 방식이 비슷했는데 lightning talk 세션을 열면서 안의 연구자들이 와서 자기네들이 하고 있는 것들을 공개해 주는 자리, 그리고 계속 돌아가면서 연구자들이 상주하면서 궁금한 것들이 있으면 사람들이 왔을 때 대답해 주는, 그런 식으로 운영하고 있었고요. 저희 스타 중 한 명인 Noam Brown도 와서 사진 찍힌 걸 제가 봤는데, 아쉽게도 저는 그 시간에 없어서 못 봤습니다.
그리고 일단 가서 다 얘기를 해보면 궁금한 것들을 어느 정도 해소해 주긴 하지만, 가장 큰 목적은 다들 채용이었어요. 아무래도 글로벌하게 큰 학회이기 때문에 졸업을 앞둔 대학원생들이 특히 많아서 그 학생들을 채용하려고 하는 게 가장 큰 목적이라고 느껴졌고요. 그래서 Google, Microsoft 부스들, OpenAI 같은 경우에는 부스에서 “지금 스케줄은 Q&A를 받는 세션이다.” 이런 식으로 다 운영하고 있었습니다. Meta도 있었고, Meta는 글라스가 나와서 그 글라스를 같이 사용해 볼 수 있는 세션, 이런 것도 다 운영했고요.
그다음에 비슷하게 한국에도 빅테크와 비슷한 포지션을 가진 회사로 Naver가 있었는데, Naver도 거의 똑같이 운영하고 있었어요. 그래서 Naver의 각 분야 연구자들이 다 부스에 상주해 계시고, “저 이런 거 궁금해요.” 하면 관련 연구를 하는 연구자들을 최대한 연결해 줘서 대화를 할 수 있게끔 했어요. 그래서 저도 Naver에서는 로보틱스 하시는 분을 만나 뵙고 어떻게 하고 계신지 이런 것들을 여쭤보고 많이 들을 수 있었습니다. 그다음에 빅테크 말고 나름 프론티어 랩이라고 불릴 만한 회사들이 또 있었는데, 특히 Mistral 같은 경우는 프랑스 계통인데 한국에서 지금 파운딩 멤버를 채용하고 있더라고요. 한국에 지사를 열려고 하는 것 같았습니다.
중국계 기업 부스와 중국 연구자 존재감 22:27
그다음에 중국계 회사들도 많이 있었는데, ByteDance 같은 경우에는 Seedance를 요즘 사람들이 많이 좋아하는 것 같아요. Seedance로 영상 생성이 너무 잘되니까 그래서 모델도 이 기간에 새로 공개하고, Alibaba나 아니면 Xiaomi, Xiaomi도 요즘 큰 LLM 모델이 잘 나와서 사람들이 좋아하니까 이렇게 있었는데, 여기도 마찬가지로 빅테크들이랑 거의 똑같이 운영했고요. 신기한 거는 제가 중국 쪽 부스를 돌아다니면서 구경했던 게, 아무래도 ICML에 논문을 투고하고 발표하러 온 분들 중 중국 학생분들이 엄청 많다 보니까 중국어가 엄청 들리더라고요. 중국에서 중국인들을 채용하려고 ICML에 부스를 연 느낌을 많이 받았습니다.
노정석 사실 중국인 비율이 정말 높긴 해요. 오죽하면 AI 업계는 미국에 있는 중국인들과 중국에 있는 중국인들이 진보시키고 있다는 농담이 있지 않습니까? 그런데 그게 통계적으로 맞아요. 이상하게 인도 분들이 많이 없어요.
박종현 이쪽에. 저도 비슷하게 느꼈던 게, 어쨌든 ICML 학회이기 때문에 논문을 발표하는 세션이 가장 메인 세션인데, 그 세션에 가보면 정말 반 이상이 다 중국계 이름을 가진 발표자가 발표하고 있더라고요. 제가 국적까지는 알 수 없긴 하지만, 그래서 “진짜 중국계 분들이 잘하고 계시는구나.” 이렇게 느꼈습니다.
네오클라우드와 inference 서빙 업체들의 부상 24:07
그다음에 부스들을 쭉 돌아다니면서 회사가 정말 많았는데 다 보지는 못했습니다. 크게 분류하자면 눈에 띄었던 거는 네오클라우드 업체, GPU를 임대해서 판매하는 업체, inference를 판매하는 업체들이 많이 보인 게 진짜 inference가 비즈니스 레벨에서 이제 정말 사업 모델을 다 만들어가고 있구나, 이런 거를 느꼈습니다. 유명한 곳은 RunPod, Together AI, Nebius 같은 업체들인데, 저도 개인적으로 RunPod를 엄청 애용하고 있거든요. GPU를 빌려서 사용하고 있는데 이런 업체들이 있었고 그다음에 제가 조금만 주목하자면, 그중에서도 한국인 분들이, 아마 본사는 다 샌프란시스코에 두고 계신 것 같은데, 있는 회사들 딱 두 개만 꼽아서 잠깐 설명을 드리자면 VESSL AI라는 회사가 있었고요.
VESSL AI와 FriendliAI 등 한국계 인프라 플레이어 24:56
여기도 똑같이 GPU를 다 사 와서 GPU를 임대해 판매하는 업체였습니다. 저도 잘 몰랐었거든요. 그런데 B2B로 많이 영업하시는 것 같더라고요. 그래서 Lambda Labs처럼 프론티어 랩에 GPU를 통째로 이렇게 넘겨주는 그런 클러스터 제공 업체가 하나 있었고, 그다음에 비슷하게 같은 생태계라고 하면 FriendliAI라고 해서 여기는 inference를 파는 업체입니다. 그래서 아마 OpenRouter에서 LLM 모델들을 서빙하는 API를 사용하시면 이 FriendliAI를 보신 분들이 꽤 계실 텐데, 저도 직접 사용해 본 적은 없습니다만 목록에 있는 것은 기억하고 있었거든요.
그래서 GPU를 임대해서 거기다 모델을 서빙하고 API로 판매하는데, 어떤 기술적 해자가 있느냐 이렇게 여쭤봤더니 inference를 얼마나 효율적으로 하느냐, latency나 대역폭을 잘 충족하면서 uptime을 최대한 99.9%로 유지하고, 그다음에 inference 가격을 낮추는 것, 이걸 달성하는 게 해자라고 말씀해 주시더라고요. 아마 이런 inference 서빙으로 제일 유명한 프로젝트가 vLLM이라는 프로젝트거든요. 저도 이걸 자주 활용하는데, 이 vLLM이라는 서비스를 만드신 분이 공동 창업자 권우석 박사님이라고 계십니다.
UC Berkeley에서 박사님께서 이걸 연구하시면서 만드신 분이라서 제가 거기까지만 알고 있었는데, 여쭤보니까 FriendliAI는 서울대 전병곤 교수님이 이 랩에서 이런 연구를 하셨고, 거기서 만들었던 기법을 기반으로 창업하신 회사라고 하시더라고요. 그래서 그럼 vLLM이랑 뭐가 다르냐고 여쭤봤더니, 권우석 박사님께서 vLLM을 하기 전에 UC Berkeley에 가기 전에 여기서 같이 논문을 쓰셨다고 하더라고요. 그러니까 어떻게 보면 비슷한 계열에서 이렇게 파생돼서 나간 프로젝트라고 볼 수 있을 것 같습니다. 참고로 이 FriendliAI는 오픈 소스는 아니라서 저희가 비용을 내고 쓰는 것밖에는 할 수 없습니다.
노정석 vLLM과 SGLang, 두 개가 inference 쪽에서는 가장 유명한 것 같고, vLLM은 PagedAttention으로 정말
박종현 맞아요.
노정석 한 획을 그은 회사죠. 거의 대부분 요새 inference는 vLLM 아니면 SGLang을 이용해서 하시는 것 같아요.
박종현 그렇죠. PagedAttention, 그게 권우석 박사님이 쓰셨던 페이퍼이고, 그걸 기반으로 오픈 소스 프로젝트가 되고 회사까지 나아간 케이스라고 볼 수 있을 것 같습니다.
최승준 그런데 종현 님은 그걸 어느 맥락에서 사용하고 계신 거예요?
박종현 vLLM을. 저는 오픈 모델을 받아와서 서빙하고, 그걸로 inference를 돌릴 때 보통 아까 위에서 얘기한 RunPod에서 GPU를 빌려와서 vLLM을 올리고, 거기서 모델을 서빙해서 사용했습니다.
최승준 직접 쓰실 때?
박종현 네. 보통 저희가 프로젝트를 진행하다 보면 직접 서빙해서 inference한 데이터만 사용한 프로젝트들이 꽤 있거든요. 보안 문제라든가 여러 이슈로 인해 그런 경우에 주로 사용했습니다.
종합 예술이 되어 가는 AI 인프라 스택 28:11
노정석 요새 AI 업계가 거의 종합 예술이 되어 가고 있잖아요. 예전에 저희가 fine-tuning을 한다, 뭐 한다는 얘기가 있다가 그냥 프론티어 모델에 RAG를 하는 게 좋고, 하네스 바람이 불면서 그쪽으로 우르르 몰려갔었는데, 그쪽도 너무 무거워지다 보니까 조그마한 task들은 다시 묶어서 단위 소형 모델에 넣고 걔를 inference에 넣는 게 낫다, 이런 트렌드로 가고 있어서 RAG, 하네스, fine-tuning, post-train, 데이터셋, 이런 것들이 다 하나로 묶여서 돌아가고 있는 것 같아요. 그러다 보니까 inference도 모델 크기에 따라서, 또 workload의 종류에 따라서, prefill이 맞냐 decode가 맞냐에 따라서 완전히 전략이 달라져야 되니까, 이쪽 하시는 분들 얘기를 들어보면, 잘 아시는 분들은 거의 종합 예술을 하셔야 돼요.
그래서 엊그저께도 Nikhil 녹화를 하는데, 신정규 대표님, Lablup에서 녹화했거든요. 그거 끝나고 소개해 드릴 겸 Nikhil과 신정규 대표님을 소개해 드렸는데, Nikhil이, 저는 뒤에서 뒷정리하느라고 미팅에 같이 없었는데, 한 1시간 있다 나오면서 하는 말이, “와, 저 사람 뭐냐.” 신정규 대표님을 칭찬하면서 자기가 ICML에 와서 며칠 동안 수도 없는 사람들을 만났는데, 방금 정규랑 1시간 동안 미팅한 것보다 영양가가 없었다고 하더라고요. 그래서 밑에 칩부터 데이터 센터부터 inference부터 애플리케이션의 workload까지, 거의 밑바닥부터 모든 걸 다 꿰고 있는 사람이라고, “왜 저 회사는 데이터 센터 사업에 안 뛰어들어요? 하기에 가장 최적화된 회사인 것 같은데.”라고 질문해서, “그건 너무 바쁘셔서 못 하시고, 우리가 해볼까?” 이러면서 농담했던 기억이 납니다.
그런 식으로 회사들도 다 나오고 있는데, 이걸 지금 늦게 뛰어오신 분들이 한 번에 이해하기에는 공부해야 하는 선수 과목들이 굉장히 많은 느낌. 그런데 그걸 아는 선수들끼리는 그 종합 예술의 어떤 레벨에서 이 산업을 이야기하고 있다는 게 제가 이번에 느꼈던 점 중 하나였습니다.
최승준 그거는 ‘해줘, 해줘’로 안 되는 티어라는 거죠.
노정석 ‘해줘, 해줘’가 완벽하게 되도록 하기 위해서는 그 아래에 또 많은 것들이 들어가야 한다고 얘기하는 게 맞을 것 같아요.
전용 가속기와 하드웨어 최적화 생태계 확장 30:45
박종현 종합 예술에서 한 발짝 더 나아가자면, 여기까지는 NVIDIA GPU를 기반으로 한 클러스터를 임대하는 사업이나, 아니면 거기서 inference를 최적화하는 사업이었다면, 하나 더 있는 게 진짜 새로운 칩을 만드는 거죠. 가속기. 여기는 요청해 주셔서 사진을 올리지 않았습니다만, 저희 AI 프론티어 채널에도 나오셨던 이진원 님께서 CTO로 계시는 HyperAccel도 부스가 있었습니다. 그래서 전용 가속기를 곧 낼 예정이라고 하시고, OpenAI도 요즘 여기에 집중을 많이 하는 것 같아요. 그래서 Cerebras라는 전용 칩에서 실제로 GPT가 돌아가고 있고, 그다음에 Broadcom이랑 같이 inference 전용 칩을 아마 설계해서 곧 내놓을 거라는 소식이 들리고 있는 것 같아요. 그래서 비슷하게 가속기를 실제로 만드는 회사, 그다음에 다양한 가속기에서 어떻게 하면 LLM을 잘 돌릴 것인가를 최적화하는 Nota AI라는 회사, 이렇게 생태계가 하드웨어와 거기에 최적화해서 LLM을 서빙하기까지 비즈니스 모델이 굳어진 것 같고요.
앞서 GPT-5.6을 저희가 얘기하면서 구독제에서 벗어나는 것을 조금 무서워하고 있다, 저도 개인적으로 무서워하고 있다고 얘기했었는데, 그렇다면 저희한테 가격적인 대안이 아마도 GLM이나 오픈 소스 중국 모델들을 이런 데서 서빙하고, 그걸 저희가 조금 저렴하게 활용하는 게 대안이 될 수도 있겠다. 그런 생각이 들었습니다.
최승준 Nota AI에서 최적화한다는 건 뭘 최적화하는 거예요?
박종현 저도 저기를 정확히 잘은 모릅니다만, 제가 간단히 설명을 듣기로는, 예를 들면 Qualcomm 칩 같은 경우에는 안에 NPU가 있거든요. 그런 데다 LLM을 올려서 돌려야 하는 니즈들이 있는데, 그런 것들을 도와주는 역할을 한다고 알고 있습니다.
최승준 스케줄링하거나 그런 쪽일 수도 있겠네요. 잘은 모르지만.
박종현 아마 포팅 이야기인 것 같아요. 왜냐하면 하드웨어가 다르기 때문에, 그 하드웨어에 맞게, 예를 들면 거기서 지원하는 quantization, ALU 등에 맞게 quantization을 해야 한다든가, 아니면 메모리를 쪼개서 어떻게 Transformer를 이렇게저렇게 만들어 줘야 한다든가, 그런 이야기였던 것 같습니다. 아마 Nota AI는 조금 더 넓은 범위의 사업을 하실 텐데, 제가 들었던 내용은 그런 일도 하고 계신다고 들었습니다.
최승준 HyperAccel은 B로 시작하는 칩 얘기였던 거죠?
박종현 맞습니다. 아마 곧 공개하실 것 같습니다.
노정석 그다음에 A, B, C 위주로 이렇게 칩을 A, B, C, D, 이 코드로 가시는 것 같더라고요.
박종현 그렇게 가시나요? 옛날 Android 같은 느낌의 네이밍이네요. 다음 업체들을 분류하자면, 데이터와 관련된 부스들이 또 꽤 있었어요. 그래서 제일 유명한 건 아무래도 Scale AI. 그래서 우리가 어떻게 데이터를 만들어서 판다. 그런데 여기도 학회다 보니까 자기네 사업을 홍보하기보다는 학생들을 채용하기 위한 위주로, 리서치를 자랑하는 느낌의 부스라고 저도 느꼈고요. 그다음에 저도 처음 들어봤는데, 이번에 Voxel51, Toloka 같은 회사들이 있었고, 특히 Physical AI 쪽으로 데이터를 모아서 판매하는, 왜냐하면 아까 Scale AI 이야기를 해 주셨는데, 로봇 쪽은 Scale AI가 데이터 단에서 하기 어려운 부분이 있거든요. 그래서 관련 데이터를 수집하는 업체들이 꽤 있었고요. 이렇게 회사들 부스가 있었고, 그중에서 조금 인상 깊었던 것은, 저는 존재를 모르고 있었는데 부스가 엄청 크더라고요. 그래서 Handshake AI라는 회사가 있었고, 여기는 학부생들이나 아니면 대학원생들에게 주로 연락해서 각자가 아마 전공하는 도메인들이 있을 텐데, 예를 들어 수학과 학생이면 꽤 수학 도메인 전문가, 혹은 특정 언어를 잘하는 학생이면 그 언어 전문가, 이렇게 학생들을 다 모아서 그 학생들한테 “이런 데이터를 만들어 주세요.” 그러면 그 데이터를 모아서 프론티어 랩에 파는 이런 식의 사업 모델을 하고 있는데, 규모가 생각보다 엄청 큰 것 같더라고요. 그래서 미국에서는 꽤 유명하다고 합니다.
Scale AI와 Handshake AI로 본 전문가 데이터 시장 33:28
노정석 Mercor나 AfterQuery 같은 회사들이 데이터셋을 만드는 방식도 크게 다르지 않기 때문에, 이건 오히려 더 오픈 소싱 방법으로 확장한 것 같네요.
최승준 어쨌든 전문가 데이터를 모으는 거군요.
노정석 도메인이 finance든 legal이든 physics, chemistry든 이렇게 정해지고 나면, 그 도메인 안에 어떤 영역들이 존재하는지는 AI가 됐든 프론티어 랩이 됐든 알 방법이 없기 때문에, 지금 저런 회사들이 과거 검색 시대에 일종의 크롤러 역할을 해요. 도메인 안으로 깊이 들어가서 그 도메인을 쭉 넓히면서 그 안에 있는 수많은 세부 분야에 대해 어떠한 intent, 의도를 사람으로부터 설정하고, 그러면 데이터셋의 형성은 모델이 재조합해 오는 거거든요. 사람이 직접 쓰고 있는 데이터셋은 제가 보기에는 없다고 보여요.
그런데 그 안에서 모델들이 데이터셋을 만들고, 하나의 완결된 post-train 세트로 만드는 것은 끝에 가서는 그걸 잘 아는 사람이 evaluate해야 하니까 사람이 꽤 많이 필요합니다. 굉장히 고급 영역은 비싼 분들이 들어가야 하고, 그렇지 않은 코딩이라든지, 수학, 물리, 소위 국영수 같은 영역들은 학부생 레벨에도 되고, 그러니까 저게 Handshake AI라든지, 아니면 우리가 익숙한 데이터셋 회사들이 하는 방식인데, 그 방식들이 참 재미있는 게, 그렇게 해서 새로운 데이터 영역을 창출하고 나면 그걸 가지고 가서 프론티어 랩들에 파는 거거든요.
자기네들도 어차피 데이터 커버리지를 넓혀야 되니까. 그래서 저쪽 한 랩에서 어느 정도 사주면, 다른 랩들에도 그걸 똑같이 다 팔 수 있고, 그런 장인 것 같아요. 그리고 여전히 데이터셋이 늘어나면 늘어날수록 그게 모델의 성능 증가로 이어진다는 게 있어서, 프론티어 랩들은 저 데이터셋에 돈을 어마어마하게 쓰고 있는 걸로 알고
최승준 있습니다. 이름이 의미심장한데요. Handshake AI, 조금 불길해요.
박종현 이렇게 분류하면 네오클라우드 업체들이 꽤 있었고 데이터 컬렉터 업체들이 있었습니다. 모델을 연구하는 랩 외에 이게 큰 분류, 제가 느낀 큰 분류였고요. 그다음에 몇몇 부스 중 제가 조명하고 싶은 곳을 가져왔는데요. General Intuition이라는 회사입니다. 이거는 제 개인적인 친구이자 저희 sudoremove 채널에서 코호스트를 맡고 있는 JC가 꼭 가보라고 추천해 줘서 제가 가봤는데, 여기는 Medal이라는 게임 플랫폼이 있습니다. 이건 게이머들이 게임하면서 자기가 이번에 정말 잘했다고 생각하는 장면을 딱 클립으로 따서 공유할 수 있는 플랫폼이거든요. 그러다 보니까 게임 영상 데이터가 엄청나게 많은 플랫폼이에요. 게다가 중요한 것 중 하나가 게이머의 input을 같이 받더라고요. 그래서 어떤 키를 넣었을 때 게임이 어떻게 바뀌는가, 보통 영상만 있으면 그 input 키가 없어서 액션에 해당하는 input 데이터가 없거든요. 그래서 이런 데이터가 있어서 요즘 저희가 이야기하는 world model에 딱 유리한 데이터를 가지고 있는 곳이에요.
게임 데이터로 world model MIRA를 만드는 General Intuition 37:24
거기서 General Intuition이라는 회사를 만들었고, 거기서 나온 MIRA라는 world model이 있는데 이 모델을 여기서 데모하고 있었어요. 그래서 이거에 대해 저희가 궁금해서 물어봤는데, Rocket League라는 서양권에서는 유명한, 미니카 같은 것으로 축구하는 게임이 있거든요. 저도 정확하게 잘은 모릅니다. 그런데 그 게임은 보통 저희가 키를 누르면 game engine과 프로그램이 돌아가서 rendering하고 저희가 화면을 보는 건데, 그게 아니라 그냥 world model이 저희한테 화면을 쏴주는 거예요. 아예 기존 방식은 다 사라지고, 게임을 물리 시뮬레이션이라고 생각하면 world model이 시뮬레이션해 주는 거죠. 그런 느낌의 모델을 만들어서 데모하고 있더라고요.
그래서 technical blog도 꽤 공개되어 있더라고요. 저는 이게 공개된 줄은 잘 몰랐는데, 가서 부스에서 물어보면서 데이터는 얼마나 가지고 학습했느냐, model size는 얼마나 되느냐고 했더니 그런 정보가 꽤 많더라고요. 일단 5B 파라미터에, 지금 보통의 video model들과 구조가 크게 다르지는 않은 상황이고요. 5B인 이유는 LLM에 비하면 모델이 굉장히 작은데, 이 정도여야 실시간으로 우리가 input을 넣었을 때 프레임들이 타다닥 나오면서 interaction이 가능하다고 보는 것 같아요. 그래서 수많은 video model도 14B나 5B, 7B, 이 정도 크기에 있는 것 같고요.
그다음에 여기서는 Rocket League의 1만 시간으로 학습되어 있다, 이런 데이터가 저 technical report에 있나 봅니다. 이건 에이전트한테 제가 조사를 시킨 건데, 제가 현장에서 데이터를 얼마나 학습했느냐고 물었더니 “우리가 자세히 이야기할 수는 없지만 YouTube scale이다.” 이렇게 대답하더라고요. 정말 많은 데이터를 가지고 video를 학습했다고 이야기했고, 그다음에 여기가 투자, 여기도 투자를 엄청나게 많이 받기로 유명해요. Seed와 얼마 전 Series A까지 받았다고 하더라고요. 그런데 제가 느끼기에는 여기 사업 모델 중 하나가 크게 잘될 수 있는 게 데이터를 많이 가지고 있으니까, 데이터를 혹시 프론티어 랩에 판매하느냐고 물어봤는데 그건 자기네 해자라고, 최대한 판매하지 않으려고 한다고 하더라고요. 투자를 받았으면 판매할 만도 한데, 그러려고 아마 위에서 다 투자한 것 같거든요. 그런데 투자받았어도 판매하지 않고, 지금은 안 하고 있다고, 자기네가 world model을 만들어서 판매할 거라고 이야기하더라고요. 그래서 이게 조금 인상 깊었습니다.
노정석 저 회사가 처음 투자받았을 때 저도 굉장히 관심 깊게 봤던 기억이 납니다. 아직 많이 알려져 있지는 않은데, 저 회사가 가지고 있는 데이터셋이 굉장히 독특한 것 같더라고요.
박종현 게임 key log를 같이 수집했다는 게 액션 도메인에서는 가치가 상당히 클 것 같다는 생각이 듭니다. General Intuition의 MIRA라는 world model 이야기였고, 그다음은 ElevenLabs입니다. 이거는 제가 개인적으로 요즘 굉장히 많이 쓰고 있고 관심이 있어서 물어봤는데, ElevenLabs에서도 담당자분이 오셔서 특히 Scribe, 음성을 텍스트로 바꾸는 STT 혹은 ASR, speech recognition이라고 하죠. 그 담당자분이 오셔서 “우리는 이렇게 만들고 있다.” 이런 이야기를 많이 해 주셨고요.
ElevenLabs Scribe와 METR 부스 스케치 41:17
그다음에 제일 궁금한 것 중 하나가 METR 부스가 있었는데, 제가 METR 부스는 사람이 계속 없어서 대화를 못 해 봤습니다. 이게 너무 아쉬웠고요.
노정석 저 부스 하나가 3만 달러라고 하던데, 왜 안 왔을까요?
박종현 네. 저도 그렇게 들었거든요. 저는 4만 달러라고 들었는데, 아마 이 자리가 4만 달러였던 것 같아요. 옆에 싱가포르 정부에서 오신 분들이 있었는데, 자기네들은 기간 내내 한 번도 못 봤다고 하시더라고요. 사정이 있었던 것 같아요.
그리고 다양한 연구를 하는 또 다른 회사들도 좀 있었고요. 여기는 빠르게 넘기고, 그다음에 한 가지 더 분류하면 퀀트나 트레이딩 회사가 엄청 많이 있었거든요.
부스도 엄청 크고요. 그런데 그 회사들은 제가 개인적으로 가도 대화를 할 수준이 못 되어서 자세히 보지는 못했습니다만, 어쨌든 이렇게 큰 부류가 또 있었습니다. 다들 채용하려고 연 것 같았습니다. 이런 느낌입니다.
노정석 정말 exhibition 부스가 엄청 컸던 모양이네요. 사람들이 많이 들어가더라고요. 저는 사람이 안에 꽉 차 있어서 들어갈 엄두를 못 냈어요.
박종현 부스들도 줄을 너무 많이 서서, 인기 있는 부스는 한 번 대화하기도 좀 힘들었어요. 그래서 저도 반나절 이상 있었는데 다 못 봤습니다.
사이드 이벤트와 Robotics Night의 현장 밀도 43:00
노정석 그러니까요. 그래서 주변에서 미팅도 많고, 점심마다 여기저기서 서로 프론티어 랩 연구자들이 모여서 점심 먹는 방이 있었는데, 거기 들어가서 저도 점심 모임을 여기저기 따라다녔는데, 전부 젊고 Google DeepMind, 그다음에 OpenAI, 이 정도였습니다. OpenAI와 Google DeepMind는 자주 잘 몰려다니던데, Anthropic 사람들은 같이 안 몰려다니더라고요. 그게 좀 특이한 점이었습니다. 인원이 많이 오지 않아서 그런지 눈에도 많이 안 띄었고요.
박종현 이거는 스폰서 부스 공식 행사 말고 사이드 이벤트들이 많이 있었는데, 사이드 이벤트에 가서 제가 찍은 것 중 하나입니다. 정석님께서도 사이드 이벤트를 많이 여시고 참가하시기도 하는 것 같아요. 그다음에 저는 그중에서 RealWorld에서 여는 Robotics Night라는 데 가서 이런 데모를 한번 봤고요. 거기도 사람들이 엄청 많이 와서 거의 백몇십 명 정도 왔던 것 같아요. 그래서 로보틱스 관련 연구하시는 분들을 굉장히 많이 만나서 이야기를 나눌 수 있었고요. 로보틱스는 아무래도 특정 도메인이다 보니까 분야 자체는 조금 밀도가 높다는 생각이 많이 들었고요. 그 안에서도 Toyota Research Institute 같은 업계에서 오신 분들도 있었고, 아니면 학계의 대학원생분들, 특히 연구하는 연구자분들이 상당히 많이 있었고요. 대부분 거기는 아까 이야기하신 것처럼 scale이 정답이다, 아니면 domain knowledge를 어떻게 잘 쓰느냐가 정답이다, 의견이 다 나뉘어 있고 RL을 어떻게 해야 한다, RL도 여기서는 안 하는 게 좋은 것 같다, 이야기가 엄청 다양해서 사람들끼리 활발하게 이야기를 많이 하더라고요.
그래서 그런 행사들에 참가했고요.
그다음에 정석님 행사도 일정이 겹쳐서 잠깐 많이는 못 있었지만 들렀는데, 거기서 제가 개인적으로 느꼈던 것은 밀도가 엄청 높다는 것이었고요. 그리고 샌프란시스코에서 오신 분들이 엄청 많았는데, 요즘 화제인 token maxxing을 해야 한다, 쓸데없다, 효율적으로 하는 게 중요하다, 이런 이야기들이 많이 있는데 그분들이 대화하는 것을 제가 들어보니까 어느 스타트업에서 인당 per week로 1만 달러어치의 토큰을 쓴다고 하시더라고요. 그랬더니 다른 분이 “왜 그것밖에 안 쓰지? 왜 그렇게 제한해 두셨죠?” 이런 식으로 이야기하시더라고요. “나는 하루에 2만 달러어치의 토큰을 태우기도 하는데요.” 제가 그 이야기를 듣고, 이게 지금 같은 세상에 사는 게 맞나, 이런 생각이 들었습니다. 어떻게 하면 토큰을 그만큼 태우고도 ROI를 만들 수 있지? 뭔가 비즈니스를 더 잘할 수 있도록 토큰을 태워서 가치를 만들어 낼 수 있는 것들이 있나 보구나. 이런 것들을 좀 느꼈습니다.
하루 2만 달러 token maxxing 목격담 45:02
노정석 뭘 만들었는지도 한번 정확히 물어봐야 해요. token maxxing과 어떤 결과물의 품질, 그것들의 evaluation이 다 pair로 묶여 돌아가야 평가가 가능하지, “나 토큰을 얼마 썼다.”만 가지고 무언가를 평가하면 안 된다는 게 제가 가지고 있는 관점이거든요. token maxxing의 시대가 살짝 지나간 것 아니냐는 이야기도 사람들이 많이 했던 것으로 기억합니다.
박종현 저도 그런 게 궁금해서 여쭤봤는데, 자세히 이야기해 주기는 어려운가 보더라고요. 수많은 숫자를 다루고 데이터를 종합하느라 그렇게 써야 한다, 이렇게만 말씀해 주시는 것을 듣고 그런 일을 하면 많이 쓸 수도 있나 생각했습니다.
노정석 그럴 수 있겠네요.
최승준 네. 2만 달러면 하루에 3천만 원 정도인 거예요?
박종현 그렇죠.
노정석 그게 본인의 구독 요금제에서 역산한 건가요? 아니면 실질적으로 그만큼 썼다는 건가요?
박종현 네, 그걸 여쭤봤는데 enterprise로 다 쓰고 있다고 하고요. enterprise 단에서는 구독 요금제로 쓰는 게 아마 Terms of Service를 위반하나 봐요. 그리고 그러면 프론티어 랩 입장에서, Anthropic이나 이런 회사 입장에서 개인이 구독으로 쓰는 양이 많으냐, 아니면 enterprise에서 사용되는 토큰이 많으냐고 물어봤더니 enterprise에서 소비되는 토큰의 양이 압도적으로 많다고 이야기하시더라고요.
일단 저는 공유는 여기까지 하고, 행사는 오늘이 토요일 오전인데 토요일, 일요일 두 개가 더 있어서 기회가 되면 다음 주에 한 번 더 이어서 소개해 드리도록 하겠습니다.
최승준 그런데 종현님, 아까 보여주셨던 자료가 AI 프론티어 사이트로 되어 있던데요.
박종현 네, 자료는 이번에 AI 프론티어 사이트에 추가하는 것으로 만들었고요. 아마 앞으로 저희가 공유할 자료가 있으면 거기에 계속, 가능하면 추가해 보도록 하겠습니다.
ICML의 진짜 메인 이벤트가 된 네트워킹과 파티 47:50
노정석 감사합니다. 그게 맞을 것 같아요. ICML 메인 이벤트도 메인 이벤트지만, 주변의 음식점과 커피숍, 그다음에 저녁에 열리는 파티들을 왔다 갔다 하느라 정신이 없잖아요. 그래서 메인 컨퍼런스보다 그게 메인이 아닌가 싶어요. 또 프론티어 랩 분들은 거기 논문을 보거나 공부하러 오는 것보다는 놀러 오는 목적도 반 이상은 되기 때문에, 대부분 전에 제주도를 다녀왔거나, 아니면 끝나고 제주도를 가거나, 혹은 부산에 다녀왔거나 부산에 가거나 해요. 한국이라는 나라 자체의 인기도도 높기 때문에 이번 ICML 참가자가 거의 역대급이라고 들었어요. 그래서 어디는 1만 명이라고 하고, 어디는 1만 4천 명, 1만 5천 명이라고 하는데, 제가 코엑스 주변을 매일 돌아다니면서 사는데, 거기가 저의 주요 업무 거점인데도 코엑스 쪽에 사람이 이렇게 많았던 적이 없는 것 같아요. 그리고 거기 있는 사람들도 이렇게 세련된 외국인이 아닌 우리와 비슷한 엔지니어들로 가득한 사람들이 왔다 갔다 하니까, 야, 이거 좀 이상한데? 뭔가 샌프란시스코에 다시 온 그런 기분, 이런 생각이 좀 들었고요. 여성분들의 비율이 그렇게 높지도 않고 공돌이들의 비율이 높았던, 공돌이 밀도가 압도적이었던 주간이었던 것 같습니다.
그래서 저희도 여러 개의 사이드 이벤트를 주최했고 또 저도 참가하고 했었는데, 제가 이번 주 월요일부터 거의 오늘 저녁까지 하면 월, 화, 수, 목, 금, 토, 일 저녁을 모두 파티하고 있는 중인데, 화요일 저녁부터 말씀드리면 화요일은 Delta Institute와 Striker VC, Recursive Intelligence 그리고 Illorian이라는 회사가 다 포트폴리오로 엮인 회사들이에요. Striker VC가 투자했던 회사고, Striker는 저희가 얼마 전에 녹화했던 Nikhil이 파트너로 있는 벤처캐피털인데, 이 회사도 굉장히 재미있었고 거기에 왔던 엔지니어들의 밀도가 굉장히 좋았어요. 그래서 저는 기억에 남는 게 Mistral에서 온 리서처랑 얘기하면서 이런저런 얘기를 했는데, 내용들은 크게 다르지 않았고 본인들은 미국 시장에 무언가 presence를 만드는 걸 조금 중요시하고 있다. 그다음에 내부에 있는 민감한 데이터들을 물어보면 당연히 이렇게 손을 흔들면서 안 알려주는 그런 건 있었고요.
Flapping Airplanes와 차세대 모델 패러다임 베팅 49:26
만났던 사람 중에 Flapping Airplanes라고, 저는 Flapping Airplanes라고 해서 이게 flapping, 이렇게 새가 날갯짓하는 건데 뭐 하는 거지? 무슨 항공 시뮬레이션 회사인가 해서 사람들이 너무 많아서 시끄러우니까 귀를 기울이면서 들어봤는데, 제가 지난번에도 에피소드에서 말씀드렸지만 새로운 모델을 해보겠다는 회사들 있잖아요. SSI 레벨에서 뭔가 트랜스포머리즘은 잘못됐다. 훨씬 더 data-efficient하게, 훨씬 더 빠르게 few-shot으로 learning을 할 수 있는 모델이 나와야 한다는 이야기를 하는 집단들이 있는데, 그런 집단들의 특징이 굉장히 똑똑한 사람들로 구성되고 10명에서 20명, 많으면 30명으로 구성되고, 출발하는 valuation도 조 단위고 투자받는 금액도 몇천억 단위인데, Flapping Airplanes도 생긴 지 1년이 안 된 것 같아요. 몇 개월 전에 첫 시드 라운드를 했는데 1.5B valuation이니까 우리 돈으로 거의 2조 3천억 원 정도 되는 valuation에 거의 2~3천억 원 정도의 돈을 시드 파이낸싱으로 받은 회사인데, 그 친구랑은 어제 점심에도 다시 만나서 천재의 냄새가 스멀스멀 풍겨서 “너 한 번만 다시 만나자.” 해서 어제 점심을 먹이면서 이런저런 것들을 물어봤는데, 요새 Twitter에 도는 그런 말들 있잖아요.
요새 Twitter에 도는 그런 말들 있잖아요. 프론티어 모델을 만드는 레시피는 사실상 특이할 게 없다. 다 공개된 거고 서로 다 알려진 레시피들이고, 다만 그걸 그 스케일로 자본의 리스크를 감당하면서 할 수 있는 회사가 몇 개 없을 뿐이라는 이야기를 공공연하게 하는데, 그런 부분에 대해서는 당연하다. 서로의 레시피에 대해 다 알고 있는 건 맞고, 그다음에 어떤 알고리즘이 진보하고 있는지, 어떤 포인트에 거점을 찍고 가고 있는지, 이런 부분들에 대해 얘기했던 기억이 나고요.
최승준 20대예요, 30대예요?
노정석 20대일 거예요. 그 친구도 Stanford를 졸업하고 Citadel이라는 파이낸스 회사가 있거든요. 그 회사에 있다가 그쪽으로 넘어간 친구였는데.
박종현 어떻게 하면 그렇게 큰 valuation을 받을 수 있었을까요?
노정석 글쎄요. 그걸 물어보진 않았는데, 그 사장은 아니니까 아마도 그거에 대한 가치를 시장이 굉장히 높게 평가하고 있는 거겠죠. 그 정도 valuation에 그 정도 금액을 꽂을 수 있는 벤처캐피털은 굉장히 유명한 회사들이에요. 다 Sequoia나 a16z나, 아니면 Index Ventures같이 실리콘밸리에서도 조그마한 소형 펌이 아니라 초대형 펌들이거든요. 그래서 그 초대형 펌들이 예전에 SoftBank의 Masayoshi Son이 새로운 회사들을 찍으면서 남들 다 100억, 200억 원 펀딩할 때 몇천억 원 단위로 조 단위 valuation을 찍으며 그 회사를 자본적으로 굉장히 우월하게 만들고 마켓 리더십 포지션을 찍어주면서 어떤 시장에서 우위를 갖도록 하는 전략을 많이 썼었잖아요.
그런데 이제 Bay Area에서도 앞서가는 펌들이 그 전략을 벤치마크했다고 보는데, 그 회사들은 “여기는 굉장히 유명하고 괜찮은 회사들이고 무언가 인력적으로나 하는 연구로나 이 정도의 가치가 있어.”라고 걔네들이 일종의 declare를 하는 거예요. 선언을 하는 거라고 보이고, 그리고 Bay Area에 있는 프론티어 회사들의 자본 규모가 워낙 크기 때문에 그 정도 valuation은 앞에 있는 벤처캐피털들이 그 정도를 인정했다고 하면 인정하고 다 받아주는 분위기들이 좀 있거든요. 걔들도 뒤에 받아줄 사람들이 있고 믿는 구석이 있으니까 그 정도 valuation을 찍는 거라고 보여요. 그리고 저희보다 아는 정보는 많겠죠. 당연히 그러한 트렌드가 굉장히 리스크는 크지만, 만약에 트랜스포머가 아닌 트랜스포머의 진짜 다음 candidate를 만들 수만 있다면 어마어마한 return이 기대된다는 기대가 거기에 녹아 있는 것으로 보입니다.
최승준 뭔가 있긴 있나 보네요. 그러니까 Jerry Tworek도 OpenAI에서 나와서 스타트업 차렸잖아요. 아직 stealth인지 아닌지 모르겠네요. 간간이 그런 얘기가, 새로운 걸 하고 있다는 얘기가 들리는 걸로 봐서 뭔가 있긴 있나 봐요.
노정석 맞아요. 그런데 그들은 물어봐도 절대 이야기는 하나도 안 해줘요. “이게 문제다. 굉장히 큰 문제다.”라는 것만 뭉게뭉게 얘기하고 어쩌고저쩌고 얘기하면서 말은 돌리는데, 하겠다는 것은 next transformer paradigm의 모델이 필요하다는 겁니다. 그 친구가 기억에 남았고, 저희가 수요일에는 AI 프론티어 코리아, 저희 팟캐스트죠. 저희와 미국의 SemiAnalysis 둘이 공동 주최한 AI Industry Night를 열었어요. 그래서 Lablup에 원래는 한 20분 정도만 모시고 가볍게 식사하면서 얘기하려고 했는데, 너무 좋은 분들이 신청을 많이 하셔서 저희가 예약금을 날리면서 취소하고 급하게 하루 전에 venue를 키웠어요. 그래서 다행히 Lablup 신정규 대표님이 회사를 내어주셔서 그 회사 로비에서 저희가 거의 40~50분 정도를 모셨는데, 오셔서 얘기했습니다.
AI Industry Night와 데이터센터 밸류체인 대화 55:35
종현님이 앞서 말씀해주셨지만, 샌프란시스코에서 온 벤처캐피털이나 OpenAI 연구자들이라든지, 아니면 네오클라우드, AMD 쪽 일을 하는 TensorWave를 포함해서 굉장히 재미있는 분들이 많이 오셨었어요. 그리고 한국 쪽에서는 SK Square나 아니면 HyperAccel 이진원 님, 그다음에 이동수 박사님도 오셨었고, LG전자에서도 많은 분들이 오셨고 효성중공업에서도 오셨고, 주로 데이터센터에서 칩 사이드까지 관심을 갖고 계시는 분들을 모아서 이야기들을 주로 했고요. 거의 대부분 했었던 얘기가 데이터센터 밸류체인에서 현재 어디가 병목이고 어떤 회사가 뭘 하고 있고, 그다음에 한국은 어떤 기회가 있고, 의외로 한국에 대해 잘 모르시거든요. 그냥 SK하이닉스와 삼성전자와 BTS 정도가 외국인들이 바라보는 한국의 전부거든요. 그래서 메모리 말고 그 앞에 있는 밸류체인에서 너희 데이터센터 사업은 어떻게 구성돼 있냐, 전력 상황은 어떠냐, 그리고 거기에 참여하고 있는 참여자는 SK 같은 대형 사업자 말고 작은 사업자들은 있냐, 어떻게 준비하고 있냐, 이런 것들을 쭉 물어봤던 것 같아요. 그래서 굉장히 다양한 이야기들이 오갔고, 또 OpenAI 로보틱스라든지 post-training을 하는 사람, 그다음에 GLM에서도 어떤 엔지니어분이 오셔서 GLM 이야기, “너희 한국에서 굉장히 인기 있는데 알아?”라고 그랬더니 “아니, 전혀 몰랐는데.” 이런 이야기도 했던 기억이 나고요.
바이오 AI 밋업과 virtual cell 논쟁 58:01
목요일은 저와 김민석 대표랑 AfterQuery라는 회사와 같이 공동 주최해서 Yacht Night를 했는데, 이날은 비가 많이 오는 바람에 차도 막히고 뭣도 하고 좀 복잡했어요. 그런데 가서 거기에 왔었던 연구자분들과 이야기를 했었고, 그리고 금요일은 제가 요새 사업을 AI와 바이오 사이드로 돌리려고 하기 때문에 금요일, 토요일, 오늘까지 저도 이거 끝나고 다시 워크숍에 가볼 건데, ICML 메인 튜토리얼 세션, 그 뭐죠? 메인 컨퍼런스가 끝나고 나면 그 뒤에 워크숍 세션을 하는데, 워크숍 세션에 재미있는 게 많아요. 그래서 저는 주로 바이오나 AI for Science 쪽 세션들을 들어보고 있는데, 어제 GenBio 세션이 하나 있어서 그 GenBio에 왔었던 참여자들을 대상으로 저희가 알음알음 홍보해서 바이오와 AI의 교차점에 계신 분들만 모시고 한 번 밋업을 했습니다. 그래서 식사하면서 이런저런 얘기를 했고, Arc Institute, 그다음에 NVIDIA, 그리고 Anthropic에서도 오셨었고, 주로 바이오와 AI 사이드에서 하시는 분들, Harvard에 계신 분도 오셨었고, 등등 이분들이 아까 말씀드렸던 싸움이 났었던 현장이기도 해요.
맥시멀 스케일리스트와 “야, 그거 그렇게 하면 안 된다.”라고 하는 사람들이 살짝 갈려서, 웃긴 얘기인데 저는 저희 테이블에 NVIDIA 분과 Arc Institute에서 오신 분들과 Harvard에서 박사과정을 하다 창업한 어떤 재미있는 친구와 이렇게 앉아 있었는데, 한 친구가 저희 쪽 테이블에 있다가 다른 테이블로 도망갔어요. 그러면서 나중에 얘기를 들어보니까 다른 테이블에 가서 “저 테이블은 위험한 테이블이다. 스케일리스트 이상주의자들이 모인 데인데 바이오를 매우 위험하게 접근하고 있다. 저렇게 풀리는 문제가 아닌데.” 그런데 제가 많이 얘기했던 분은 Arc Institute에서 Evo 3 모델을 만들고 있는 분이었는데, 현재 DNA 파운데이션 모델의 문제는 뭐고, 다 virtual cell을 만드는 데 있어서 모든 랩이 virtual cell을 얘기하는데 그 virtual cell에 대한 개념들이 전부 다 다르거든요. 그리고 바이오 쪽은 저도 조금씩 알게 되는 건데, 데이터가 일단 LLM만큼 많지는 않죠. 인터넷에 널려 있는 텍스트, 비디오 데이터가 있는 건 아니니까. 랩별로 데이터들이 굉장히 쪼개져 있는데, 그 데이터들의 양이 많다고 해서 다 결정적인 데이터들은 아니거든요. 예를 들어 실험을 하는데 실험을 준비하고 이런 과정들이 쭉 있다가 끝에 가서 무언가 반응을 딱 시키는 순간 반응이 나오고, 시간 순서대로 나오는 데이터가 있다고 치면 영양가 있는 데이터의 구간은 저 뒤의 몇 분과 몇 시간 단위에 다 몰려 있고, 앞에 있는 것은 하나로 압축할 수도 있는 데이터인데, 지금 현재 바이오 데이터라고 하면 앞에 있는 데이터까지 포함해서, 제약회사라고 치면 굉장히 많은 데이터들을 갖고 있고, 우리는 몇백만 실험에 대한 데이터가 있다고 얘기하지만, 많은 분들이 그 불편한 진실을 얘기하는 게 사실상 그 데이터에서 진짜 training을 할 수 있는 데이터로서의 가치를 갖고 있는 것은 굉장히 짧은 순간들인 경우가 많다. 그렇기 때문에 아직 전반적으로 현실적인 한계는 있다.
이 스케일을 추구하기에 compute는 준비될 수 있어도 아직 그걸 training할 수 있는 만큼의 데이터셋은 모자란 건 맞다는 인식들은 있는데 현실을 넘어선 낙관들이 조금씩은 다 있는 것 같아요. 그거는 이렇게 해결하면 되지 않을까. 그래서 제가 지난번에도 말씀드렸는데, 전통적인 바이오 파이프라인에서 오신 분들은 그 도메인에서 출발해서 그게 되기 위해 선결해야 하는 조건들, 이런 것들이 있으니까 진짜 domain-specific하게 문제들이 다 구체적으로 정의돼 있고, 저쪽 컴퓨터 사이언스에서 출발하시는 분들은 슈퍼 제너럴리스트예요. 그래서 이쪽 사람들의 비하하는 표현을 좀 빌리자면, 어디서 제대로 배워 먹지 못한 전산쟁이들이 와서 저거 몇 번 하면 될 거라고 생각하는데, 이 바닥이 그런 바닥이 아니라는 그런 뉘앙스로 말씀하셨던 기억이 납니다. 그런데 이 컨퍼런스의 좋은 점이 그런 것 같아요. 각각의 분야에서 핵심을 달리는 분들이 오셔서 짧은 시간에 커뮤니케이션을 해야 하니까, 서로 좀 알고 있다는 가정하에 훅 들어가서 본질적인 이야기들을 던지거든요. 그러고 나서 그거에 대해 서로 티키타카가 안 되면 ‘안 되는구나’ 하고 쓱 헤어지고, 거기서 되면 서로의 기저를 확인한 다음에 몇 개의 핵심적인 질문들을 주고받으면서, 그럴 때 진짜 영양가 있는 대화들이 많이 오고 저도 그 속에서 프론티어들이 느끼는 문제 난이도의 분포가 제 머릿속에 쭉 서거든요. 그게 참 좋은 것 같은데, 한 가지 확실한 건 LLM 사이드에서는 제가 아까도 말씀드렸듯이 다 AGI pill을 먹은 것 같고요. 이건 되는 게임인데, 되는 걸 어떻게 측정할 것이냐는 쪽으로 논문들이 많이 가고 있다는 말씀은 해드린 것 같고요. 된다는 믿음이 있으니까 그걸 어떻게 잘 측정해야 더 좋은 것들을 측정할 수 있느냐. 지금은 모델이 나오면 좋은 모델, 후진 모델 할 것 없이 다 벤치마크가 maxxing돼 있는데, 이런 것들에 대한 게 탐구 주제로 돼 있어서 거기는 우리가 알던 트렌드의 선에 있는 것 같고, 이쪽 AI for Science는 확실히 넥스트 트렌드로 자리 잡으려고 하는구나. 아직 굉장히 앞서 있는 벤처캐피털리스트 일부를 제외한 나머지 일반적인 벤처캐피털리스트한테는 이 트렌드가 안 갔다. 그리고 자본시장과 대중은 당연히 말할 것도 없이 아직은 안 왔는데, 얘가 넥스트 트렌드로 가을이나 내년 봄 정도까지는 확실히 서서 Physical AI의 뒤를 물려받겠구나라는 생각은 확실히 들었습니다. 이 정도. 아이고, 수·목·금이 엄청 빡셌네요.
AGI 확신과 넥스트 트렌드로 부상한 AI for Science 1:03:07
최승준 네. 엄청 달리셨네요.
노정석 목이 지금 갈라졌잖아요. 얘기도 너무 많이 하고, 또 사람들이 시끄러운 데서 모여서 얘기하면 이 연구 주제도 있잖아요. source separation을 해야 하거든요. 나한테 들어오는 소리만 들어야 하는데, 이게 전부 다 합쳐져서 들어오니까 단어, 단어, 단어들을 들으면서 맥락으로 서로 대화하는 느낌. 그런 게 좀 재미있었습니다.
압축되는 발전 속도와 아직 시작도 안 한 에이전트 시장 1:05:45
최승준 그러면 오늘의 얘기를 다 wrap-up하면 무엇인가요?
노정석 오늘의 얘기를 다 wrap-up하면, 발전의 속도가 더 압축되고 있다. 우리가 한 달에 몇 번 나눠서 했었을 얘기, 예전 같았으면 분기에 나눠서 했었을 이야기들을 지금 저희가 1주, 2주, 3주 종현님과 세 번 정도 촬영하고 있는데, 그때 비슷한 이야기를 하고 있는 것 같지만 변화의 속도는 더 빨라지고 있다는 조급함을 가지고 막 이야기하고 있는 것. 저는 그게 지금 느끼고 있는 핵심 메시지가 아닌가라는 생각이 들어요.
그리고 또 제가 느꼈던 재미있는 점 중 하나는 AI 애플리케이션에 대한 이야기들. 저희가 유튜브라든지 하네스라든지, 어디 해커톤이라 하면 전부 에이전트 얘기를 하잖아요. 에이전트를 가지고 뭘 만들었다, 어떻게 하면 업무가 좋아진다, 뭐 한다는 이야기들을 하나도 안 하고 있는데, 이번 ICML에 온 사람들도 대부분 연구자 출신이기도 하지만 벤처캐피털리스트들이나 이런 데들도 그런 것에 대한 질문을 하나도 안 하고 얘기도 하나도 안 하는 것들이 저는 신선하게 느껴졌는데, 그거에 대해 제가 질문해 보면 두 가지 시그널이 느껴져요. 하나는 “그거는 Codex가 다 끝내는 거 아니야?”라고 하는 일반적인 시각이 있고, 애플리케이션 레이어는 Codex나 코딩 하네스 같은 것들의 슈퍼 앱들이 프롬프트로 generative UI와 generative service 형태로 그냥 다 되는 거 아니냐는 게 하나 있고, 두 번째 사이드는 “이건 아직도 시작도 안 했구나.”라는 생각이 들어요.
저는 그 얘기들을 듣다 보니까 “이 분야는 아직 시작도 안 했구나.” 거기에 대한 저의 관점은, 당연히 Codex나 Claude나 뭐나 이런 애들이 전부 시키면 다 만들어 주겠지만, 시키는 것조차도 사람들은 안 할 거라서 그걸 대신 시키는 회사들이 나와서 B2B SaaS들이 나오듯이 수많은 AI 에이전트 회사들이 나오기 시작할 텐데, 걔는 아직 시작을 안 했구나. 왜냐하면 기저가 워낙 흔들리고, 기저가 아직 촘촘하게 자리 잡히지 않은 상태이기 때문에. 그런데 거기는 저는 industry-wide로 어마어마하게 큰 사업이 될 거라고 생각하고 있어서 지켜봐야 하지 않나라는 생각이 듭니다.
최승준 그 후자의 얘기가, 그런 얘기를 안 하지만 그래도 어마어마한 시장이 열려서 안 한다는 게 정확하게 앞뒤가 제가 이해를 못…
노정석 아직 그들의 관심사의 타이밍에 안 선 거죠. 아직 시장의 타이밍이, 돈을 돌리는 벤처캐피털리스트라든지 프론티어 랩에 있는 사람…
최승준 자본이 아직 그런 에이전트 워크플로를 얘기하지 않는 이유는 시장의 타이밍이 아니다.
노정석 쉽게 말하면 ICML의 특성일 수도 있어요. 온 사람들의 특징 자체가 그거고, Y Combinator 데모데이 같은 데 가면 온통 이런 얘기들을 하겠는데.
최승준 ICML이라서 맥락이 좀 다를 수 있었는데,
인더스트리와 한 몸이 된 리서치 지형 1:09:02
박종현 저는 이번 주에 ICML을 어쨌든 모니터링하면서 저희가 오늘도 어떤 페이퍼 리서치 결과, 이런 얘기들을 거의 안 했고 저도 개인적으로 스폰서 부스, 이런 것들이 더 인상적이었거든요. 이게 무슨 뜻인가 곰곰이 생각해 보면, 과거와 달라진 점은 리서치라는 게 인더스트리와 훨씬 더 붙었다. 왜냐하면 스케일이 엄청 중요한 것도 있고, 그다음에 제가 개인적으로도, 특히 정석님 행사에 갔을 때 예를 들면 프론티어 랩에서 진짜 모델을 연구하시는 분들, 이런 분들이 있으셔서 제가 물어봤거든요. 혹시 이번 ICML에서 주목할 만한 페이퍼가 뭐가 있느냐, 뭘 보면 좋겠냐, 이런 걸 엄청 물어보고 다녔어요. 사람들한테. 저도 연구가 너무 많다 보니까 그중에서 뭘 집중해서 봐야 하지? 그런데 대부분 하시는 얘기가 요즘에는 페이퍼들보다 인더스트리에서 얘기가 나오는 것들이 더 가치가 있는 것 같다.
그런데 거기를 중심으로 연구도 이루어지니까. 그런 얘기를 들으면서 “이게 좀 붙었구나. 업계와 학계가 붙었구나.” 그런 생각이 좀 들었습니다.
노정석 맞아요. 이게 레이어가 예전 같았으면 어셈블러가 있고 C가 있고, 그 위에 Python이 있고, Python 위에 Django가 있으면 저 위에서 애플리케이션 하는 사람들은 Django만 잘 쓰면 되는 거지라는 그런 역할 분담이 있었다면, 얘는 어셈블러부터 저 위의 Django까지가 그냥 하나로 막 들러붙어 있는 기분이에요. 그래서 그 스택이 상당히 깊고 좀 넓은데, 그 스택들에 대해 전부 알고 있는 일종의 팔방미인이 되어야 위에 있는 애플리케이션이 됐든 무슨 얘기든 할 수 있는 참가 자격이 생기는 것 같은 그런 느낌이 저는 있거든요. 그게 아니면 소위 인더스트리 사이드에 가서도 할 이야기가 살짝 없어져요.
“Codex 좋아요. Claude Code 좋아요. loop engineering에서 하네스 뭐 돌려봤어요.”라고 하는 그 아래로 내려가는 이야기들을, “그럼 이거는 이렇게 해서 모델 따로 떼고 이런 식으로 바꾸고, 얘는 Codex 거 쓰고요. 여기는 우리 proprietary data가 너무 많아서 얘는 이 모델 써야 되고.” 그런 것들까지 이야기가 가야 왔다 갔다 하는 느낌이 좀 들고요.
프론티어 랩 종속 위험과 중국 오픈 소스 모델 ban 전망 1:11:39
또 한 가지 들었던 재미있던 소식 중 하나가, 지난주에 올린 팟캐스트의 내용이기도 했고, 저희가 어떤 업을 하잖아요. 그런데 아무 생각 없이 Codex에 막 “해줘, 해줘.” 하면서 다 밀어 넣고 있는 게 회사의 핵심 자산들이지 않습니까? 그리고 심지어 auto-compacting을 쓰면서 하나의 스레드에 잘 정리된 형태로 회사의 워크플로를 다 밀어 넣어 주니까, 프론티어 랩 입장에서는 한 회사의 업이 그냥 자신들한테 넘어오는 그런 계기가 되는 거고. 그러고 나서 Anthropic이라든지 OpenAI라든지, 이 회사들도 자신들의 valuation을 justify하려면 과거 Microsoft나 이런 데들이 그랬듯이 수많은 핵심 인더스트리를 자신들이 그냥 먹어서 가져야 하거든요. Microsoft도 Office로 싹 가져갔고, Google도 굉장히 많은 것들을 가져갔고요. 그렇긴 한데, AI 같은 경우에는 단순하게 스토리지를 파는 거나 function을 파는 거나, 아니면 distribution channel을 파는 거나 이런 게 아니라 intelligence를 파는 거여서 레이어를 구분 짓기가 어렵다는 그런 이야기들이 많이 있잖아요. 그렇다 보니까 프론티어 랩에 이런 것들을 다 퍼주는 것은 무지무지하게 위험하다는 것에 엔터프라이즈들이 눈을 뜨고 있어서, 오픈 소스 모델들을 가지고 자기네 하네스와 자기네 팜을 구축하는 것들의 중요도가 생각 외로 빠르게 훅훅 올라오고 있는 것 같아요. 온프레미스 모델의 중요성. 그리고 여기서 또 한 가지 포인트로 재미있는 게 미국의 엔터프라이즈들이 지금 기대고 있는 오픈 소스 모델이 거의 대부분 중국 모델이잖아요. Qwen이라든지 Kimi라든지, 이런 걸 베이스로 하는데 SemiAnalysis에서 온 친구, 이렇게 얘기하면 누군지 다 알겠네요. 어쨌건 그 친구가 얘기하기에, 내년 정도면 미국 정부가 미국 국적의 엔터프라이즈에서는 중국 오픈 소스 모델의 사용도 ban하지 않을까, 금지하지 않을까라는 예측을 가지고 있다는 얘기를 하더라고요. 그렇게 되면 서방 세계와 친한 나라들이 공급할 수 있는 소위 준 프론티어 모델들, 오픈 소스 프론티어 모델들의 값어치가 확 올라갈 거다. 본인들은 그렇게 생각하고 있다는 얘기가, 저는 그럴 수 있겠네. 사업적으로도 큰 의미를 갖겠네라는 생각이 좀 들었습니다. 중국 말고는 지금 없잖아요.
최승준 AI 2040에도 비슷한 얘기가 있었던 느낌이 있습니다. 자세히 안 봤지만, 중국이 어쨌든 중요한 키워드고. 그러게요. 그렇게 아예 ban해 버린다. 오픈 소스 모델 자체를.
박종현 네, 온프레미스에서 돌리는 것도 ban할 거라고 예상하는 거죠.
최승준 그게 현실적으로 가능한지는 잘 모르긴 하겠지만, 어쨌든 그런 정책을 낼 수는 있겠죠.
정보 과부하 시대의 정리 필요성과 마무리 1:14:44
노정석 저희가 좀 정신이 없긴 합니다. 좀 찬찬히 정리해서 무언가를 얘기하고 토론하고, 그 주제 하나에 천착할 수 있는 여유를 지금 세상이 주지 않고 있어요. 저도 회사에 오죽하면 이번 주까지만 정신없이 정보를 습득하고, 다음 주 월요일부터 “우리 일하는 거야.” 막 이렇게 얘기했던 기억이 나요. GPT-5.6이 나왔고, 그리고 제가 모델 사이즈에 대한 추정 얘기도 많이 들었는데, 그거는 그들도 얘기하지 말라고 하고, 얘기한 것들이 너무 많아서 걔네들은 나중에 다 알게 되겠죠. 그러면 이 정도에서 저희 오늘 녹화는 마무리하도록 하겠습니다. 종현님, 승준님, 오늘도 감사합니다.
박종현 수고하셨습니다.
최승준 재밌었습니다.