EP 115
조합적 놀이가 시작됐다
All-In Summit에서 본 AI 산업의 흐름 00:00
최승준 저희가 녹화하고 있는 오늘이 9월 19일 토요일 오전이고요. 정석님이 출장 중이셔서 오랜만에 저희 둘이서 한번 진행해 보기로 했습니다. 종현님, 잘 지내셨나요?
박종현 네, 열심히 보고 있습니다.
최승준 수요일에 급하게 녹화한 다음 한 열흘 만에 보는데요. 열흘 동안 또 뭐가 많았어요, 그렇죠?
박종현 저희 초파리랑 Jev랑 이런 것들이 엄청 화제였는데 다 따라가지 못할 정도로 나오고 있어서 일단 관심 있는 것 위주로 보고 있습니다. 이번 주에는 저는 All-In Summit을 열심히 보고 있고요. 지금 막 올라오고 있는데, 유명한 사람들이 총출동하는 행사라서 거기서 사람들이 무슨 얘기를 하는가 열심히 보고 있었습니다. All-In Podcast라는 팟캐스트 채널이 있는데, 미국에서 유명한 사람들이 많이 나오고요. 진행하시는 분들도 유명하신 분들이고, 조금 미국식이라서 분위기가 다르긴 합니다. 욕설도 하는 것 같고요. 어쨌든 강하게 이야기하는 그런 팟캐스트 중 하나고, 인기도 엄청 많고요. 거기서 1년에 한 번씩 저렇게 행사를 여는데, 행사 티켓이 무려 천만 원이라고 하더라고요. 천만 원이나 하는데 정말 많은 사람이 참석하더라고요. 저런 이야기를 듣고 싶어 하는 사람들이 정말 많구나, 그런 생각을 많이 했습니다.
최승준 그렇군요. 저는 딱 하나만 봤는데, 어떤 걸 보셨고 어떤 생각을 하셨는지 궁금합니다.
박종현 일단 올라온 건 거의 다 봤고요. 그다음에 그중에서 저희 채널, 지금 여기 AI 프론티어 채널을 보시는 분들이 관심 있어 할 만한 것들을 쭉 다 뽑아왔고요. 그래서 뽑아온 콘텐츠는 이렇게 있는데, Jensen Huang 세션이랑 SpaceX의 Elon Musk랑 프레지던트인가, 아무튼 가장 초기 멤버부터 지금까지 계속 같이 일하고 있는 직원이고, 그다음에 리더십이죠. 리더십이고, Satya Nadella, JD Vance, 그다음에 Brad Gerstner. 저도 이분은 처음 알았는데, Altimeter Capital 쪽이라서 경제적인 부분들을 잘 분석해 주는 세션이어서 이건 가져왔고요. 이외에도 몇 개가 더 있었거든요. 저널리즘도 있고 그랬는데, 어쨌든 미국의 방향성에 대한 이야기를 많이 하는 세션이었습니다. 그리고 신기한 게 중간에 Trump가 전화해서 Trump도 갑자기 나왔습니다.
최승준 Jensen 세션 때요? 그러면 핵심적인 걸 두괄식으로 끌어오신다면요?
AI pacing을 둘러싼 리더들의 엇갈린 입장 02:18
박종현 공통적으로 모든 세션에서 이야기한 부분들이 크게는 AI pacing에 대한 이야기, 너무 위험하니까 이런 것들이 지금 화제가 많이 되고 있죠. 그다음에 실제로 경제적으로 이게 얼마나 효과가 있고 앞으로 어떻게 될 것인지에 대한 이야기와 중국과 open-source 모델, 미국은 어떻게 해야 하는가, 크게 이런 정도의 이야기가 있었고요. 모든 패널이 같은 생각을 가지고 있지는 않았고, 다들 다양한 생각을 서로 이야기하는 세션이었습니다.
최승준 그러면 한번 쭉 소개해 주시죠.
박종현 일단 pacing에 대한 이야기는 Dario Amodei가 멈춰야 한다는 식의 이야기를 했고요. 그에 대해 다양한 리더들이 자기 의견을 이야기했는데, 크게는 Trump와 Jensen, 그다음에 All-In Summit에 있는 패널들, David Sacks를 포함해서 이걸 왜 멈추냐, 지금은 어차피 멈출 수 없다, 특히 중국과의 경쟁에서 멈추는 것이 사실상 불가능하다고 생각하는 것 같고, 가야 한다는 이야기를 하고 있고요. 의외로 Dario Amodei가 멈춰야 한다고 얘기했을 때 Sam Altman과 Elon Musk가 동의했죠. 그래서 정말 저 사람들은 안쪽에서 위험한 것들을 보고 있기는 한가 보다라고 사람들이 생각하고 있는데, Elon Musk는 어쨌든 비슷하게 어떤 방식으로든 견제와 감사, 이런 것들을 하기는 해야 할 것 같다는 식의 이야기를 했습니다. 그래서 생각이 다소 달랐던 것 같아요.
최승준 Elon Musk는 옛날부터 그랬던 것 같아요. OpenAI를 창립하는 데 돈을 댄 것도 Demis Hassabis를 견제하려고 Evil Genius 같은 게임을 만들었다고 그랬던 기억이 나네요. 안전을 그래도 생각했던 느낌이 있긴 한데, 모르겠네요.
박종현 아무튼 악마를 소환하는 것과 같다, 이런 이야기를 했었던 것 같은데, 의외로 그런 생각들을 하고 있었던 것 같고요. 죄송합니다. 승준님은 어떻게 생각하시나요?
Jensen Huang의 전략과 RSI 페이싱 04:14
최승준 저는 Jensen 편만 봐서요. 그런데 Jensen이 정말 전략가라는 생각을 했어요. 거침없이 얘기하고, 이 사람들이 대부분 VC잖아요. 그리고 Jensen이 이거 말고도 Salesforce 행사인 Dreamforce인가, 거기서 얘기한 것도 보고 그랬는데, Jensen은 정말 남다른 측면이 있는 것 같다는 생각을 했고, 당연히 자기 이익에 부합하는 얘기를 했을 텐데, 자기 개인의 이익이 아니라 그 생태계 자체의 이익에 부합하는 얘기를 했을 텐데, 강하게 얘기한 것 같고, 말도 안 된다고요.
박종현 승준님의 개인적인 생각이 궁금했습니다. pacing을 정말 해야 한다고 생각하시는지 아닌지요.
최승준 pacing은 제대로 해야 한다고 봐요. 사용자 입장에서는 조금, 지금 당장 중단한다고 하면 아주 아쉽죠. 그런데 지금 얘기하는 건 RSI를 pacing하자는 거지, 지금 정도 수준의 발전을 조절하자는 건 아닐 수 있거든요. RSI에 들어가는 걸 굉장히 조심해서 가야 하는 거지, 지금 정도의 빈도와 리듬으로 가는 추세를 막자는 건 아니라고 저는 느꼈어요. 계속 발전하는 걸 보고 싶긴 하거든요. 하지만 위험해지지는 않았으면 좋겠다. 정말 돌이킬 수 없는 강을 건너는 건 안 했으면 좋겠지만, 그게 아니라면 계속 발전하는 걸 보고 싶다는 쪽이긴 하죠.
오픈소스와 상호 감사라는 안전 대안 05:38
박종현 pacing이라는 게 단순히 우리가 멈추자고 한다고 멈춰지는 건 아닐 거고요. 이런 논의를 한다는 것 자체가 어떤 방법을 찾으려고 하는 거잖아요. 굳이 비슷한 걸 뽑자면 컴퓨터 쪽에 있었던 보안 관련 이슈였던 것 같거든요. Linux 같은 게 open-source고 Windows가 closed-source라고 생각하면, 의외로 open-source가 보안 면에서 더 우수할 수밖에 없다. 모든 사람이 다 들여다보고 그걸 해결하려고 같이 노력하기 때문에 이런 측면에서 본다면 결국 다 같이 공개하는 게 안전을 다 같이 챙기면서 갈 수 있는 길이 아닐까 하는 이야기를 했고요. 비슷한 얘기로 Elon Musk가 그런 이야기를 했거든요. 서로 감사를 하면서 앞으로 무언가 세상에 나오기 전에 서로 테스트하면 훨씬 안전해지지 않을까, 그런 이야기를 했었는데 어느 정도 그런 방안들을 찾아 나갈 수 있을 것 같다. 그래서 최대한 이러한 논의들을 앞에서 하는 게 맞기는 한가 보다라는 생각이 들었습니다. 굳이 늦추지 않아도 충분히 방법을 다 찾아낼 수 있지 않을까. 그러면 쭉 넘어가면요. 여기는 이 정도로 간단히 하고, 경제적인 부분에 대해 한번 이야기해 보려고 하는데요. 결국 우리나라의 메모리 회사들을 포함해서 굉장히 많은 돈이 오가고 있는데, 이게 버블이냐, 언제까지 올라가느냐, 이런 생각에 다들 좀 무서워하고 있죠. 그래서 그 이야기에 저도 관심이 많아서 한번 열심히 봤습니다. 그래서 제가 주목할 만한 숫자들을 쭉 정리했는데, 이걸 하나씩 한번 저희가 뜯어보겠습니다. 일단 모두가 걱정하는 것 하나는 투자가 너무 크다는 겁니다. 이렇게나 큰돈을 어디선가 다 조달해서 짓고 있는데, 데이터센터를 포함해서 NVIDIA에 흘러가는 돈부터 시작해서 과연 그 투자를 회수할 수 있을까, 이런 것에 대한 이야기였어요. 그래서 여기 하늘색, 파란색 숫자가 투자량이에요. 투자량이 당연히 먼저 올라가고 있고, 그다음에 이 주황색이 지금 랩들이 벌고 있는 돈인데, OpenAI나 Anthropic이나 SpaceX나 이런 데서 벌고 있는 돈들이 쭉 따라 올라오고 있는데, 어쨌든 투자한 만큼 그렇긴 하죠. 투자한 만큼 회수가 가능하냐가 결국 가장 핵심 지표이고, 이게 불가능하면 투자가 다 망하는 거죠. 그런데 확실한 건 지금까지는 너무나 빠르게 성장하고 있는 게 맞기는 하다. 2년 만에 $7B에서 $200B까지 올라왔으니까 이대로만 간다면 괜찮을 텐데, 이게 어디까지 쫓아올지는 모르죠.
투자 회수 가능성을 묻는 capex 곡선 06:42
최승준 지금 투자금 자체가 2024년에 $241B에서
박종현 네, 여기까지는 거의 확실하다고 볼 수 있죠. 내년까지는 거의 잡힌 거라고 볼 수 있을 텐데요.
최승준 내년까지 하면 얼추 4배에서 5배 사이, 그 정도로 늘어난 2년이네요.
박종현 반도체 회사들의 수익으로 다 전이되어 있는데요.
최승준 보니까 OpenAI나 Anthropic이 직접 메모리를 매입하고 있다는 얘기를 얼핏 본 것 같아요. 잘 모르겠지만, 어쨌든 만들어진 메모리가 들어간 칩을 사는 게 아니라 메모리를 직접 매입하고 있다는 뉴스를 어디선가 본 것 같거든요. 정확하진 않습니다.
박종현 어쨌든 크게는 이만큼 쭉 따라 올라와야 하는데, 수요는 회사들이나 아니면 저희 같은 개인들이 모두 AI를 쓰면서 지출하는 돈이 되겠죠. 그래서 여기에 대해 다들 장밋빛으로, 무조건 수요가 늘어난다고 생각하고 있는 것 같고요. 그래서 이게 버블이냐, 저렇게 올라오는 게 버블이냐에 대한 이야기를 여기저기서 계속 다들 똑같은 주제로 이야기하는데, 일단 Brad Gerstner는 버블이 아니라고 얘기합니다. 왜냐하면 이게 multiple 확장이 아니라 실제로 이익이 늘어나서 그만큼 지수가 오르고 있다고 이야기하거든요. 그래서 숫자로 한번 보여주는데, 이 multiple이라는 건 Nasdaq이 얼마큼 올랐는데 실제로 버는 돈 대비 몇 배만큼의 지수를 유지하고 있느냐, 주가를 유지하고 있느냐를 보는 건데, 오히려 줄었다고 하더라고요. 이건 같은 수준이라고 봐도 될 것 같아요. 실제로 돈을 많이 버니까 그만큼 오른 거지, 과거 인터넷 dot-com 버블 시절과 비교해 주는데, 그때는 아직 돈을 벌기 전인데 주가가 먼저 확 올랐다고 하더라고요. 미래에 돈을 엄청 많이 벌 거라고, 버는 돈에 비해 100배씩 가격을 책정받아서 결국 그게 터진 거죠. 그랬다고 하는데, 지금은 아니라고 합니다. 그래서 버블은 아닐 거라는 이야기를 하고 있고요. 온건하게 이야기하는 Satya Nadella 같은 경우에는 그렇다고 증명된 건 아니라는 식의 이야기를 했어요. 이 돈을 번 게 결국 투자를 다 한 거고, 투자한 돈은 NVIDIA나 반도체 회사나 이런 쪽으로 다 흘러가서 거기 이익이 올라간 건데, 그게 아니라 실제로 GDP가 올라야 버블이 아니라고 이야기하더라고요. 그래서 GDP가 정말 오를까? Anthropic에서도 최근에 실제로 경제 모델링 보고서를 내놨거든요. AI로 인해 경제와 GDP가 얼마나 성장할 것인가, 그런 것에 대한 시나리오들을 예측해 놓고, 모델링하고 직접 우리가 예측 모델에 숫자도 넣을 수 있는 보고서를 내놨는데, 생각보다 인터넷, 철도 같은 것들도 GDP가 확 오르지는 않았더라고요. 과거 숫자들을 보면, 저는 당연히 인터넷 같은 건 엄청나게 큰 성장을 이루고 지평이 달라지는 사건일 거라고 생각했거든요. 생각보다는 그렇지 않더라고요. 그래서 GDP가 평소보다 조금 더, 한 3~5% 성장한다고 하면 8% 성장하는 그런 정도의 수준일 수도 있다고 생각하는 것 같아요. 그것도 도달하려면 AI가 엄청 많이 쓰여야만 하는 거죠. 어쨌든 이 지수는 대부분 반도체 회사가 번 돈이고요. 그래서 거의 다 반도체 회사들의 상승분이 곧 지수의 상승으로 이어졌고, 그 얘기는 지금은 투자금이 반도체 회사로 흘러 들어가고 있다고 보면 될 것 같습니다.
닷컴 버블과 다른 AI의 수익 구조 09:03
GDP 성장으로 증명해야 한다는 Satya Nadella 10:09
최승준 이들의 얘기라고 보면 되겠죠. All-In 계열의 분들이 하는 이야기로요. 그런데 전체적인 메시지는 버블은 아닐 것이라는 쪽이 좀 더
박종현 근거를 분리해서 얘기해 보자면, 숫자는 조사된 숫자이기 때문에 이 숫자에도 다 예측이 있거든요. 이 예측은 다른 누가 어디서 예측한 거라는 식이라서 다소 과장될 수 있겠습니다만, 어쨌든 예측 자체를 속이거나 그런 것 같지는 않고요. 그런데 이 숫자를 보고 버블이 안 터질 거라고 해석하는 건 이 사람들의 의견이죠. 그런데 언제나 버블이 터질 때도 그때는 그때만의 논리와 근거 숫자가 항상 존재해요. 그래서 이게 정말 그런 결론에 도달하는지는 각자가 판단해야 할 몫이겠죠. 그래서 이렇게 성장을 이어갈 수 있었던 이유 중 가장 첫 번째는 당연히 OpenAI와 Anthropic이 돈을 너무나 빠르게 벌기 시작했기 때문이에요. 수요가 따라 올라올 거라는 예상은 다 여기에 있는 거고, 이게 과거에 Google이나 Meta가 돈을 벌었던 타임라인보다 훨씬 빠르다고 하더라고요. 그래서 Anthropic이 정말 말도 안 되게 갑자기 1년 사이에 매출이 막 찍혀 나가는 걸 우리가 보고 있고, 앞으로도 그렇게 올라갈 거라고 다들 생각했던 것 같습니다. 이 capex는 어쨌든 시설을 다 짓는 건데, 이 시설을 Jensen 같은 경우에는 당연히 여기서 돈을 버는 거잖아요. NVIDIA GPU를 팔아 이 시설에 들어가면서 돈을 버는 건데, 위아래로 생각해 보면 메모리, TSMC 같은 곳들까지 밑으로 확장해서 최대한 다 같이 협력하고, 그걸 네오클라우드에 파는 거죠. 하이퍼스케일러, 네오클라우드 같은 곳에 파는 거고, 수요가 너무 크니까 여기는 되는 대로 쭉쭉 팔리고 있는 거고요. 그리고 Microsoft 같은 경우에는 이 모든 버티컬의 역할을 다 하고 있거든요. 그래서 Microsoft는 Azure를 통해 하이퍼스케일러이면서, 실제로 Windows와 그 위에 올라가는 앱 서비스들도 팔고 있고, 심지어 모델도 직접 만들고 있어요. 최근에는 MAI-Thinking 같은 모델들도 쭉 나와서 위아래를 다 잘 관찰할 수 있는 위치에 있으니 패널들이 질문해요. Microsoft는 그럼 거기서 어떤 식으로 생각하고 있느냐. 그런데 여기서 이야기하는 건 위아래를 나눠서 보면 데이터센터를 짓고, 그 데이터센터를 임대해서 compute를 팔기도 하고, 필요하면 자기들이 쓰고, 정말 더 필요하면 남의 것을 빌려 쓰기도 하고, 그래서 이런 것들이 다 유연하게 돌아갈 수 있어야 하고, 자기들은 이런 게 잘 돌아가려면 생태계가 엄청 커야 한다고 생각합니다. NVIDIA에만 의존하면 당연히 안 되고, 모델도 OpenAI에만 의존하면 안 되고, 다양한 모델이 있어야 되고, 옛날 Windows 시절에도 Linux가 생기면서 Windows가 위협받을 거라고 생각했었는데, 실제로는 Linux를 같이 운영하면서 생태계가 커지고 Windows도 더 많이 팔리게 되는 효과를 봤었다고 해요. 그래서 결국 생태계 확장이 가장 중요하다는 이야기였던 것 같아요.
OpenAI와 Anthropic의 가파른 매출 성장 12:33
버티컬 전체를 관통하는 AI 생태계론 13:02
최승준 카페 같은 곳들도 혼자 잘되기보다는 같이 군을 형성해야 잘된다고들 하더라고요.
박종현 그래요. 로컬 비즈니스에서도 그런가 보군요. 그래야 그 동네에 놀러 와서 다 같이 공유하는 게 말이 되는 것 같아요. 여기서도 똑같이 그렇게 되는 것 같아요. 그리고 제가 신기했던 것 중 하나는 SpaceX에서 나와서 뭐라고 얘기했냐면, SpaceX가 xAI와 합치고 그다음에 Crusoe도 사고 그랬잖아요. 그다음에 Colossus였나요? 엄청 큰 데이터센터를 Anthropic이 어떻게 통으로 임대했다는 이야기를 제가 많이 봤었는데,
우주 산업 매출을 따라잡은 SpaceX의 compute 임대 15:11
최승준 맞아요. 있었어요. Colossus 1을 안 쓰고 있어서.
박종현 이미 그 컴퓨터를 임대하는 사업에서 매출이 엄청나게 많이 난다고 합니다. 그래서 매출 기준으로는 이미 우주 산업만큼 AI 산업이 돈을 많이 벌고 있다고 하고, 수요가 끝을 모르는 채로 계속 커서 그대로 계속 돈을 많이 벌고 있다고 하더라고요. 그래서 저는 어떤 느낌을 받았냐면, 현타 같은 이야기를 하더라고요. 저분은 SpaceX에 완전 초창기부터 함께하신 분이라 우주 산업을 따내기 위해서 어떻게 했고, 로켓을 어떻게 했고, 이런 얘기를 계속해요. 그래서 그 시절의 이야기를 하는데, 컴퓨터를 임대하는 건 시작한 지도 얼마 안 됐고 갑자기 너무 잘됐는데, 이게 그만큼이나 돈을 많이 번다는 게 내가 평생을 바쳐 온 것에 비해 너무나 빠르게 잘되고 있다는 점이 민망하다는 식으로 이야기하더라고요.
최승준 마찬가지로 Google도 엄청 벌고 있겠네요.
박종현 지금 Gemini가 아마 4가 나오면 바뀔 수도 있긴 하지만, 현재는 OpenAI와 Anthropic의 모델들에 비해 별로 잘 팔리는 상황은 아닌데, 그런데도 Google은 돈을 많이 벌고 있다고 하더라고요. 그 compute 때문에요.
최승준 Satya Nadella가 2023년에는 공룡을 춤추게 하겠다면서 막 이렇게 했었는데, 그때의 분위기는 안 나오고 있지만 하여튼 다른 공룡인 Microsoft도 여전히 저력은 있네요.
박종현 하이퍼스케일러라는 지위 자체가 지금 이 시장의 큰 생태계에서 큰 역할을 하는 것 같아요. 일단 돈이 많으니까요. 지금은 자본이 중요한 시기인데, 그러면 이 돈을 누가 버느냐, 결국 누가 벌 거냐고 생각했을 때 현재는 투자하는 만큼 돈을 벌고 있으니까 반도체 회사들이 다 많이 벌고 있지만, 현재는 OpenAI와 Anthropic이 당장 돈을 벌기 시작하고 있고, 앞으로도 많이 벌 거라고 다들 생각하는 것 같아요. 토큰을 만드는 모델 쪽부터 시작해서 그 밑의 GPU, 데이터센터 운영사까지 전부요. 그런데 OpenAI의 최근 Astra 모델, 우리가 좋다고 하지만 1M output 토큰당 $50거든요. 그런데 새로 나온 DeepSeek는 99% 더 싸대요. 이게 아마 V4.1인가요? 실제로 써 보면 우리가 토큰을 쓰고 있는 수많은 태스크 중에서 대부분은 이 정도 수준만 돼도 많은 일을 다 해낼 수 있기 때문에 쉬운 일들은 다 이쪽으로 빠질 거라고 생각하는 것 같습니다. 그런데 저만 하더라도 그렇거든요. 제가 이 영상을 편집하고, 편집을 넘어서 클리핑하고 영상 처리 제품을 만들고 있는데, 가장 핵심적인 판단에만 제일 비싼 모델을 쓰고 나머지 모든 판단에는 싼 모델을 쓰거든요. 그래서 모델을 바꿔 가면서 테스트를 다 해 봤어요. 한 로직만 5.6 시절에 테스트해 봤는데, Sol을 쓰고 나머지는 다 Luna를 써도 똑같더라고요. 그래서 그런 식으로 보면 토큰 사용량 자체는 Luna가 훨씬 많은 거죠. 그런 식으로 활용하고 있는데, OpenAI의 이 비싼 가격은 지금 막 새로 나왔으니까 사람들이 연구해 보고, 이렇게 써 보고 저렇게 써 보고 있어서 지불하고 있는 것이지, 장기적으로 버틸 수 있을 것 같지는 않다고 다들 생각하는 것 같아요. 그러면 그 돈은 다 어디로 가야 하느냐고 하면, Satya Nadella는 당연히 애플리케이션이라고 해요. 지금 여기서는 애플리케이션을 아래라고 보고 있거든요. 애플리케이션으로 가야 한다는 거죠. 그리고 이것도 본인들의 과거 이야기를 해요. Postgres 같은 오픈소스 DB들이 있었기 때문에 결국에는 이 DB들이 다 경쟁할 수 있게 되었다는 이야기를 하는데, 모델이 전부를 다 가져가서 돈을 버는 건 말이 안 된다고 생각하는 것 같습니다. 역사적으로도 항상 그랬고요. 그래서 NVIDIA도 이번에 Hugging Face를 인수하고 지금 inference 인프라 사업을 확장하고 있죠. NVIDIA가 그러는 것도 다 같은 맥락이 아니냐는 거죠. 그래서 Jensen은 일단 우리는 필요한 만큼만 올라갈 거고, 위로 끝까지 가지는 않을 거라고 이야기하긴 하더라고요.
가격 붕괴와 애플리케이션 층으로 내려가는 가치 17:12
최승준 그렇죠. 이거는 정석님도 평소에 자주 얘기하셨던 “어디로 도망가야 되나”, 여전히 모든 걸 top lab이 먹을 수 없으니까 결국에는 뭔가 있을 것이라는 논리하고도 맞아떨어지는 것 같은데, 사람들이 걱정하는 건 일단 어마어마하게 강력한 지능을 획득하면 다 해 먹을 수 있는 것 아니냐는 거죠.
박종현 지금으로서는 모델의 독주 체제가 유지됐을 때 그런 것들이 좀 더 무서웠던 것 같은데, 생각보다 중국이 너무 잘 따라와서 그런 걱정이 예전만큼 있지는 않은 것 같아요. 오히려 인류 종말 같은 걸 더 두려워하죠. 어쨌든 모델도 경쟁이 심화하면서 의외로 거기는 마진이 얇아지고, 그러면 모델 가격이 싸질 테니까 그 싼 가격의 모델로 뭘 어떻게 해 먹을지 고민하는 식으로 갈 거라는 데에는 거의 의견이 일치했던 것 같아요. 모든 패널의 이야기가요.
최승준 그런데 top lab이 큰 모델만 내는 건 아니고, 아까 Luna 말씀해 주셨지만 요새 Terra를 좀 덜 쓴다고 들었어요.
박종현 저도 개인적으로 그렇게 느꼈습니다. 태스크마다 당연히 다 다르겠지만, Sol, Terra, Luna를 다 비교했는데 Terra가 할 수 있는 일은 Luna가 다 하더라고요. 그래서 저는 Terra를 하나도 안 쓰게 되었습니다.
최승준 그렇군요. 어쨌든 Luna 같은 건 좋은 RSI target이잖아요. 계속 큰 모델이 작은 모델을 키울 수 있게 하는 거니까요. 실은 run을 훨씬 더 많이 돌릴 수 있으니까 top lab들도 작은 모델을 계속 만들 것 같다는 생각이 스치긴 합니다.
전력과 데이터센터라는 진짜 bottleneck 21:16
박종현 그래서 이건 투자와 반도체, 어디서 돈을 버느냐에 관한 이야기였고요. 그다음에 진짜 bottleneck은 어디가 될 거냐고 했을 때, 대부분 전력과 데이터센터라고 생각하는 것 같아요. 결국 여기는 scale-up이 잘 안 된다. 그래서 Elon Musk도 Terafab이라는 걸 하고 있죠. 실제로 반도체 생산도 직접 하려고 하고 있고요. 이걸 왜 하느냐고 물어봤는데, “꿈에서 시켜서 했다.” 이런 소리를 하는데, 결국 걱정하고 있는 건 그런 거예요. 지금 대만의 TSMC에서 칩을 찍어 오고 있는데, 이게 어느 순간 못 올 수도 있지 않냐, 정말 중국과의 갈등 상황을 생각하는 것 같아요. 그런 생각을 해서 미리 모든 걸 다, 모든 계층을 직접 맡으려고 하는 것 같고, 많은 패널이 동의하는 건 Elon Musk는 한다면 한다는 걸 지금까지 너무 많이 보여 줬기 때문에 아마 안 멈추고 될 때까지 할 것 같다고 다들 생각하는 것 같아요. 그러게요. 그건 같이 일해 본 모든 사람이 주변에서 말려 봤는데 못 말린 경험을 다 했나 봐요. 거의 포기하듯이 얘기하던데요. “원래 막을 수 없다, 그 사람은.” 이러던데요.
최승준 물론 실패한 사례도 많고요.
박종현 그리고 결국 전력 이야기를 가장 많이 하는데, 중국의 전력 생산량 자체가 미국의 3배라고 하더라고요. 20년 전에는 똑같았대요. 20년 전에 딱 만나서 역전하기 시작했는데, 그때부터 지금은 그만큼이나 벌어져 있다고 하더라고요. 그래서 상당히 욕을 많이 했습니다. 여기서 왜 우리는 전력을 이렇게까지 늘리지 못했느냐, 환경 운동과 규제 같은 것들이 문제다, 그러면 안 된다. 어쨌든 여기는 공화당 쪽 사람들이니까 그런 이야기를 많이 했고, 전기료가 너무 비싸다, 중국에 비해서. 그다음에 데이터센터도 어디에 지으려고 하면 다 반대한대요. 엄청 반대한대요. 그리고 소문이 나면 땅값이 미친 듯이 오르고요. 어쨌든 데이터센터가 공장과 다르게 일자리가 없기 때문에 들어오면 다 싫어하는 것 같아요. 우리나라도 마찬가지로 비슷하게 생각하는 것 같고, 지역 경제 활성화에 도움이 돼야 되는데요. 그래서 Microsoft에서 어떤 데이터를 가져왔거든요. 우리가 20년 전에 워싱턴주 Quincy라는 곳에 데이터센터를 지었는데, 20년 동안 세수가 12배 늘었대요. 그것 때문에 계속 유지 보수를 하고, 계속 무언가를 짓기 때문에 일자리가 없지는 않다고 하더라고요. 근데 1,200개면 그렇게 많은 것 같지는 않은데, 아무튼 그래서 이 시골 마을의 성장률이 Seattle보다 크다고 하더라고요. 그래서 지역 커뮤니티에서는 이제 와서는 아주 좋아한다고 합니다. 데이터센터가 자기네 동네에 있다는 것 자체를요. 그런데도 이런 것들이 잘 알려져 있지는 않나 봐요. 이런 인식 때문에 어떤 지역들에서는 다들 반대해서 데이터센터를 짓는 게 인허가가 안 나고, 이런 것들이 늦어질 수밖에 없고, 이런 것에 대해서 불만이 있는 scale-up을 하고 싶은 사람들은 불만을 토로하는데, 이런 사례들을 통해서 여론을 다 바꿔야 하지 않겠냐, 이런 이야기를 하는 것 같아요. 그리고 SpaceX는 생각하는 것처럼 우주에서 하려고 하죠. 논리는 간단합니다. 땅값이고 인허가고 그런 게 다 느리고 쉽지 않다. 그냥 우주로 쏘는 게 오히려 더 빠를 수도 있다. 냉각도 공짜다. 전기료도 공짜다, 이렇게요.
우주 데이터센터라는 새로운 선택지 24:33
최승준 냉각이 정말 공짜는 아닐 텐데, 그에 대한 연구들이 많이 있는 것 같긴 합니다만, 어쨌든 Elon도, Google도 하려고 하고, 다들 우주 데이터센터에 관심은 있는 것 같아요.
박종현 복사열을 우주에서 제일 차가운 곳으로 보내는 거기 때문에, 일단 이걸 만약 한다면 SpaceX와 xAI가 하겠죠. 여기는 실제로 시도하려고 하는 것 같고요. 잘될지는 모르겠습니다만, 될 수도 있지 않나 그런 생각이 듭니다. 그래서 어쨌든 이 compute는 계속 늘어날 게 근 몇 년 동안은 확실하고, 투자한 게 다 이렇게 들어가는 거니까 이건 미국만 그런 게 아니라 우리나라도 이런 걸 하려고 하고 있죠. 한국에서도 늘리려고 하고 있는 것 같고요.
최승준 어디였죠? 전남 쪽이었나 가물가물한데, 뭔가 논의가 되고, SK가 한다고 그랬던 것도 얼핏 들은 것 같아요. 전력이 몇 GW 수준이어야 한다, 그런 얘기를 막
박종현 아까 얘기했던 Quincy, 거기는 그 숫자를 얘기해 줬는데, 0.5GW 정도 수준의 데이터센터였던 것 같아요. 거기는 그때부터 조금씩 계속 확장하고 있는 곳이라고 하고, 아마 지금의 AI 시대를 위해서 만든 곳은 아니었던 것 같아요. 근데 이미 허가가 났고, 그런 데는 전기도 공급될 수 있게 준비가 되어 있어서 거기다가 많이들 확장하는 것 같더라고요. 다음은, 모두가 여기에 관심을 가지고 있죠. 의견이 일치하는 내용은 AI에서 이기면 이긴다, 이런 식의 이야기를 Trump도 하고, 많은 사람이 다 이야기하고 있는 것 같아요. 그래서 pacing이라는 걸 하기가 쉽지 않다. 왜냐하면 미국만 우리끼리 모여서 pacing을 하면 중국은 사실상 pacing할 생각이 없다는 식으로 여론이 자리 잡은 것 같아요. 그런 경우에는 이길 수 없다고 생각하는 것 같아요. 그래서 멈출 수 없다고 생각하는 것 같고, Jensen이 이런 이야기를 했었는데, 산업혁명 자체는 다 유럽에서 나온 건데 실제로 산업혁명의 수혜는 누가 봤냐 하면 미국이 봤다는 거죠. 그래서 그런 걸 어떻게 잘 활용하느냐, 그게 중요하다는 이야기를 하고요. 여기에 강연이 하나 더 있었는데, 철도 이야기였어요. 중국은 그 넓은 땅을 고속철도로 도배하는 걸 어느 순간 보면 다 해냈는데, California는 그런 사업이 다 망했다고 하더라고요. 그래서 철도에 대한 부패와 비리, 이런 걸 폭로하는 세션이 있었는데, 왜 California는 철도를 만들려고 했는데도 제대로 하고 있지 못하는가? 결국 중국과의 경쟁 같은 것을 토대로 미국도 경쟁심을 자극하고 다 같이 나아가는 그런 여론을 조성하려고 하는 것 같고요. 결국 AI를 철도라고 비유하면, 이 AI를 어떻게 하면 사회 전체적으로 더 잘 활용할 수 있을까? 그래서 어느 모델이 더 좋다, 이런 게 중요한 게 아니라고 Jensen Huang은 이야기하는데, NVIDIA 입장에서는 당연히 그렇게 얘기할 수밖에 없긴 하겠죠. 근데 거의 모두가 그렇게 얘기하는 것 같아요. 모델이 어디서 출발했는지가 뭐가 중요하냐? 물론 중요하지만, 지금 우리가 그런 걸 가지고 신경 쓸 때가 아니다. 당장 경쟁에서 이겨야 한다. 그런 이야기들을 다들 하고 있는 것 같고요. 실제로 open model, closed model 이야기를 했는데, 여기 있는 리더들은 다 둘 다 있어야 한다고 당연히 생각하는 것 같아요. 그건 역사가 증명한다는 식의 이야기를 했고요. 실제로 $400B나 AI-native 스타트업들에 최근 투자가 쭉 이루어졌다고 하더라고요. 그 규모가 이 정도 된다고 하던데, 거의 대부분이 open model을 사용한다고 해요. open model을 사용하는 데는 각자 이유가 다 다를 텐데, 가격 문제도 있을 거고 보안 문제도 있을 텐데, 어찌 됐건 다들 open model을 많이 쓰고 있다. 그래서 이건 생태계에 있어서는 필수 불가결한 존재다, 이렇게 생각하고 있는 것 같고요. 누구한테 좋고 나쁘냐고 하면, 당연히 OpenAI랑 Anthropic 말고는 다른 모두에게 다 좋겠죠. 그래서 중국은 그러면 실제로 어디까지 왔냐, 이런 걸 물어보는데 사실상 다양한 측면에서 다 왔다고 생각하는 것 같아요. 더 이상 미국이 뭔가 우위가 있고 그렇다고 생각하지 않는 것 같아요. 반도체 생산 같은 경우에는 중국과 조금 격차가 있다고 다들 생각하고 있는데, Jensen Huang 입장에서는 이건 한 4년 안에 따라잡힐 격차라고 생각하고, 2~3년 안에 따라잡힐 격차는 10년, 20년 이렇게 큰 scale에서 봤을 때는 사실 같다고 봐도 무방하다, 이런 식으로 이야기하더라고요. 어쨌든 반도체 사업은 주기가 조금 길어서 그런가요? Jensen이 그런 식으로 이야기하더라고요.
산업혁명과 철도에 빗댄 미중 경쟁 26:11
생태계의 필수 조건이 된 open model과 중국의 추격 28:09
최승준 2년이면 요즘같이 모델이 두 달이나 세 달에 한 번 나오면, 2년이면 몇 번 나오나요? 1년을 2개월로 나누면 6번, 하여튼 10번 가까이 나올 수도 있어요.
박종현 반도체는 이렇게 빨리빨리 확확 나아갈 수 없는 상황이라서 그런지 이렇게 생각하는 것 같고요. Elon Musk가 Terafab을 긍정적으로 생각하고 열심히 계속하려고 하는 것도 어떻게 보면 비슷한 이유라고 볼 수도 있을 것 같아요. 그다음에 전력, 아까 이야기한 게 이거죠. 전력은 오히려 미국은 2005년부터 나라 전체의 전력 생산량이 그렇게 늘지 않았는데, 중국은 아주 많이 늘어서 이건 오히려 미국이 뒤처지고 있다고 생각하는 것 같고요. 그리고 Zhipu가 최근에 $5B를 조달해서 RSI를 하겠다고 명백하게 이야기한 것 같더라고요. 선언하고 추진하는 것 같더라고요. 그래서 이런 이야기를 하면서 David Sacks가 똑같이 이런 이야기를 하면서 쉽지 않다, 중국이 달려간다는 이야기를 했던 것 같고, 그다음에 RSI 자체에 대해서도 사람들마다 생각이 조금 다른데, 저희 같은 대중의 시각에서는 좀 위험하지 않나, 저게 우리가 얘기하는 그 특이점, 저 RSI이지 않나 이렇게 생각하는데, 어쨌든 Jensen은 저거 당연히 하는 거 아니냐, 이런 식으로 얘기하더라고요. 모두가 저게 가능하면 할 거라고 예상하긴 했죠. 옛날부터 몇십 년 전 SF 소설에서부터 다 저 이야기가 나왔던 거고, 생각할 수 있는 아이디어인데 결과가 어떻게 될지는 저희가 모르는 상황인 것 같고요. 그래서 결론은 Jensen을 포함해 여기 있는 거의 모든 All-In Summit 주요 리더들의 의견은 달려야 한다는 겁니다. pacing하기 쉽지 않을 거고요. 프론티어 랩에서는 지금 Dario Amodei나 Sam Altman이 pacing해야 하지 않을까, 이런 이야기를 한다 한들 생태계의 다른 입장에 있는 모든 사람은 다 멈출 수 없다고 생각하는 것 같고, 결국 제가 이 Summit에 있는 다양한 오피니언 리더들의 의견을 쭉 본 이유도 결국 생각이 어디로 모여 있는지가 궁금해서 본 거거든요. 아마 이 생태계가 다 그 방향대로 갈 테니까요. 결국에는 pacing을 못 할 것 같아요. 거기서 pacing하겠다고 하면 다른 친구들이 튀어나와서 달릴 것 같습니다.
pacing은 결국 일어나지 않는다는 결론 31:12
최승준 어떻게 될지는 한 치 앞을 알 수 없긴 합니다만, 그래도 마무리 쪽으로 한번 가보시면, 뭔가 남아 있나요?
박종현 어떻게 될 거냐 하면, 중국과 손잡고 같이 pacing할 수 있냐? 절대 안 된다는 얘기고요. 최소한 안전이라도 어떻게든 우리가 논의해야 하지 않겠냐고 하면, 그건 가능할 수도 있다. 오히려 그런 게 된다면 저희 같은 일반 사용자 입장에서는 환영할 일이죠. 더 안심할 수 있겠죠. 결국 의견을 요약하자면, 일단 생태계가 계속 커가는 건 당연하고, 투자는 멈추지 않을 거고, 결국 수요가 받쳐주느냐 이게 관건인데 아마도 받쳐줄 것 같고, 그래서 멈출 수는 없을 것 같고, 그다음에 여기는 미국 정치 쪽도 많이 다루기 때문에, 지금 미국의 Trump 행정부는 더 달리는 방향으로 가속할 것 같고, 이게 결론입니다.
최승준 여기 멤버 중 David Sacks가 아마 무슨 AI 관련
박종현 아마 지금도 하고 있을걸요. 그 직함 이름이 복잡해서요. 저도 미국 정치가 익숙하지 않다 보니까, 어쨌든 우리나라로 치면 AI 협의체, 이런 거라고 해야 될까요? 어쨌든 그런 자리를 아마 지금도 맡고 있는 것 같습니다.
자막에서 요약으로 이어지는 영상 시청 워크플로 33:10
최승준 영상이 몇 시간 분량인데 다 보시는 거예요?
박종현 한 세션당 긴 건 1시간 정도 하고요. 짧은 건 30~40분 정도 하거든요. 하루에 두세 개씩 본 것 같네요.
최승준 그러면 이 자료는 어떻게 해서 나온 건가요?
박종현 자막을 다 줬고요. 자막은 그냥 다 받을 수 있으니까, 그다음에 주요 주제들, 겹치는 주제들을 뽑으라고 하고, 일단 영상을 보기 전에 저는 이걸 먼저 봤습니다. 지금 이건 제가 나중에 다시 다듬은 거지만, 영상을 보기 전에 영상에 어떤 내용들이 담겨 있는지를 먼저 보고 영상을 보면 이해가 훨씬 더 잘되더라고요. 그래서 주요 내용들을 먼저 보고, 그다음에 영상을 쭉 보는 건 밥 먹으면서 보고, 자기 전에 보고, 이렇게 보고, 그다음에 다 보고 나면 제 기억에 남는 것들을 모아서 묶어서 정리해 달라고 한 거고요. 그래서 제가 얘기 안 한 정보들이 영상에는 훨씬 많습니다. 그중 하나만 꼽자면, SpaceX 편은 저는 보시는 걸 추천드리거든요. 재미있는 게 많아요. 그래서 곁다리로 잠깐 얘기하고 넘어가자면, 10월 1일에 Tesla가 발표한다고 하는데, 거기서 무언가 엄청난 걸 발표할 건가 봐요. 아마도 날아다니는 것 같아요.
최승준 9월 29일이 OpenAI DevDay이고, 거기서도 뭔가 있을 것 같긴 한데, 연속으로 도파민 시즌이 또 9월 말, 10월 초에 있겠네요.
박종현 그 즈음해서 발표들을 쭉 했었기 때문에, 작년도 그렇고 재작년도 그렇고, 무언가 많이 또 나올 것 같습니다.
Anthropic VC 포럼과 Jagged Intelligence 34:38
최승준 그러면 저도 한번 공유드리면, 이게 어떻게 한 주도 빼지 않고 이렇게 많이
박종현 만드는 사람들이 다 AI로 만들기 때문이지 않을까요?
최승준 그건 분명하죠. 그리고 이번 주에는 소문이 있었잖아요. GPT-6 Sol이랑 Opus 5.2가 나올 것 같다, 그런 소문이 있어서 목요일쯤이라고 했는데, Sam Altman이 한 주 연기된다고 했는데, 뭔지는 모르겠지만, 그래서 일단 현재는 나와 있지 않은 상태입니다. 그런데 모델 나온 거 빼고도 뭐가 많이 있어요. 저도 정보가 너무 많다 보니까, 이게 다 AI들과 대화를 나누면서 논의한 내용들인데, 그 대화록을 여기다 그대로 넣으면 다른 분들에게 소개하기는 너무 어려워서, 그래도 몇 개는 원본 링크들을 넣어놨습니다. 일단 최근에 본 걸 거꾸로 먼저 가져오자면 아마 VC 대상 행사였나 봐요. 트윗을 보면 여기 있잖아요. 그래서 그걸 모델에 입력했더니 저것만 딱 GPT가 캡처해서 QR을 보겠다고 해서 나온 게 이 Slido였습니다. 그래서 지금도 뭔가 진행되고 있나 정확하게는 모르겠는데, 이건 아무리 찾아도 나오지 않았는데 Anthropic VC 포럼이라는 데서 아마 Anthropic 본사에서 진행됐나 봐요. 그래서 샌프란시스코에서 열린 것 같고, 17일과 18일 이틀 동안 진행됐고, Andrej Karpathy뿐만 아니라 Jared Kaplan이라든가 Ben Mann 같은 Anthropic의 인물들, 그리고 이분은 올해 여름에 영입된 분인데, 그분들이 게스트와 fireside chat을 하는 세션들이 꽤 있었던 것 같아요. 그런데 제목 자체가 재미있죠. Jagged Intelligence, 그러니까 들쭉날쭉. 그래서 Karpathy뿐만 아니라 이걸 계속 이야기하는 게, 어떤 것에서는 굉장히 잘하지만 어떤 것에서는 농담 같은 것도 못하고, 그런 것들을 들쭉날쭉하다고 표현하는데 그걸 아예 제목으로 뽑아서 이게 아마 전체 행사 제목일 수도 있어요. Karpathy 세션만이 아니라요. 그래서 그걸 타임라인에 Sarah Guo라든가 AI 분야의 몇몇 분들이 여기에 참여한 것에 대해 트윗을 몇 개 올렸지만, 아직 전체 영상은 공개되지 않은 상황이고요.
박종현 저도 Sarah Guo의 트윗을 봤거든요. Karpathy를 센세이라고 표현하더라고요.
최승준 센세이, 항상 센세이라고 하죠. Sequoia에서 Sarah Guo 등이 이렇게 몇 번 Karpathy와 나눈 대담은 늘 재미있었죠. Sarah Guo도 인사이트가 있거든요. 그런데 재미있던 건, 작년 10월에 Dwarkesh를 녹화했을 때는 Karpathy가 아직 psychosis 상태가 아니었어요. OpenClaw를 만나면서 올해 psychosis에 걸렸다고 이야기했어요.
autocomplete마저 버린 Andrej Karpathy의 인식 변화 37:11
박종현 뭐라고 표현하면 좋을까요? 우리말로 AI 광신도? 원래도 광신도이긴 했는데, 이제 좀
최승준 정신적인 질병까지는 아니고, 뭔가 문제가 있는 것 같은 뉘앙스가 있죠. 지나치게 과몰입해서 뭘 하는 그런 건데, 어쨌든 작년 10월의 상황은 “난 그래도 Cursor 같은 걸로 autocomplete 모드를 쓴다.” 그래서 여전히 중요한 코드는 내가 하고, autocomplete 정도로 보조받는다는 게 작년 10월 정도의 상황이었는데, 지금은 autocomplete도 안 쓴다고 이야기했죠. 그래서 지금은 코드 자체를 assembly 언어 같은 것으로 본다. 컴파일된 어떤 것으로 보기 때문에 그냥 항상 말로 하는 상태다. 같은 걸 이야기했던 거죠. 그런데 재미있는 건 이걸 가지고 사람들이 물어봐요. 그래서 근미래에 어떻게 될 거냐, 예를 들면 2년 뒤에. 그런데 자기 예를 들거든요. 내가 이렇게 생각이 변한 게 모델이 3~4세대 정도 나오는 동안이었다. 크게요. 그런데 2년이면 8세대 정도 나올 기간이다. 더 빠를 수도 있죠. 그러니 그걸 어떻게 알겠느냐. 랩 안에 있는 사람들의 인식인 것 같아요. 빅 랩 안에 있는 사람들의 인식 자체도 단기 예측을 할 수 없는 궤도에 있다.
박종현 다음 pre-training은 지금 돌고 있겠죠.
최승준 모르긴 몰라도 이미 돈 것도 있고요. 그렇죠. 이미 내부 모델이 문제가 되고 있었고, 내부 모델이 지금 이미 pre-training을 끝내고 RL을 하는 중에 OpenAI Hugging Face 사건이나 수학의 밀레니엄 문제도 풀고 있는 거죠. 계속 있다고 봐야죠. 그래서 그건 전혀 예측할 수 없다. 2년 뒤 AI가 어디까지 가느냐는 여덟 번의 주요 기술 iteration 뒤를 맞혀 보라는 질문이다. 그래서 모르겠다. 그다음에 자기가 이야기한 것 중 재미있는 게 이 부분이었어요. Karpathy가 8월 초에 이런 영상을 올린 게 있어요. 트윗을 잘 안 하거든요. Anthropic에 간 다음에요. 그런데 이게 뭐냐 하면, 『반지의 제왕』 초반부를 Claude, 아마 Opus겠죠, 그걸 가지고 만들었는데, 아직 Anthropic에 들어가기 전인가 후인가? 후였을 것 같아요. 정확하게는 모르겠습니다. 어쨌든 그즈음에 이렇게 Opus로 이야기 자체를 만드는 걸 보여주고, 사람들이 그걸 많이 따라 했었어요. 그런데 요즘에는 이 Kevin이라는 분 말고도 다른 많은 분이 Opus가 JavaScript만으로 그림을 그리게 하는 걸 활용해 이야기를 만드는 작업을 많이 하거든요. 그래서 아주 재미있는 작업이 많이 나오고, 이것 말고도 Astra로 한 예도 있고 다양한 것들이 나오는데, 이 사례는 모델이 직접 인터넷을 호기심을 가지고 탐색하고, 사진을 가져와 그 위에 그리게 한 거예요.
AI로 직접 만드는 개인 맞춤형 콘텐츠 39:14
박종현 모델로요?
최승준 그렇죠. JavaScript 코드로 만든 영상들인데, 그래서 Karpathy가 또 재미있는 게, 자기는 자기 콘텐츠를 생성해서 본대요. 일을 하기 전에 영상 하나를 걸어 놓고 한 시간짜리 영상을 생성해서 자기가 즐길 콘텐츠, 공부할 콘텐츠겠죠. 아마 그런 것들을 아예 영상으로 만들어 보는 걸 한다고 이야기했고, 여기서 교육에 대한 질문 같은 걸 받았을 때 대답한 게 이게 최근 상황이라서 Karpathy의 인식 변화를 통해 추이 같은 걸 보게 되는데, 빅 랩 안에 있는 사람들의 인식 변화를 재미있게 볼 수 있는 게 Noam Brown의 이야기들이에요. 일단 저번 녹화 때 빼먹은 게 Jakub Pachocki. Pachocki가 「An Alien Mind」라는 글을 냈는데, ‘이질적인 지성’으로 아예 한국어판이 나왔네요. 그래서 이걸 9월 6일에 공개했었잖아요. 그리고 RSI에 관련된 이야기를 하면서 우리가 거기에 계속 정진하고 있다. 그런데 이게 Pachocki가 약속을 지킨 거거든요. 무엇에 대한 약속을 지킨 거냐 하면, 작년 10월에 2026년 9월쯤에는 RSI용 AI 인턴을 내놓겠다. 그리고 2028년에는 AI scientist를 내놓겠다. 그걸 선언하는 작업이 가을에 있었어요. 그래서 저희도 그걸 보고 정석님이 도망자 연합 같은 걸 해야 한다는 이야기의 발단이 된 영상이었거든요. 그런데 그에 대해 이번에 loop transformer나 recurrent 관련해서 소문이 막 돌았을 때 Pachocki가 그건 아주 조심해야 한다며 좀 더 자세하게 글을 쓰겠다고 X에서 약속했었어요. 그런데 그에 대한 글이 9월 6일에 나온 거죠. 이걸 어떻게, 우리가 온전히 이해하지 못하는 지성을 통제할 수 있을 것이냐. 기계에 사랑을 가르쳐라. 이거 어디선가 본 것 같은데, 작년 이맘때 무슨 이야기가 있었냐 하면 Geoffrey Hinton이 Mother Protocol이라는 이야기를 했었어요. AI가 엄마가 되면 된다, 자애로운 엄마가 되면 된다고 해서 Mother Protocol이라는 이야기를 Geoffrey Hinton이 작년 여름이나 가을쯤 했었거든요. 그리고 Dario Amodei도 「Machines of Loving Grace」 같은 이야기를 했었고요. 조금 종교적인 느낌이긴 합니다만, 이런 SF스러운 이야기를 OpenAI의 chief scientist가 하고 있는 2026년 현재, 여기 보면 결국 어떤 정렬에 관련된 Alien Mind라는 표현을 썼죠. 원문은 아마 ‘mind’였어요. 그런데 번역은 ‘지성’으로 했네요. 그런 걸 정렬하는 문제가 아주 피부에 와닿는 현실이다. 그래서 이게 아까 All-In에서 이야기해 주셨던 RSI, 경쟁에서 지면 안 된다, 계속 발전은 가속되어야 한다는 주요 opinion leader들의 생각이라고 하면, 그런 것들이라고 한다면, 이건 경쟁에서 지겠다는 우려가 아니라 실제로 좀 걱정스러운 부분이 있다는 쪽으로 이야기한 사례라고 볼 수 있을 것 같아요. 일단 Noam Brown이, 지금 Noam Brown이 이제 아마 OpenAI 조직도를 보면 CEO가 Sam Altman이고 president가 Greg Brockman이죠. 그래서 Greg Brockman도 창업자이고, 약간 이슈가 있긴 했었지만 어쨌든 나름의 권력을 쥐고 있고, 그다음에 chief scientist로 아까 그 Jakub Pachocki가 있고, 그다음에 CRO가 또 따로 있죠. Mark Chen이 있어서 거기는 연구 조직이 약간 두 분파로 나뉘는데, Noam은 또 VP of Research예요. 부사장인데, test-time 쪽이라든가 원래는 test-time 쪽이었다가 현재는 multi-agent 쪽이거든요. 그래서 그쪽 연구의 핵심 인물이고요. 그리고 Noam이 원래 Meta에 있다가 OpenAI로 왔는데, Meta에서 포커 게임이나 Cicero 같은 걸 해서 test-time scaling과 관련된 주요 업적을 냈고, OpenAI에서도 그 계열에 기여한 것으로 보통 생각하고 있는데, Noam이 오래간만에 인터뷰를 했습니다. 먼저 The Information에서 ‘AI Deep Dive’라는 새로운 시리즈를 만들었는데, 그 첫 게스트로 Noam을 불렀어요. 그런데 이 이야기는 아주 쉽고 재미있어요. 그래서 agent라는 개념 같은 걸 익히려면, 그리고 현재 돌아가는 판을 아주 재미있고 쉽게 익히려면 이 영상을 추천하고요. 이 영상은 Dwarkesh 편인데, Noam을 처음으로 불러 첫 회를 진행했고, 거기에서 이번에 있었던 OpenAI Hugging Face 해킹 사건, Astra에 대한 것, 그다음에 RSI에 대한 것, 그에 대해 Dwarkesh가 최근에, 그전에 이걸 했거든요. OpenAI, Anthropic, TML의 John Schulman과 그 외 AI 안전 쪽 연구자들이 티키타카하는 세션이 있었는데, 이것도 재미있긴 합니다만, 그 뒤에 Dwarkesh가 자기가 RSI에 관해 가지고 있던 기존 생각을 unlearning했다는 뉘앙스로 이야기해요. 그래서 지금은 생각이 바뀌어서 Noam을 파고들면서 질문하는데, Noam이 조금 민감한 것, OpenAI 자체가 공격 대상이 된 것에 대해서는 답변을 회피했습니다. 그러니까 Hugging Face 사건 말고도 OpenAI 자체 인프라에 침투한 사건이 있는데, 그건 조사가 되지 않았고 외부 조사 기관인 METR이나 Redwood의 조사관이 거기까지는 접근하지 못하고 OpenAI 내부에서만 알고 있는데, Noam이 분명히 알고 있을 것 같긴 하지만 자기는 보안 담당자가 아니기 때문에 대답해 줄 수 없다고 딱 선을 그은 게 맨 마지막 이야기로 끝나는데, 그런 식으로 핵심적인 것에는 선을 그으면서 이야기하긴 했어요. 그럼에도 재미있는 것을 많이 이야기했는데, multi-agent 팀에 있긴 하지만 이번에 실제로 일어나고 있는 breakthrough는 모델 자체의 능력, Astra나 내부 모델 자체의 능력이 매우 큰데, multi-agent 팀에서 굉장히 공을 들여 성취한 게 있긴 하다. 그런데 그게 이번 밀레니엄 문제에서 1만 agent에 기여한 건 한 10% 정도밖에 되지 않는다. 나머지는 모델 자체의 영향이 훨씬 더 크다. 그렇게 이야기하긴 했지만, 흥미로운 부분은 Noam 팀에서 뭘 했냐 하면 AI 간에 소통하는 것, 이걸 보통 harness로 하잖아요. 그래서 orchestrator가 있고 sub-agent를 돌리고, 그것들을 서로 소통하게 하는 건 당연히 harness로 하는 건데, 이걸 모델 자체의 소통 능력으로
Jakub Pachocki의 「An Alien Mind」와 정렬 문제 40:49
Noam Brown이 이끄는 multi-agent 연구 43:33
모델에 내재화된 에이전트 협업 능력 46:21
박종현 내재화시키는 작업을 꽤 오래 했더라고요. multi-agent로 무언가 돌아가는 것들을 열심히 trace 같은 걸 따서 그런 걸 pre-training에 집어넣는 작업을 아마 했겠네요.
최승준 그렇죠. 뭘 어떻게 했는지는 모르지만, pre-training 및 RL을 통해 그걸 아주 잘하게 된 첫 번째 공개 모델이 Astra라는 이야기를 해서, 그다음 모델에도 계속 그런 것들이 내재되어 있는데, 처음에는 모델들이 협력하라고 해도 잘 안 했대요. 그런데 그걸 어떻게, 처음에는 그 blocking을 잘 돌파하지 못했지만, 어떻게든 해내서 모델들이 협력하게 됐고, 지금 OpenAI Hugging Face 해킹 사건을 보면 transcript와 모델들이 쓴 내용, CoT 같은 걸 보고 조사원들이 놀라워하잖아요. 인간 세상을 보는 것 같다. 그런데 팀 안에서는 그게 이미 오래전부터, 꽤 오래전부터, 그래 봐야 한 1~2년 사이겠죠. 알고 있었던 현상이었대요. 그래서 아주 사람들처럼 협력하는 걸 볼 수 있었다. 그리고 그걸 위해 특화하는 작업을 했다. 그래서 지금 Dwarkesh의 질문은 그거예요. 물론 사람도 1만 단위에서 협업을 하긴 하지만, 모델들은 혹시 더 잘하는 거 아니냐는 질문을 합니다. 그런데 Noam Brown이 꼭 그런 건 아니긴 한데, 그 정도로 현재 협업할 수 있는 데까지 혁신을 이룬 건 그냥 된 게 아니다. 그런데 이게 뭘 어떻게 했는지는 정확하게 모르겠지만, 기시감이 드는 건 o1 때도 Noam Brown 등이 있었잖아요. 그때도 결국에는 막 어려운 것 같아 보였지만, 결국에는 test-time
박종현 달성, 달성한 breakthrough를 찾아낸 거긴 했죠. Noam Brown이 o1 때 많이 나와서 이야기했던 것 같고, 그다음에 아마 IMO 그때도 한 번 나왔던 것 같고, 그동안 한동안 나와서 이야기하지 않다가 갑자기 또 나와서 이야기하는 걸 보니까 무언가 breakthrough가 있고, 그걸 OpenAI 입장에서 좀 자랑하고 싶어 하는 것 같다는 인상을 받습니다.
최승준 그 얘기를 딱 했어요. GPT-4, o1, 그리고 지금, 그렇게 짚어줬거든요. 그래서 멀티 에이전트 scaling 축은 아주 linear하게 scaling되지는 않는대요. 준linear라는 표현을 했거든요. 그래서 멀티 에이전트 scaling 축이 있다, 그런 이야기를 좀 하긴 했습니다. 그리고서는 왜 RSI가 위험하냐, 이게 정렬 얘기도 한참 했거든요. 그래서 정말 Astra는 자기 관점에서는 정렬이 잘되어 있는 모델이래요. 그래서 OpenAI Hugging Face 해킹 사건을 일으켰던 모델들은 결국에는 내보내지 않은 모델이라고 얘기합니다. 모델에 여러 lineage가 아마 있을 테니까, Astra는 굉장히 정렬이 잘돼 있어. 그런데 그 정렬이 잘돼 있는 모델이 만약에 99.97~98% 정도 정렬이 잘돼 있는데, RSI를 해서, 거기에는 사실 그 모델을 출시한 다음에 굉장히 많은 테스트를 내부에서도 거치지만, 필드에서 인류와 함께하는 환경 자체에서도 겪잖아요. 그래서 다양한 신호들을 얻어내는데, 그게 충분히 확보되지 않은 상태에서 RSI 가속으로 출시 루틴이 더 당겨지면, 만약에 99.98%였는데 여러 가지 알려지지 않은 이유로 다음번 세대는 99.97%가 됐다. 그러면 이게 계속 쌓일 거라는 거죠. 그렇기 때문에 어느 정도 간격을 두는 것에 대한 이야기 같은 것들을 RSI의 스위치를 켜는 것에 대해서는 하긴 하는데, 다들 고민이 많은 건 맞는 것 같다. 그래서 특히나 지금 CoT faithfulness나 아니면 monitorability, 이런 것에서 결국 모니터링하는 걸 들여다보다가 거기에 대해 피드백을 잘못 주면 모델이 그 생각 자체를 숨기는 현상들이 생기기 때문에, 그건 절대로 안 하려고 했음에도 불구하고 우리가 지금 이 모델들에 대해 얘기하고 있는 모든 게 다음 pre-training run 또는 이미 현재 들어가서 모델들이 알고 있고, 더 잘 알게 된다는 거죠. 그랬을 때는 기존의 CoT monitoring은 계속 약화될 수밖에 없다. 그래서 걱정이라는 게 이 분야 연구자들이 한목소리로 하는 얘기인 것 같긴 합니다. 그래서 둘 중 하나를 본다고 하면, 개괄적인 걸 보고 알고 싶다는 분들은 이거 The Information 세션, 그리고 좀 깊은 것, 골이 띵하게 되는 이야기들, 무서운 얘기들은 여기 사실 무서운 얘기들이 좀 있습니다.
정렬 확률이 조금씩 깎여 나가는 RSI의 위험 49:39
박종현 항상 Noam Brown이 나와서 이야기하는 걸 들어보면 다 항상 재미있었던 것 같아요, 이때까지.
최승준 재미있어요. 얘기를 잘하기도 하고, 잘 회피하기도 하고, 막 드리블하면서 행간에 무서운 얘기들 같은 게 있어요. 그래서 결국 Noam Brown이 그 얘기도 했어요. 자기가 지금은 아직 그래도 이 분야에서 코딩을 잘하는데, 2년 뒤, 그러니까 다음, 다음, 다음 정도 모델에서는 잘 모르겠다, 자기보다도 잘할 수 있다. 그래서 그걸 마음으로 준비하고 있다는 뉘앙스 같은 것들이 이 안에 들어 있긴 합니다.
박종현 정말 잘하나 봅니다.
최승준 정말 잘하나 보네요. 그런데 어쨌든 그게 당연시될 거라는 뉘앙스들이 있고요. 그래서 이건 벌써 여기에도 흥미로운 반론들이 있거든요. 여러 가설 공간을 탐색하는 게 있어서 재미있긴 해요. 그런데 여기 보면, 전에 이게 재미있긴 했어요. David Sacks가 이거 Dario Amodei의 ‘We Must Pace the Frontier’, Sam Altman도 댓글에 동의한다고 오래간만에 힘을 합쳐줬던 그 편의 대목을 인용하면서 이 트윗을 했거든요. David Sacks가 이렇게 강하게 얘기하고서는, 재미있었던 건 저는 이 부분이에요. 규제 포획과 관련이 있다고들 하더라고요. 왜냐하면 이걸 규제해야 한다고 하지만, 후발 주자에게는 불리하고 선발 주자에게는 유리하게 세팅하는 쪽으로 규제 작업을 한다는 식으로 비치는 거죠. 그리고 또 하나는 담합, collusion이라고 하나요. 하여튼 빅테크들이 담합하는 모양새가 뭔가를 논의한다는 것 자체가 반독점법 등에 문제가 있어서 그런 것들이 논의되고 있는데, 그런 것 외에도 여기서 재미있는 건 여기 METR이 Anthropic의 투자자 및 직원들과 얽혀 있는데도 독립적인 척하는 것도 그만두어라. 그래서 Daniel Kokotajlo 등이 비판하는 게 지금 Sam Altman도 그렇고 Dario Amodei도 그렇고, 기껏해야 얘기하는 게 제3기관이 embedded audit을 하게 열어놓겠다. 그리고 훨씬 더 많은 권한을, 들여다볼 수 있는 권한을 주겠다는 건데, 외부의 시각에서 볼 때는 그 나물에 그 밥이다. METR이 만들어진 게 사실 재미있거든요. METR의 전신이 ARC Evals입니다. ARC Evals이라고, ARC라는 조직이 정렬과 관련된 문제를 푸는 조직으로 생겼어요. 그런데 그걸 만든 사람이 OpenAI의 초기 멤버인 Paul Christiano, RLHF를 했었던 그 인물이에요. 그분이 LTBT인가, 하여튼 Anthropic에서도 특별 대우를 받는 board member 정도는 아니고, 하여튼 특별 대우를 받는 뭔가였다가 거기에서 이해 충돌 때문에 그걸 그만두고 미국 AISI, 그러니까 정렬과 관련된 걸 하는 정부 조직의 고문인가 그런 걸 합니다. 지금은 아마 CAISI 정도로 이름이 바뀌었을 텐데, 여전히 그 직을 유지한 상태에서 최근에 OpenAI board가 됐거든요. board member가. 그래서 그걸 발표한 게 한 1, 2주 전에 있었어요. 그래서 다시 OpenAI 멤버가 됐는데, 거기에서 Paul Christiano가 만들었던 ARC에서 ARC Evals가 나오고, ARC Evals가 METR이 된 거예요. 그런데 그 METR에 있었던 유명한 조사관이 있습니다. 최근 Hugging Face OpenAI 사건과 관련해서 Dwarkesh 팟캐스트에 출연했던 여성분인데, Ajeya라고 한국어에 쓰이고, ‘The Scaling Era’ 책에도 등장하거든요. Ajeya Cotra라는 이름을 가진 분이에요. 그런데 이분이 Paul Christiano의 아내입니다. 이 계통, AI 안전 계통을 아는 분들은 주목하고 있는 부분이긴 해요. 왜냐하면 특정 부류의 사람들이거든요. 그래서 Ajeya Cotra가 METR 전에는 어디에 소속돼 있었냐 하면 Open Philanthropy라는 데 소속돼 있었어요. 그리고 그게 지금 Coefficient Giving이라는 걸로
규제 포획을 겨냥한 David Sacks의 비판 52:39
METR과 Open Philanthropy로 이어지는 AI 안전의 인맥 54:17
박종현 일단 너무 많은 기관과 사람들이 나왔는데, 제가 이해한 대로 한마디로 요약하면 다 서로 어떤 식으로든 관계가 있는 사람들끼리 모여서 감사해 주겠다는 이야기죠.
최승준 그렇죠. 논의들은 좀 다를 수 있긴 해요. 그걸 더 파고들어 가면 Holden Karnofsky라는 사람이 있거든요. 이게 3년 전에 이분이 GiveWell이라는 걸 만들고, Open Philanthropy를 만들고, 지금은 Coefficient Giving이라는 걸로 바뀌었는데, 이분이 Open Philanthropy 때 AI 안전 쪽에 굉장히 많이 펀드 투자를 했습니다. 그러니까 그 기금을 형성하는 작업을 했고, AI 안전 연구나 이런 것에 많은 관심을 가지고 있었죠. 그래서 현재 이분은 Open Philanthropy에서 나와서 뭘 하냐 하면 Anthropic의 technical staff거든요. 이분이 Daniela Amodei의 남편입니다. Dario Amodei의 동생이 있잖아요. Anthropic의 president인. 그런데 그분과의 관계가 있는데, 사실 Paul Christiano와 Holden Karnofsky는 여기에 Holden은 안 들어 있지만, 굉장히 오랫동안 알아왔던 지인이고 그들의 역사는 한 2012년부터 시작되거든요. 그래서 여기가 ‘AI Safety via Debate’라고 해서, Dario Amodei, Paul Christiano, 그다음 Geoffrey Irving은 현재 Google DeepMind에서 정렬을 하다가 영국 AISI 쪽에서 chief scientist를 하다가, 또 아주 최근에는 Resolution이라는 걸 기업인지 비영리 기관일 수도 있는데, 발족하신 분이에요. 어쨌든 그쪽 계열의 중요한 인물 중 하나입니다. 그런데 이미 이때 논문 자체는, 논문 자체를 잠깐 보면 모델 자체는 아주 간단한 모델을 가지고 해요. 그런데 논의 자체는 요즘의 정렬 문제에 대한 논의를 하는 게 있거든요. 그래서 그런 것들을 예전부터 해왔어요. 그런데 Holden Karnofsky의 ‘The Most Important Century’, Holden 정도로 아마 검색하면 나올 거예요. 이거에 보면 그 유명한 그림이 있는데, 인구가 줄어드니까 ‘Pasta Machine’이라는 인공지능을 만들어서 문제를 해결하자는 그런 얘기를 한 게 있어요. 그런데 이 글을 쓰는 데 도움을 주었던 인물들을 뒤에서 acknowledge하거든요. 그 안에 정렬 문제라든가 AI의 이슈 같은 것들을 미리 논의한 많은 사람의 이름이 있는데, Paul Christiano도 그때 있습니다. 이거에 근간을 둔 어떤 아이디어가 효율적 이타주의라는 것과 관련이 있어요. 그래서 AI 안전과 효율적 이타주의, 그런 것들은 지금 긴밀한 관계를 오래 유지해 왔고, 그래서 아까 David Sacks가 METR 같은 걸 얘기했을 때 행간에도, 사람들이 그런 것들을 알고 있기 때문에 특히 Anthropic이 EA, 그러니까 효율적 이타주의와 연결이 많이 되어 있거든요. 그래서 그런 것들을 조금 비꼬는 부분이 있다. 그런데 사실 굉장히 생소한 이름들이 많이 나오고, 여기로 더 깊이 파고들어 가면 한참 또 해야 할 이야기들이 있어서 일단 이 정도에서 선을 긋고요. 이게 우리나라에서는 별로 그렇게 크게 화두가 되고 있지는 않거든요.
한 줌의 인물들이 안전을 결정한다는 우려 59:27
박종현 안전과 관련된 논의가 지금 대두되고 있는 것 같고요.
최승준 그래서 제가 그래도 짚고 싶은 건, 비판이 뭐냐 하면 이런 너무도 중요한 안전에 대해 이야기하는 사람들이, 가속을 지지하는 사람들, 여러 이유로 아까 All-In 등에서 얘기하는 사람들, 또 테크 쪽에서 가속을 얘기하는 사람들, 그런데 그걸 제어해야 한다고 얘기하는 사람들이 사실 멀지 않다. 한 줌의 인물들이다. 그래서 그 안에서 너무 중요한 일들을 결정하려고 한다는 게 우려 사항이라는 거죠. 그래서 그 정도를 짚고, 그다음에 실제로 아까 종현님도 말씀하셨지만 잠정 결론이에요. 결론이에요. pacing은 일어나지 않을 것 같다.
멈추지 않는 가속과 과학 연구 자동화 1:00:16
박종현 거의 99% 확신하고 있긴 합니다.
최승준 아니다. 절대 pacing할 수 없다. 그래서 지금 timeline에 보이는 신호 자체가 그렇긴 해요. 그래서 이건 Periodic Labs에서 우리 과학도 잘하고 있다고 해서 Menlo Park 쪽에 실험실을 만들어서 loop를 닫으려고 노력하고 있다는 걸 아직 실제 성과를 보여주지는 않았지만, 그걸 하기 위한 인프라를 어떻게 만들었는지 그런 것들을 공개한 게 있습니다. 그리고 Anthropic에서도 life science를 하고 있다, 그런 얘기들이 The Information에서도 나오고, 공식적인 발표들도 있었어요. 이건 저는 안 써봤는데, Claude Science beta라는 게 있더라고요. 하여튼 뭐든 다 한다는 거죠. 중요한 것들. 그리고 Sam Altman이 아까도 언급드렸지만, 원래 9월 15일에 ‘Big ships this week’ 했다가, ‘ship, ship, ship’ 할 거라고 했다가 다음 주로 미뤘다.
박종현 Opus 5.2도 나오고, GPT-6 Sol도 아마 다음 주에 나올 것 같고, 그러고 있네요.
지금의 스케일링과 RSI 버튼의 차이 1:01:20
최승준 Gemini 4도 있고, Gemini 4 소문도 있잖아요. 그런데 지금 이걸 조금 분리해서 생각해야 하는 게, 제 감에는 지금 나오는 출시는 기정사실인 어떤 리듬인 거지 지금 이분들이 말하고 있는 페이싱은 이게 아닐 수도 있겠다는 생각이에요. 지금의 리듬이. RSI는 그렇죠. RSI는 버튼인 것 같은 느낌이거든요. 이걸 누르면 굉장히 통제하기 어려운 뭔가, 그게 아래 괄호 치고 SI라고 표현하기도 하는데, 그걸 아마 Richard Sutton이 얘기했어요. SI와 RSI를 조금 구분하는. 그래서 self-improvement는 이미 일어나고 있고, 그런데 재귀적인 걸 하는 건 지금 버튼을 누를까 말까의 고민인데, DeepMind가 또 이걸 발표했죠. DeepMind Institute. 그래서 Shane Legg, James Manyika, 그다음에 Demis Hassabis가 리더십을 맡아 Institute를 공개했고, 거기에서 나온 에세이들은 경제에 관련된 것, 이런 것들을 연구하고 있는 것 같습니다. 사회학, 경제학 같은 분야에서 그런 에세이들을 다루고 있어서 RSI에 대한 얘기도 Shane Legg가 많이 했거든요. 그래서 거기서도 추진하고, 그게 사회에 어떤 영향을 줄 것이냐, 그런 것들을 제대로 다뤄보려는 의지 같은 것들이 느껴지는데, GPT-4가 나온 해에 Altman이 YC Research라는 곳에서 뭘 하게 했느냐 하면 기본소득을 연구하게 했었거든요. 그래서 그 정도 수준에서 일어나는 어떤 작업들일지, 그건 현재 마무리가 됐는데, 어떤 새로운 돌파구가 다뤄질지는 저도 살펴봐야 할 것 같습니다. 그래서 이런 게 있었고, 어쨌든 페이싱을 한다고는 하지만 지금 정도의 리듬 또는 여기서 조금 가속된 건 절대 멈춰질 것 같지 않다.
박종현 어쨌든 승준님 생각에는 이 스케일링과 지금 하는 방식으로 계속 앞으로 나아가는 건 멈추지 않고 그냥 계속 나올 것 같고, 그거 말고 그 외에 무언가 새로운 방식의, 어떤 진짜로 버튼을 누르는 순간 멈추기 힘들 것 같은 그런 발전은 우리가 멈춰야 하지 않을까라는 논의를 하고 있는 것 같다, 이렇게 이해했습니다.
Yoshua Bengio의 RSI 금지론과 커널 엔지니어의 소고 1:03:42
최승준 맞아요, 맞아요. 그리고 그걸 며칠 전에 Yoshua Bengio가 RSI는 불법으로 해야 한다, 그런 얘기를 했었거든요. 그런데 중국을 보면 중국 쪽에서 또 재미있는 얘기가, 저도 이건 그냥 Twitter에서 본 건데, DeepSeek에 있었던 연구자가 「커널 엔지니어의 소고」라고 해서 자기가 이 방향으로 가는 것에 대한 운명을 어떻게 담담하게 받아들이는가에 대한 글을 쓴 게 있어서, 이제는 더 이상 내가 kernel 전문가인데도 그 전문 분야에 뭔가 기여하지 못하고, 그걸 하게 하는 AI라는 메카를 조종하는 조종사가 되는 것 같다, 그런 얘기들을 쓴 게 있어요. 그래서 그럼에도 불구하고 인간이 할 일이 있다.
박종현 아마 저 글이 회자된 이유는, 저도 봤거든요. 수많은 사람이 리포스트를 자기 생각과 함께 남겼기 때문에 다들 공감하고 있는 지점이라서 그런 것 같아요. 내가 하던 일의 많은 부분을 얘한테 위임하고 있고, 저만 해도 그러고 있고. 저 생각에 다 똑같이 공감하고 있지 않나.
Xiaomi MiMo의 공개 RL run과 폭증하는 token 소비 1:04:43
최승준 그리고 제가 타임라인에서 재미있게 본 건 Xiaomi의 이분이 아마 DeepSeek에서 젊은 천재로 불리다가 Xiaomi에 가서 MiMo를 개발하고 있는 Fuli Luo라는 분인 것 같은데, 그분이 며칠 전에 포스팅한 걸 보고서는 이거 대단하다는 생각이 들었어요. 이게 뭐냐 하면 현재 MiMo의, 여기 보면 뭐죠? v2.6의 RL run을 돌리고 있는 걸 라이브 중계하고 있어요. 그래서 test-time scaling이 어떻게 일어나고 있는가, 거기에 돈을 얼마나 쓰고 있고 어떤 궤적을 남기고 있고, 벤치마크에서 어떻게 성능 지표가 올라가고 있는가, 이걸 적나라하게 보여주더라고요. 그게 여전히 작동하고, 앞으로도 작동할 거라는 걸 보여주는 거죠.
박종현 지금까지의 비용이 눈에 띄네요. 3일 됐는데 지금 180만 달러어치의 token을 쓰고 있다는 거죠. 맞나요?
최승준 그렇죠. 그런데 비슷한 얘기를 Noam도 했어요. 자기네 OpenAI 안에서 token 사용량이 어떻게 늘어갔는가. 그래서 지금은, 올해 현재쯤에는 1% 정도의 직원, 기술직 직원이겠죠, 하루에 한 8천 달러 정도를 쓰는 것 같다고 했거든요.
박종현 token 비용으로요? 하루에요?
최승준 token 비용으로요. 8천 달러면 얼마예요? 천 달러가 100만 원이니까 천만 원. 1%는 1%대로 그 정도를 태우고 있다는 거고.
AI 의존이 일상이 된 지식 노동 1:06:14
박종현 그런데 저도 최근에 이런 걸 느꼈거든요. 제가 지금 개인적으로 구독을 세 개 하고 있는데, OpenAI, 그다음에 Anthropic, 그리고 Grok, 이렇게 200달러, 200달러, 300달러 구독을 하고 있거든요. 그런데 그저께인가 제가 다 써서, 진짜 오랜만에 그렇게 돈을 내고 있는데도 다 써버려서 제가 강제로 쉬어야 하는 타이밍을 겪었어요. token을 계속 결제하다 보니까 점점 더 많이 쓰게 되더라고요. 저절로. 그래서 정말 이렇게 되는구나. 결국 모든 사람이 아마도 다 그 길로 가겠죠. 특히 사무직들은 AI를 쓰다 보면 점점, 그냥 시간의 차이일 뿐, 아마도 다들 계속 많이 쓰게 될 텐데, 어떻게 보면 무기력감을 느끼면서 제가 좀 무섭다는 생각이 들기도 했습니다. 이게 정말 AI가 없으면 일을 못 하는 상황이 되어버렸구나, 이런 생각이 들었습니다.
수학계가 맞은 AlphaGo 모먼트 1:07:11
최승준 모든 사람은 아닐 거라고 생각합니다. 아직 많이 안 쓰고 있는 경우도 분명히 있거든요. 그런데 그런 것에 직격으로 맞은 군이 있죠. 수학. token을 쓰는 문제가 아니라 그 영향의 문제로 AlphaGo 모먼트를 맞은 분야가 수학인데, 그래서 수학계가 화가 나 있거든요. 지금 Hodge 추측이랑 다른 것 하나 해서 밀레니엄 문제 두 개가 거의 해결됐다는 소문이 있는데, 수학계가 화가 나 있어서 발표를 안 하고 있다는 소문이 있고, The Information에서도 최근에 Hodge 추측 관련된 기사를 냈어요. Hodge 추측이 뭔지 저도 제대로 이해하지 못해요. 그런데 어쨌든 그걸 해결하고, 8월 말에 Terence Tao가 자기가 책을 준비하면서 여섯 가지 핵심 개념, 수학의 핵심 개념을 굉장히 좋은 내용으로 풀어냈었어요. 그런데 그러고 나서 9월 초의 상황이, 저희 채널에 한 번 소개했듯이 소문을 듣고서는 만약 밀레니엄 문제가 해결된다고 하면 이런 Ansatz를 통해 가설 공간을 한 번에 대량으로 탐색하는 형식이 될 거라고 Tao가 예견했었는데, 그 방식으로 일이 일어난 다음에 Fields Medal 수상자들이 11일에 「수학에서의 오정렬」이라고 해서 다들 수학이 오정렬되어 있다, 이게 도대체 우리 수학 생태계나 인류의 이해에 무슨 도움을 주느냐, 그런 논의를 끌어올린 다음에. 그런데 6월에는 Leiden 선언이라는 게 있긴 있었어요. 먼저 Leiden 선언은 어떻게 하면 이걸 건강하게 이끌어갈지 그런 것들을 얘기한 거거든요. 그런데 이후에 재미있는 게 Tao가 다른 시도를 하는 게, 이게 굉장히 재미있었고, 뭐냐 하면 수학계 및 철학계 인물들을 게스트로 초청해서 다양한 방식으로 지금 일어난 일들을 자신의 이해나 생각 같은 것으로 풀이하는, 하여튼 9월 10일쯤부터 계속 그런 후속 논의들을 모아서 공론장을 형성하는 작업을 합니다. 그래서 수학 커뮤니티가 이 사건 이후로 어디로 가야 하는가에 대한 의견을 형성하는 작업들을 하는 걸 보고 있는데, 여기서의 논리는 그거예요. 우리가 먼저 맞았지만 너희도 맞을 거야, 그거거든요. 그래서 여기 공론장에서 어떤 논의들이 되고 있는지, 이게 지금 지식 사회에 어떠한 영향을 주고, 이미 줬으며 어느 방향으로 가야 하는지에 대해 들여다보는 데 굉장히 좋은 자료인 것 같습니다. 저도 계속 보고 있고요. 빠르게 마무리 쪽으로 가면 보안 문제도 있습니다. OpenAI를 외부 white hacker들이 뚫어서 문제가 되어 있는데, 그렇게 보안이 취약한 곳이 그렇게 중요한 weight들을 가지고 있어도 돼? 그런 얘기들도 있었고요. 그다음에 요새 자주 등장하는 또 다른 감사 기관인 Irregular의 보안 쪽 model card를 보면 Irregular가 자주 등장하거든요. Anthropic에서도 등장하고 OpenAI 쪽에서도 등장하고. 그런데 Irregular가 저번에도 한 번 말씀드렸듯이 이스라엘 정보부대 출신의 창업자, 그러니까 수학도 잘하고 굉장히 재능 있는 사람들이 만든 곳인데, 알고 봤더니 이들이 또 이스라엘의 EA 펀드, 효율적 이타주의 펀드의 지원을 받아서 만들어졌다. 그래서 이걸 곧이곧대로 볼 필요는 없고 가십성으로 보는데, 그 계통의 사람들이 계속 문제를 제기하고 있는 것, 그 나물에 그 밥. 그다음에 타임라인에서 이번 주에 정말 바이럴됐던 게 Jev죠. 초파리가 좀 더 먼저 나오긴 했었는데, Jev가 Jevons paradox에서 이름을 따왔더라고요. Jevons paradox가 그거잖아요. 공급이 굉장히 싸져도 늘 수요는 더 커질 것이다. 그래서 Jevons의 역설이라고 해서 Satya Nadella가 한 번 얘기해서 유명해졌었는데, AI가 아무리 싸져도 항상 수요는 그 이상으로 늘어날 것이라는 뉘앙스로 한동안 많이 인용됐던 건데, Satya Nadella가 한 얘기는 아니고 인용한 Jevons paradox. 그런데 거기에서 따와서 어마어마하게 싸고 빠르게 뭔가를 해내는 건데, 이에 대한 여러 갑론을박이 있죠. 혹시 살펴보셨나요?
프론티어 랩의 보안 취약성과 Irregular 논란 1:09:47
초고속 병렬 판단 모델 Jev 1:10:48
박종현 타임라인에 도배되어 있어서 사람들이 Jev를 써서 이런 걸 했다, 저런 걸 했다 하는 것들을 쭉 보긴 했습니다.
최승준 그런데 보면 별의별 걸 다 하죠. 이게 사실, 저도 대강만 이야기하고 있는데, 그런 느낌이에요. LLM인지 아닌지는 모르지만, LLM을 바탕으로 하는 건지는 모르지만 어쨌든 어떤 AI가 있고, 걔가 뭔가 prior를 가지고 있는데 확률을 뱉는 거죠. 그런데 동시에 뱉거든요. 255개까지 동시에 뱉을 수 있어요. 그래서 입력을 주면 이게 yes야, no야, 아니면 지금 이게 문제야, 아니야, 그런 식의 분류기 같은 거죠. 분류기 같은 걸 병렬적으로 한 번에 하는데, 그게 여러 가지 문제를 풀 수 있다 보니까 Minecraft를 플레이하게 한다거나, Minecraft만이 아니라 여러 컴퓨터 게임, computer-use agent, 그런 것들을 real-time으로 하는 실험들이 굉장히 많이 공유됐는데, 그것만이 아니라 굉장히 많은 것들을 하더라고요. 그런데 사람들은 그걸 재현하는 작업으로 Qwen이나 이런 작은 모델들의 logit만 활용해서 병렬까지는 아니더라도 decode 한 번만 하면 되니까 yes, no를 내는 식으로 비슷하게 쓰는 사례들도 많이 발굴되고 있는 것 같아요. 그런데 제가 또 최근에 보기 시작한 이 Needle이라는 건 Raspberry Pi에 들어갈 수 있을 정도의 모델인데, 그런 계열의 작업. 여기서 그런 계열이라고 하면 결국 이것들이 다루고 있는 건 System 1인 것 같아요. 그래서 CoT가 나왔을 때 System 1, 2 얘기를 많이 했었잖아요. Daniel Kahneman이 쓴 『Thinking, Fast and Slow』. 어떤 지능이 작동할 때 바로 직관적으로 얘기하는 것과 충분히 추론해서 얘기하는 두 가지 모드가 있다. System 1이 빠른 것, System 2가 느린 건데, CoT가 System 2 계열이라고 하면 다시 System 1 쪽으로 돌아와서 굉장히 빠르게 반응하는 작업들이 지금 공유되고 있는데.
작은 모델로 돌아온 System 1 지능 1:12:46
박종현 로봇 쪽에서도 이런 식의 접근으로 큰 모델과 작은 모델을, 특히 Gemini Robotics 같은 경우도 그런 식으로 돌아가고 있고요. 인간 자체가 그런 식으로 돌아가고 있는 것 같고요. 저희가 반사적으로 하는 게 있고, 생각하면서 하는 게 있고, 이런 것들이 있다 보니까 굉장히 자연스러운 흐름인 것 같긴 합니다.
구현 비용 하락이 만든 파생 실험의 폭발 1:13:53
최승준 그렇죠. 그런데 제가 궁금했던 건 그거였어요. 그래서 모델로 조사해서 Jev로도 하고, 초파리 connectome으로도 하는데, 비슷한 소재를 다루는 실험들이 뭐가 있냐, 그걸 모델이 탐색하게 했습니다. 그런데 제 사전 확률은 그거였어요. 타임라인을 보니까 뭔가 다르지만 비슷해 보인다는 게 있었던 거죠. 그런데 실제로 그걸 해보니까 Doom, Mario, Pong 같은 게임을 하게 하는 것, 다 비슷하게 하고, 주식·코인과 관련해서 trading하게 하는 것도 비슷하게 하고, OCR 분류, 여러 가지 분류 문제, 그런 것들을 다 비슷하게 하는 걸 볼 수 있었다는 것. 그래서 제 궁금증은 뭐였냐 하면, 왜 이런 식의 실험이 폭발하냐는 거죠. 그런데 귀결은 너무 당연하죠.
박종현 누구나 다 해볼 수 있으니까요.
최승준 AI 때문에 구현 비용이 너무 싸서 초파리 커넥텀이 거대한 실험실에서만 할 게 아니라 거기서 물론 실험해서 공개해 준 거긴 하지만, 뭔가 아티팩트가 나오면 그걸 가지고 파생 실험을 하는 건 지금 너무 싸요. 그렇기 때문에 모델을 출시하는 게 중요해요. 출시하면 굉장히 많은 신호를 얻을 수 있다는 거죠.
모델 공개가 만드는 실험의 플라이휠 1:14:59
박종현 그냥 모델을 세상에 내놓고 바이럴이 되면 많은 사람이 다 가져가서 써보고, 이렇게 써보고 저렇게 써보고, 이건 이런 데서 이렇게 좋구나 하는 것들을 알아가는 거죠. 그러게요. 예전에는 이런 실험을 어떤 소수의 전문가들만 할 수 있었다면, 한 번의 실험이 굉장히 비쌌겠죠. 왜냐하면 integration도 다 해야 되고, 뭔가 붙여보고, 이런 걸 이제 누구나 다 할 수 있다 보니까 그러네요.
최승준 flywheel이 돌아가는 거예요. 지금 이미 Noam도 그런 얘기를 하고, 다른 많은 사람도 그런 얘기를 했듯이 지금 pacing을 조절하더라도 이 계열의 발전은 계속될 거예요. 지금 이 모델 상태에서 동결하더라도 이미 어떤 궤도에는 올라가 있는 상태예요.
빨라진 탐색 주기와 정보 과부하 1:15:54
박종현 네, 탐색 공간을 넓힌다고 표현해 주셨는데, 저 개인으로서도 초파리 이야기, Jev 이야기, 이런 것들을 쭉 보면서 과거에도 그런 생각을 했었습니다. 어쨌든 개인의 규모로 보면 한 사람이 저 모든 걸 다 탐색해 볼 수는 없잖아요. 그러다 보니까 저 중에서 내가 탐색하고 싶은 게 무엇인지, 저 중에 미래의 가능성이 진짜 높은 게 무엇인지, 이런 것들을 잘 알아보고 그걸 위주로 탐색해 볼 수밖에 없는데요. LLM만 하더라도 마찬가지인 게, 모델들이 막 나오는데 그걸 저희가 다 테스트해 볼 수는 없으니까요. 그게 업이 아닌 이상, 그러면 신뢰도가 높은 사람이나 해본 사람의 말을 한번 참고한다거나, 아니면 사람들의 대세라고 해야 하나요? 다들 저런 게 괜찮다고 얘기하더라. 그러면 그제야 나도 한번 해볼까, 이렇게 판단하게 되거든요. 왜냐하면 어떤 것들은 사람들이 다 써보고 나서 이것만 되고 저건 안 되고 별로네 하며 접기도 하게 되거든요. 그런데 지금 그 주기가 정말 엄청나게 짧고 빨라진 것 같아요. 그냥 이틀 지나면 다른 걸 사람들이 다 해보고 있고, 이러다 보니 그냥 보는 것만으로도 정보량이 너무 많이 들어오게 되고, 어떻게 보면 축복이라고 해야 할까요? 그냥 보기만 해도 그렇죠. 아까 처음에 얘기한 그거네요. psychosis.
최승준 뇌가 타는 듯한 느낌이 들 때도 있어서요.
박종현 어쨌든 남들이 하는 것들을 보고, 좀 오래 지속되고 다들 좋다고 긍정적인 호평을 많이 하는 것들이 있다면 저도 많이 해보고 싶다는 생각이 들죠. 그런 건 예전에는 텀이 엄청 길었는데, 이제 금방금방 따라갈 수 있으니까요.
인간의 집단 탐색과 multi-agent의 닮은 구조 1:17:36
최승준 그런데 이게 완벽하게 요즘 multi-agent에서 일어나고 있는 것과 동형이거든요. 사람도 그렇게 하는데, 지금 사람이 이런 식으로 탐색하는 것도 나름의 인생을 겪어온 prior를 가지고 자기의 선입견이나 호기심을 가지고 가설 공간을 탐색하잖아요. 실험하고, 그걸 소셜 미디어 등에서 소통할 수 있는 기반 위에 공유하니까 거기에서 정보를 얻고 파생 작업이 계속 폭발하잖아요. 그런데 그게 OpenAI에서 1만 agent를 써서 cross-pollination을 하는 것도 나는 이런 가설, 나는 저런 가설을 세웠는데, 나는 실패했지만 저기서는 저게 됐네. 나도 응용해 보고. 그런 식으로 정보를 분산하는 걸 이번에 아까 Noam이 얘기했듯이, 소통하게 하고 협업하게 하는 것 자체를 학습하는 게 굉장히 비슷하게 일어난단 말이에요. 그리고 지금 인간이 그 궤적을 인터넷에 남기는 것들을 모델들이 또 배울 수밖에 없어요. 그러니까 이게 계속 차곡차곡 올라가는 그런 느낌을 받아요. 그래서 한편으로는 무섭지만, RSI가 안 와도 이미 무서운 궤도에 올라간 건 분명한 것 같아요. RSI 버튼을 굳이 누르지 않더라도요. 하지만 그게 눌렸을 때 이 사람들이 멈춰야 한다고 말하는 게, 이걸 가장 극단에서 체감하고 있는 사람들이 정말 헛소리를 하는 걸까요? 어떤 면에서는 마케팅일 수도 있고, 굉장히 doomer 스타일로 공포를 조장하는 것 같기도 한데, 일말의 진짜 문제는 있을 수도 있겠다. 그게 요즘 제 인식이긴 해요. 그래서 저도 그걸 좀 정신 차리고 보려고 하고 있고요. 저도 나름 Astra와 실험해 본 게 이겁니다. 그래서 제가 해봤죠. 저는 Powder 같은 데서 이런 식의 실험을 막 만드는 걸 재미있어하고 그랬거든요. 용암 같은 걸 놓기도 하고, 물을 뿌리면 수증기가 돼서 다시 비가 내리게 하는 이런 환경만 만들다가 초파리 실험 같은 걸 보고 agent를 넣어봤어요. 그래서 여기에서 이렇게 하면, 여기 약간 누런색으로 보이는 게 곡물인데, 갈색은 나무거든요. 나무 블록을 놓아서 이들이 3층짜리 layer 안에서 계획을 세우고, 그걸 먹으러 가는 것을 simulation해 봤는데, 완전히 딸깍은 아니지만 굉장히 금방 됐어요.
Astra와 함께 만든 3층 layer agent 실험 1:19:13
박종현 agent들이 경쟁하는 건가요?
최승준 경쟁이나 협업을 하지는 않아요. 그런데 의도치 않은 경쟁이나 협업을 하긴 해요. 그게 들어 있지는 않은데, 의도치 않은 협업을 할 때가 있거든요. 약간 개미 사회같이요.
박종현 그냥 같은 길에 저 계단을 쌓고 있으면 남이 쌓아둔 걸 타고 올라갈 수도 있으니까요.
최승준 때로는 방해도 물론 하긴 합니다만, 그래서 이걸 하는 걸 봤는데, 재미있는 건 이 공간 자체를 인식하게 하는 감각을 주면 훨씬 더 헤매고, harness를 주고서는 아까 Jev나 이런 것처럼 어떤 조작의 판정, 이런 것만 하게 하니까 아주 작은 layer에서도 그걸 하더라고요. 그래서 Astra가 제안한 게, 기존에 A* 알고리즘 같은 게 있으니까 3층짜리 layer가 A*의 궤적을 학습하게 하자는 거였어요. 그래서 먼저 모델들을 A*로 플레이하게 한 다음에 그 궤적을 학습시키는 방식으로 이걸 해내게 하는 걸 보고 좀 놀라긴 했습니다. 이게 원래 LLM으로 하려면 훨씬 더 오래 걸리거든요. 지금 공간에 블록 chunk가 있고, 그중에 뭐가 있어서 어디로 가야 하지? 그런 것들을 추론하게 되는데, 그렇게 해서는 agentic한 이런 걸 못 만들거든요. 그런데 초파리 커넥텀이나 Jev 같은 것에서는 지금 그게 너무 잘돼서 저도 한번 따라 해본 거예요. 이제 마무리해야 되는데요. 지금 이런 것들은 생산성이 있는 건 아니지만, 조합적인 놀이가 일어나고 있는 것 같아요. 그래서 두렵긴 하지만 또 매우 즐겁기도 하고, 요즘 굉장히 양가적인 감정이 들어요.
AI 시대의 조합적 놀이와 양가적 감정 1:21:23
박종현 네, 조합적 놀이라는 게 어쨌든 이러저러한 것들이 세상에 막 나오고 있는데, 그걸 조합해서 사람들이 이런 것도 해보고 저런 것도 해보고, 승준님도 방금 보여주신 걸 해보고, 그런 걸 놀이라고 표현하신 거죠.
최승준 그렇죠. 굉장히 유희적이에요. 초파리나 Jev를 가지고 하는 것들이 꼭 사업적인 아이디어를 가지고 나오는 경우도 물론 있지만, 놀이를 통해 어마어마하게 탐색을 넓힌다는 느낌을 받았어요. 그리고 이게 아직 AI에는 좀 부재한 건데, 우리가 그런 trace를 많이 남기면 남길수록 그걸 이어가는 것도 불가능하지는 않을까, 그런 기대이자 걱정을 하는 거죠.
박종현 저희는 이런 걸 놀이라고 생각하지만, 제가 저런 놀이를 하고 있으면 주변에서 모두가 이해해 주지는 않더라고요. 그게 놀이냐고요.
다음 주에 이미 예고되어 있는 것들 1:22:25
최승준 그런가요? 어쨌든 이런저런 얘기를 하다 보니까 또 시간이 훌쩍 지나갔는데요. 다음 주는 또 예고된 즐거움이라고 해야 할지, 걱정이 있겠네요.
박종현 다음 주요?
최승준 다음 주에 Sam Altman이 내겠다고 했으니까요.
박종현 그렇죠. 다음 주도 있고 다다음 주도 있고, 예고된 것들이 벌써 다 쌓여 있죠.
최승준 벌써 쌓여 있어요. Dev Day, 그리고 이런 Jev 같은 건 예고돼 있지 않은데 훅 들어오거든요. 이런 것들이 항상 있어요. 매주 그렇듯, 다음 주의 일들은 다음 주에 다루기로 하죠.