EP 109
지금은 인퍼런스의 시대: Sionic 토큰 팩토리와 모델 인퍼런스 이야기
사이오닉 AI 토큰 팩토리 데이터센터 투어 0:03
박종현 녹화를 하고 있는 오늘은 8월 10일 월요일입니다. 이번 주 에피소드는 고석현 대표님을 모시고 인퍼런스 서버에 대한 이야기를 했었는데요. 여기 사이오닉 AI의, 요즘 유행하는 말로 토큰 팩토리, NVIDIA GPU로 토큰을 생성하고 있는 시설을 구경하러 왔습니다. 한번 소개 부탁드립니다.
고석현 여기 전체 규모가 100억 원 정도로 되어 있고요. 여기서는 실제 산업 특화 모델의 토큰, 그리고 굉장히 빠르게 토큰을 서비스하는 특화 모델과 시스템들이 구성되어 있습니다.
박종현 그럼 바로 보러 가시죠.
B300 데이터센터와 공랭 냉각 구조 0:33
고석현 여기가 GPU 센터 내의 고온 공기가 모이는 hot aisle 존입니다. 그래서 이쪽에는 50도, 60도 이상의 공기가 모이게 되고요. 이게 다 최상층에 있는 냉각탑으로 이동하는 구조로 되어 있습니다. GPU가 있는 부분은 굉장히 뜨거운 걸 보실 수가 있어요. 메인 GPU는 B300이라는 NVIDIA의 최신 장비로 구성되어 있습니다. 그래서 이 장비 같은 경우는 약 100여 장 정도 규모로 되어 있고, 이 발열을 해소하는 게 굉장히 중요한데, 이 건물 구조상 뜨거운 공기만 모아서 냉각하는 hot aisle containment 방식으로 되어 있고, 비교적 작은 공간과 작은 설비에서도 안정적으로 GPU를 운영하고 있습니다.
박종현 아무래도 이게 공랭이라서 그런지 지금 엄청 시끄럽거든요.
고석현 맞습니다.
박종현 딱 보면 뭔가 냉매가 올라가는 듯한 그런 느낌이 이게 냉각기죠?
고석현 이게 냉각기이고, 이게 옥상에 있는 냉각탑이랑 연결되어 있어요. 고온의 뜨거운 공기만 최대한 뽑아내는 구조를…
박종현 B300이 들어 있는 노드
고석현 약 10억 원 정도로 알려졌죠.
박종현 10억 원 정도. 이렇게 쫙 있어서 하나 꾸미시고.. 이제 인퍼런스 서비스가 여기서 실제로 돌아가는 거죠. 냉각탑에 올라왔습니다. 한번 설명 부탁드립니다.
고석현 일단 이 네 개가 실제로 GPU 열기를 식히는 냉각탑 실외기고요. 이게 한 200kW 정도 규모가 되고, 공랭식으로 하는 방식과 수냉 스프레이 미스트를 같이 쓰고 있어요. 저희는 데이터 센터와 냉각탑의 거리가 가깝기 때문에 완전 직접 냉매 냉각을 하고 있고, 요즘은 이 형태로 많이 하고 있습니다.
박종현 바로 건물 밑에 있으니까요.
고석현 맞습니다.
박종현 확실히 그런 데서 이점이 있을 것 같아요.
고석현 보통 이 냉매가 15m 이상이면 조금 잘 안되는 구조예요. 그래서 이 냉각 시설과 GPU가 가까울수록 전체 효율이 또 올라가는 부분이 있습니다.
온프레미스 인퍼런스 시대의 개막과 고석현 대표 소개 2:08
노정석 녹화를 하고 있는 오늘은 2026년 8월 8일 토요일 아침입니다. 저희 예상보다 모델의 발표 주기가 정말 빠른 것 같아요. 오늘 아침만 하더라도 다음 세대 GPT가 Mythos급 모델이라는 이야기도 나왔고요. 또 Google 소식, 중국 쪽 소식, 굉장히 많은 소식이 있는데 모델 출시와 관련한 뉴스는 굉장히 큰 주제니까 오늘 에피소드 후반부에 저희 만담 모드로 한번 풀어드릴 테니까 끝까지 잘 봐주시길 부탁드리고요. 모델의 출시가 계속 이렇게 빨라지고 있는 이런 시점에 능력도 올라가고, 그다음에 오픈소스, 오픈 웨이트 모델들의 성능이 불과 몇 달 전의 frontier model급 이상이거든요. 그리고 최근에 저희가 거듭 말씀드리지만, 미국 정부가 이런 frontier model들의 수출을 규제하면서 회사나 개인이나 나만의 데이터, 나만의 어떤 workflow는 우리 회사 안에 잘 가둬야 되겠다는 그런 필요 때문에 온프레미스 인퍼런스에 대한 관심이 계속 높아지고 있거든요. 그래서 오늘 사이오닉의 고석현 대표님을 모셨습니다. 최근 Kimi나 GLM을 자체 데이터센터에서 돌리는 그런 것들을 많이 보여주고 계시는데, 관련된 이야기를 한번 들어보면서 배워보도록 하겠습니다. 고석현 대표님, 어서 오십시오.
고석현 안녕하세요. 좋은 자리에 초대해 주셔서 감사합니다. 우선 제가 영상을 하나 보여드릴게요. 저희가 촬영한 영상인데, 이건 DeepSeek V4 Flash 모델입니다. 한 280B 정도 되고, 예전 기준으로는 굉장히 큰 모델이죠. 그런데 이런 모델을 provider를 통해 serving했으면 초당 50 TPS 정도로 보통 예상했던 것 같아요. 그런데 이걸 조금 최신 하드웨어와, 그리고
DeepSeek V4 Flash 1,000 TPS 시연 3:37
노정석 왼쪽이 지금 인퍼런스가 진행되고 있는 거죠?
고석현 네, 인퍼런스 속도고요. 사람이 읽을 수 있는 속도가 초당 100에서 200토큰은 되지 않습니다. 그래서 200 TPS 이상의 모델을 쓰면 이상한 느낌이 들어요. 보통 사람들이 AI를 대화형으로 사용하고 있는데, 대화하는 게 아니고 정말 사람이 아닌 존재와 이야기하는 것처럼 그렇게 느껴지는 거죠. 그런데 이게 단순히 어떤 채팅으로 사용하는 게 아니라 문서를 만든다거나 사내 업무를 자동화한다거나, 여러 사용 사례가 있지 않겠습니까? 그런데 그럴 때 속도가 10배라는 게 엄청난 체감으로 다가오고, 우리가 봤을 때는 그냥 누르면 나온다는 그런 것들이 업무 전체에서 보이는 거죠. 그게 상당히 큰 차이가 되고, 그런데 이건 사실 DeepSeek에서 발표한 DSpark라는 투기적 디코딩 방법을 사용하는 겁니다. 그런데 그게 지금 와서 왜 중요한가 보면, 여러 가지 기술적인 변화들이 있는 것 같아요.
최승준 이 앞 장면에서 그 영상에 있는 용어들을 한 번씩만 짚어 주셔도 호기심이 생겨서 좋을 것 같다는 생각이 드는데요.
노정석 저 앞 장면에 있는 그 영상이 어떤 건지 한번 설명해 주시겠어요?
최승준 TPS도 있고 step도 있고요.
TPS의 정의와 HBM 메모리 병목 5:17
고석현 한번 말씀드리겠습니다. 일단 TPS는 초당 생성되는 토큰의 개수입니다. 그런데 이 토큰의 개수가 어떻게 됐든 현재 LLM은 원론적으로 이야기했을 때, 모델이 가지고 있는 모든 weight를 한 번은 읽어야 돼요. 그리고 그걸 읽으려면 그 속도는 흔히 아는 GPU의 메모리, HBM 속도에 bound되어 있습니다. 그래서 현재 HBM 기술에서 최신이라고 하더라도 다 읽는 데 아무리 빨라도 100ms 정도 걸리는 거죠. 그런데 아까 말씀드린 것처럼 GPU의 속도가 아무리 빨라도 메모리를 한 번 읽는 데 걸리는 시간이 100ms 정도가 되어 버리니까 토큰 하나의 생성이 거기에 bound되는 거예요. 그리고 예를 들어서, 극단적으로 정말 최적화를 잘한 모델이 한 10ms 안에 모든 parameter를 읽을 수 있다고 하면, 1초면 1,000ms이지 않습니까? 그래서 딱 100개밖에 생성하지 못하는 거죠.
박종현 그럼 여기서 아까 말씀해 주셨던, 사람이 보통 읽는 속도요. 왜냐하면 저 토큰이라는 게 저렇게 숫자로 봐도 얼마나 빠른지 감이 딱 잘 오지는 않거든요. 사람이 보통 책을 읽는 속도가 초당 200토큰 정도라고 말씀해 주신 거죠?
고석현 아닙니다. 사람이 읽을 수 있는 건 초당 한 20에서 30토큰 정도라고 보시면 될 것 같아요. 그것도 빨리 읽을 때고, 천천히 읽을 때는 훨씬 더 느리고요.
노정석 그러니까 1,000 TPS의 속도가 이 정도네요.
고석현 1,000 TPS 정도면 새로운 DB를 만드는 데 한 10분, 15분 안에, 그러니까 DB라고 하면 MySQL이나 Postgres 같은 걸 만드는 데 그 정도밖에 안 걸리고, 소설책 한 권을 쓰는 데 한 1분 정도 걸립니다.
최승준 그런데 이게 요동이 있네요. 1,480이 최대고 500에서 왔다 갔다 하는데요.
투기적 디코딩의 원리와 accept rate 7:07
고석현 이게 굉장히 재미있는 포인트예요. 여기 보면 accept랑 step이 있는데요. 오른쪽에 보면 이런 빠른 decode는 아까 말씀드린 것처럼 메모리 때문에 사실 불가능합니다. HBM4가 나온다거나 차세대 메모리가 없다면, GPU가 아무리 좋아도 불가능한 거죠. 그런데 투기적 디코딩, 그러니까 컴퓨터에서도 빨라질 수 있는 건 분기 예측이나 캐시 같은 기술밖에 없는데, 모델도 똑같이 하는 거예요. 여러 개의 토큰을 미리 추측해서 만들어 놓고, GPU 연산은 남으니까 병렬로 처리한 다음에 맞는지 안 맞는지 검사하는 겁니다. 그래서 미리 만들어 놓은 토큰을 검사해서 예측을 수락하는 확률이 높을수록 이 속도가 엄청나게 올라가는 거죠.
박종현 그러면 그 투기적 디코딩, 그러니까 speculative decoding이라고 보통 저는 많이 들었던 것 같은데, 그 기술 같은 경우에는 간단하게 요약하면 조금 더 빠르고 멍청한 모델을 하나 둬서 걔가 토큰을 다 예를 들면 돌려본 다음에, 똑똑한 애가 나오기 전에 미리 쭉 다 돌려놓고 맞으면 그걸 쓰고, 아니면 다시 크고 똑똑한 모델로 돌리는 식의 기술로 알고 있고요. 저기서 말하는 accept가 빠르고 좀 멍청한 친구가 토큰을 타다다닥 내려놓은 게 얼마나 accept됐느냐, 예상이 잘 맞았느냐로 이해하면 될까요?
양자화와 투기적 디코딩의 상충 관계 8:30
고석현 네, 맞습니다. 그리고 여기서 재미있는 부분이 하나 생겨요. 원래 보통 양자화라고 불리는 기술들은 속도를 빠르게 할 수도 있고 메모리 사용량을 줄일 수도 있는데, 저희가 최근에 본 연구나 실제 사용한 걸 봤을 때는 양자화를 하면 이 똑똑한 친구와 조금 멍청한 친구의 차이가 더 늘어나는 현상들이 있어요. 그래서 양자화를 한 만큼 speculative decoding의 수락률이 떨어지는 거죠. 그래서 어설픈 양자화를 하면 속도가 더 느려지는 거죠. 그게 굉장히 재미있는 포인트이고, 이 모델은 어떻게 보면 수락률이 높은 모델에 속합니다. 이게 낮은 것들은 수락률, 평균 accept라고 하는 게 한 2에서 3, 크면 7에서 10까지 갈 수 있는데, 그 수락률이 결국 배수로 증가하는 거고요. 또 이게 시사하는 바가 뭐냐 하면, 생성하는 종류마다 수락률이 달라요. 예를 들어 코드의 수락률은 높고, 영문도 높고, 심지어 한글은 낮거나, 소설 같은 복잡한 논리 구조는 어렵고, 그러니까 낮고, 이런 것들이 발생하면서 예전에는 그런 게 있었어요. fine-tuning은 이제 거의 할 필요가 없다. 그런데 토큰 생성 속도와 비용이 DSpark나 MTP 같은 투기적 디코딩 때문에 fine-tuning을 하면 비용도 줄어든다는 재미있는 방식이 생긴 거죠.
최승준 궁금한 게, MTP는 현재 토큰이 t면 t+1, t+2로 다음 것을 미리 예측하는 거죠. 그런데 투기적 디코딩은 좀 다른 거 아니에요? 같은 거예요?
고석현 동일합니다. 그런데 이게 +1을 할지, 블록 단위로 해서 더 많은 걸 생성해 놓고 후보를 검토할지라고 보면 돼요.
최승준 그런데 하나의 국면에서 이 토큰, 저 토큰 여러 가지로 하는 건 아니고, 다음 것들을 미리 한다는 뉘앙스인 거죠?
고석현 그렇게 보면 될 것 같습니다.
prefill과 decode 분리의 필요성 10:21
노정석 이게 저희가 바로 이어서 이야기할 prefill과 decode의 차이와 강하게 연관되어 있는 거죠. 왜냐하면 여러 개를 투기적 디코딩해서 뒤에 블록이 늘어나면, 걔는 한 토큰씩 보는 게 아니라 여러 토큰을 그냥 prefill 모드에 넣어서 한 번에 예측할 수 있다는 것과 관련이 있는 거라고 보면 되나요?
고석현 완전히 맞습니다. 그래서 현대의 에이전트 AI가 잘되는 것은 캐시가 잘 hit하는 것도 있겠지만, prefill이 정말 빠르다는 데 있어요. 왜냐하면 아까 말씀드린 것처럼 최신 모델들도 메모리 때문에 초당 50토큰, 30토큰 이상을 내뱉기가 어렵다, 이게 맞는데 prefill은 수만 토큰씩 처리되거든요. 그러니까 예를 들어서, 우리가 텍스트를 읽는 과정에서 Transformer는 순서가 중요하지 않습니다. 그래서 모든 토큰을 병렬로 넣고 읽어낼 수 있는데, 그걸 제일 잘하는 게 GPU인 거예요. 그래서 최근에 NVIDIA가 Vera Rubin이랑 Groq를 소개할 때도 구조가 어떻게 돼 있냐면, prefill이라고 불리는 것은 Vera Rubin으로, 차세대로 다 처리합니다. 엄청나게 읽겠죠. 초당 20만 토큰씩 읽을 텐데, 이걸 decode할 때는 Groq에 넘기는 거예요. 그런데 decode하면 Groq에 넘긴다는 건 이걸 처리한 hidden state와 KV 캐시를 넘긴다는 거거든요. 그러니까 NVIDIA도 이미, 거의 1년 전이죠, 이 구조가 가장 빠르다는 걸 사실상 공표한 셈이고, 이게 엄청난 화두가 되는 거죠.
트레이닝에서 인퍼런스로 옮겨간 무게중심 11:47
노정석 저희가 불과 한 1년 전만 하더라도 training과 관련한 이야기들을 굉장히 많이 해 왔는데, 요새 모델이 급격하게 상향 평준화되고 모델이 연구의 단계에서 완전히 산업의 단계로 넘어가 버렸잖아요. 수요도 계속 폭발하고 있고요. 그러다 보니까 training보다도 인퍼런스 쪽에 관심이 훨씬 커진 건 맞아요. 어떻게 하면 동일한 GPU와 동일한 전력이라는 자원이 있는데, 얘를 어떻게 더 빨리, 더 많은 사람에게 줄 것이냐는 부분들이 굉장히 중요한 엔지니어링 과제로, 왜냐하면 이게 곧 돈이거든요, 대두되고 있고, 그것과 관련된 이야기가 오늘 고석현 대표님이 해 주실 이야기들의 가장 핵심적인 내용들이니까 앞으로 이 데이터센터나 모델과 그다음에 어떤 회사가 돈을 벌고 어떤 회사가 돈을 못 버는가 하는 것들의 dynamics를 이해하고 싶으시면 이런 것들이 대략 어느 구석에 어떻게 들어가는지를 이해해 두면 알아듣기가 훨씬 쉽습니다.
박종현 저도 한번 짚고 넘어가자면, 오늘 하는 메인 이야기가 인퍼런스에 대한 이야기잖아요. 그래서 인퍼런스가 중요하다. 결국 이게 가장 큰 골자인 것 같고, 방금 이야기해 주신 것들에서도 두 가지 관점에서 그런 것들이 보이는데, 첫 번째는 칩 자체도 예전에는 training용 칩, 인퍼런스용 칩, 이런 이야기를 했었다면 지금은 인퍼런스 안에서도 prefill용 칩, decode용 칩, 그러니까 인퍼런스 안에서도 칩들의 특화 구조가 더 생긴다는 이야기고, 아까 fine-tuning도 예전에는 fine-tuning을 모델을 똑똑하게 만들려고 했다면 지금은 speculative decoding을 잘하기 위한 좋은 조수를 만드는 용도로 fine-tuning을 쓴다는 것 자체가 인퍼런스를 위한 tuning을 한다는 뜻이니까 모든 것이 지금 인퍼런스를 어떻게 하면 효율적으로 할 것인가, 이런 것들에 다방면으로 초점이 맞춰져 있는 것 같습니다.
고석현 이미 넘었을 수도 있는데, 학습에 들어간 GPU보다 토큰을 인퍼런스하는 GPU가 훨씬 더 많이 필요할 겁니다. 이건 굉장히 자명한 사실이 될 것 같고, 더 빠르게 하기 위한 게, 어떻게 보면 토큰 팩토리라는 단어도 이걸 딱 상징하는 단어인 것 같고요.
노정석 이런 걸 보고 있으면 정말 engineering beauty예요. 생각할 수 있는 모든 꼼수와 이런 것들이 다 들어가 있더라고요.
최승준 기술은 제쳐 놓고라도 저 정도로 1,000 TPS가 나오면 작업의 양상이 어떻게 되는 거예요?
1,000 TPS로 회사를 통째로 시뮬레이션하는 데모 14:17
고석현 저희가 1,000 TPS가 나오면서 어떤 걸 해봤냐면, 이건 흔히 말하는 AI slop입니다. 너무 심각하게 듣지 마시고요. 이게 뭐냐 하면, 조악해요. 이게 저희 내부에서 만든 Second Brain 같은 거죠. 회사에 있는 모든 데이터를 집어넣고 회사를 하나 더 만든 겁니다. 그래서 여기에 일하는 사람들도 있고, 일도 할 수 있고, 심지어는 좀 이상하게 들릴 수 있는데 퇴사한 사람한테 일도 시킬 수 있어요. 그 사람의 context이기 때문에. 그런데 이게 100토큰, 200토큰으로는 안 되고, 우리가 수천 토큰을 쓸 수 있는 걸 병렬로 10개, 20개 세션을 잡으면 회사를 실시간으로 복제해서 돌릴 수가 있어요. 좀 말도 안 되는 것 같으시죠?
최승준 라이브 스트림 같은 느낌인 거네요.
고석현 그런 느낌인 거죠. 회사를 동시에 시뮬레이션할 수 있다. 그리고 특히 코딩 같은 일이나 마케팅 같은 일은 여기서 가능하다.
최승준 그러니까 코드를 빠르게 생성하는 게 아니라 일 자체의 trajectory를 시뮬레이션하는 게 실시간으로 된다는 거네요.
고석현 여기 있는 사람들이 다 가상인데, 그냥 실시간으로 회사를 시뮬레이션할 수 있다. 실제로 동작하는 엄청난 일인 거죠.
노정석 회사의 Gmail과 이메일과 Slack, 이걸 그냥 다 모델한테 읽어 넣은 다음에 전부 리프로듀스하는 거죠.
최승준 그러니까 이거는 24/7인 거네요. 7일 24시간 돌아가는 라이브인 거죠.
고석현 24시간이 아니라 1,000시간이 아닐까요? 왜냐하면 이미 사람 능력의 몇십 배 속도로 돌아가고 있으니까.
박종현 그런데 이렇게 돌리면 output이 어떤가요?
고석현 실제로 업무 지시가 가능해요. 프로젝트가 되는 경우도 있고, 마케팅의 초안이 되는 경우도 있고, 기능이 실제로 산출되는 경우도 있고요. 단순한 에이전트와는 조금 다른 느낌인 거죠.
최승준 그러니까 지금 회사라는 것만이 아니라, 회사라는 걸 A로 놓으면 B, C, D도 다 가능한 거잖아요.
고석현 그런데 사실 이거는 완전히 개념적인 콘셉트, 제가 AI slop이라고 말씀드린 slop일 거고요. 그런데 이게 정말 진지하게 진행됐을 때 얼마나 impact가 클까, 그러니까 얼마나 무서울까.
노정석 저희가 지금 코딩 에이전트를 쓰거나 ChatGPT를 쓸 때 latency라는 개념이 딱 사람과 대화하는 속도에 맞춰져 있어서 아까 우리가 봤던 인퍼런스 속도에 살짝 적응이 안 되는데, 지능도 얼마나 품질이 높으냐가 어떤 함수의 y축에 있다면, x축에는 latency가 들어갈 것 같아요. 결국 x 곱하기 y가 뽑아내는 지능의 총량이니, 똑같은 지능인데 하나는 초당 1,000단어를 뱉어내고 다른 하나는 30단어를 뱉어내면 생산성 차이가 30배 있는 거죠.
최승준 그러니까 unlearning해야 하는 게, 지금 저 데모를 보고 드는 생각은 기존에는 async하게 작업해야 되잖아요. 생각한 것을 돌려놓고 그게 생성될 때까지 기다리면서 다른 것을 amortize해서 일을 하게 되는데, 이렇게 라이브 수준으로 나오면 그게 바뀌어야 하는 상황이 된다.
고석현 그래서 굉장히 어색합니다. 이게 말씀하신 것처럼 생각할 시간이 있었는데, 누르면 바로 뭔가가 나와버려요. 그래서 사람이 훨씬 더 피곤하고, AI랑 일한다는 기분이 아니에요. 저희가 계산기에 계산을 맡기고 기다리지는 않잖아요. 그런 것처럼 누르면 바로 나오니까, 일하는 방식이나 unlearning도 말씀해 주셨는데 딱 그 느낌이 굉장히 많이 듭니다.
노정석 이런 이야기를 간단히 요약하면, 많은 사람이 AI에 대한 투자는 거의 끝이 났느냐, 더 이상 성장하지 않는 시장이냐는 그런 질문에 많은 현자가 바보 같은 소리라고 답하고 있는 거죠. 이제 겨우 시작인 거고, 이 지능에 대한 수요에는 상방이 없다. 더 똑똑한 사람 한 명이 있어서 일이 이만큼 됐어. 그러면 그걸로 만족하느냐? 아니라고, 가능한 한 더 많은 똑똑한 사람을 채용하고 싶은 게 사람들의 욕심이니까 이건 계속 성장한다는 쪽의 의견이 훨씬 많이 득세하고 있는 것 같아요.
속도와 지능의 균형과 task 완료 기준의 변화 18:21
최승준 층위는 있을 것 같아요. 왜냐하면 지금 보여주신 것은 Flash 모델이라서 저 정도 속도가 나오고, 앞으로 다른 모델들도 계속 속도는 빨라지겠지만 어떤 최상위 모델은 async하게 작업해야 하거든요. 추론하는 시간이 꽤 길어서. 그러니까 task별로 그게 중층적이지 않을까요? 당장은.
노정석 그렇긴 한데, 전체 그래프는 계속 이런 경험으로 내려오겠죠.
박종현 저도 느끼는 게, 최근에 비싼 모델, 특히 Fable이라든가 GPT Sol에다가 reasoning effort를 길게 늘린다든가 그렇게 일을 시키면 한참 걸리잖아요. 그동안 다른 일을 하거나 다른 세션을 만들어서 또 다른 일을 하는 경우가 많은데, 그러다 보면 이 context switching이 사람 머리에서 일어나야 해서 놓치기도 하고 힘들고, 이런 게 좀 있거든요. 그런데 이렇게 엄청 빠른 TPS의 모델들을 쓸 수 있다면, 지능이 조금 떨어지더라도 내 앞에서 내가 집중해서 그 context만 이어서 쭉 대화할 수 있으니까 오히려 human in the loop를 더 강하게 넣을 수 있어서, AI 지능이 조금 떨어져도 이미 충분하니까 일을 더 잘할 수도 있겠다. 이런 생각이 살짝 떠오르네요.
최승준 하지만 그것도 피곤할 것 같긴 해요. 집중된 피곤함과 병렬로 분산된 피곤함이…
노정석 그런데 저희가 지금 이렇게 상상하고 있는 게 현실로 실현되는 데는 시간이 조금 걸릴 거라서.
고석현 그럼 이거는 어떨까요? 지금 방금 전 모델은 280B짜리, 저도 감이 잘 안 옵니다만 비교적 작은 모델이고요.
노정석 280B를 지금 비교적 작은 모델이라고 표현하셨습니다.
고석현 저희는 그런 말도 안 되는 세상에 살고 있습니다. 예전에는 1B가 넘으면 크다고 했거든요. Google이 8B 이상은 서비스 못 한다는 이야기였고, 그럼 이제 작은 2.8T밖에 안 되는 모델입니다. 이 모델도 peak 300토큰이 나오는 거죠. 그런데 지금 이 토큰 생성은 저희가 기술을 쓰고 있긴 하지만 전부 메모리에 걸려 있어요. 그러다 보니까 메모리가 조금 더 좋아졌을 때, 그러니까 지금 2T, 3T, 5T, 10T 모델이 훨씬 더 빠르고 강력하게 나오지 않을까, 그런 생각이 들고, 방금 전에 Flash로 한 것과 Kimi로 한 것의 캐릭터의 각도와 디테일이 너무 다르거든요. 그리고 더 재미있는 건 뭔지 아세요? Flash가 속도는 더 빠르지 않았습니까? 그런데 총 생성 시간은 Kimi가 더 적어요.
최승준 알겠습니다. 무슨 이야기인지 알겠네요.
고석현 그러니까 더 효율적으로 구현하니까, 토큰 속도는 지금 Kimi가 3배 정도 느립니다. 초당 300토큰이니까요. 하지만 더 빨리 생성했고, 모델 크기는 10배 차이가 나지만 속도는 3배밖에 안 느려졌다.
노정석 토큰당 지능의 품질이 훨씬 높다는 이야기네요.
고석현 맞습니다. 그래서 이런 역전 현상들도 보고되고 있어요. 차라리 더 똑똑한 모델로 하는 게 토큰은 조금만 만들지만 효율이 높다.
박종현 이게 지난번에 저희가 가격을 이야기할 때도 토큰당 가격으로 이야기하고 있는데, 비싼 모델을 쓰면 어떤 일을 해내는 데 토큰을 효율적으로 써서 더 적은 토큰으로도 해낼 수 있으니까 이제는 task당 가격을 봐야 한다, 이런 이야기를 했었는데 그거랑 비슷하게 지금 수행 속도도 TPS를 보는 게 아니라 task가 끝나는 데, 그래서 얼마 만에 끝냈는지 이걸 봐야 한다는 게 와닿는 느낌이 듭니다.
노정석 Pareto efficient curve가 여러 개의 변수로 만들어지는 거니까, 모델 크기나 GPU 크기만 보고 판단하면 안 된다. 다양한 변수가 다 합쳐져서 그걸 만든다고 봐야 하는 거죠.
최승준 하지만 Pareto frontier가 만드는 선은 전부 전진하고 있다.
노정석 그건 미치도록 전진하고 있다. Kimi가 초당 300토큰 나오는 것도 느낌이 정말 좋네요.
최승준 이게 다 MTP랑 speculative decoding 때문인 거죠? 기본적으로.
SOLAR MTP 후장착과 Physical AI 가능성 22:04
고석현 맞습니다. 최근 모델들은 처음부터 이게 지원되고 있고, 최근에 저도 다른 회사 대표님께 이야기를 드리다가, 저희 독자 foundation model인 SOLAR가 있지 않습니까? SOLAR에는 이 MTP가 없어요. 처음부터 들어 있지는 않았고, 저희가 이걸 모델에 adaptation해서 추가로 post-training을 통해 달아봤더니 이것도 초당 500600토큰이 나오는 거죠. 왜냐하면 DeepSeek V4 Flash랑 아마 규모가 비슷합니다. 250280B 정도 선이고, 그래서 거의 모든 모델이 이렇게 가지 않을까.
노정석 이게 MTP의 로직은 나와 있고 그냥 모델 뒤에다가 MTP 헤드를 더 붙이고 얘를 예전 개념으로는 살짝 fine-tuning하는 느낌으로 그냥 달아버리면 되는 게 됐네요.
고석현 맞습니다. 그게 된 거죠. 그게 일주일도 안 걸립니다. 엄청난 겁니다. 제가 생각나는 담론 중 하나는 이게 한 500~600토큰이 넘어가면 Physical AI에서도 충분히 돌아가지 않을까? 왜냐하면 Tesla의 자율주행도 일종의 VLA처럼 동작한다고 알려져 있는데, 그게 초당 프레임을 못 따라가면 못 하는 거고요. 그런데 이게 초당 2천 토큰, 1천 토큰이 나오고 거기다가 현실의 어떤 세상은 우리가 텍스트나 코드보다 좀 더 물리적 모멘텀이 있잖아요. 그러니까 MTP나 DSpark가 좀 더 추론하거나 맞힐 수 있는 마진이 더 많을 거고, 이러면 정말 LLM으로 모든 로봇이 돌아가지 않을까? 물론 아직 칩들의 성능에는 좀 마진이 있겠습니다만, 충분히 가능하지 않을까 하는 생각이 들어요. 그래서 fine-tuning해서 성능이 올라가는 게 아니라 속도가 빨라져, 이런 담론도 가능한 거죠.
박종현 충분히 가능할 것 같은 게요. Google의 Gemini Robotics 같은 경우에는 모델을 두 개로 분리해서 클라우드에서는 VLM, 그러니까 LLM이 돌면서 embodied reasoning, 그 화면을 보고 reasoning을 막 내뱉거든요. 이해하고, 그다음에 그 이해된 latent vector나 아니면 어떤 language 상태의 output일 수도 있겠죠. 그런 것들을 embedded device에 있는 action을 생성하는 모델한테 넘겨서 그것만 거기서 action을 빠르게 생성하거든요. 작은 모델로 이런 식으로 모델을 분리하고, 똑똑한 지능은 token per second가 엄청 빠른 어딘가, 그건 클라우드일 수도 있고 아니면 차량은 공간이 좀 여유롭기 때문에 차 어딘가에 큰 칩을 넣을 수도 있고, 이렇게 분리해서 상황을 이해하면서 작동하는 것도 충분히 가능할 것 같습니다.
포클레인과 숟가락으로 이해하는 prefill과 decode 24:26
노정석 자, 그러면 저희가 원래 준비했던 메인, 저희가 예전에 Dwarkesh 편을 녹화하면서 prefill과 decode, 그다음에 roofline analysis라고 하는 그런 것들을 한참 이야기했었는데, 이 prefill과 decode, 오늘 또 많이 접하게 될 용어인데, 이 용어들과 함께 메인 바디를 한번 시작해 볼까요?
고석현 제가 시각화를, 이것도 AI로 만든 건데, 한번 보여드리면서 이야기해 보겠습니다. 일단 네 건 정도가 타임라인에 있는 걸로 제가 만들어서 한번 보여드릴게요. 그래서 이걸 보면 어떤 느낌이냐면요. 이걸 시간상으로 그려보면, 8명의 사용자가 토큰을 생성한다고 보시면 돼요. 여기 보시면 청색은 decode하는 부분, 그리고 이 주황색, 살색인가요? 그런 부분은 prefill이라고 하는 읽는 부분이라고 보시면 됩니다. 그런데 우리가 쓰는 LLM 구조상 읽는 것은 완전한 병렬성을 만들 수 있어요. 그리고 그건 GPU가 가장 잘하는 일입니다. 이렇게 보면 비슷하게 보일 수 있는데, 실제로는 이 prefill 구간이 GPU를 사용하는 양이 압도적으로 많고, decode하는 구간은 GPU를 거의 쓰지 않는다고 보셔도 돼요. 어느 정도 느낌이냐면, prefill은 포클레인으로 이런 모래산을 뜨는 정도고요. decode는 조금 과장하면 숟가락으로 뜨는 정도입니다. 그리고 그 숟가락의 이동 속도에 따라서 token per second가 나뉘는 거죠. 그래서 현재 GPU의 연산 성능은 초당 몇천, 몇백이 아니고요. 수만, 심지어 수십만을 만들 수 있어야 하는데, 아까 우리가 말한 숟가락이 이동하는 속도, 이것 때문에 초당 몇십, 몇백밖에 못 하는 거죠. 그런데 이런 것들을 잘하는 반도체도 있을 텐데, GPU는 그 격차가 엄청나게 커요. 그래서 현대의 agent AI를 유지하는 것은 이 prefill을 엄청나게 잘하는 GPU의 성능이기도 한데, 이 격차가 상당히 큰 거죠. 그래서 원래대로라면 GPU 하나당 100명, 200명의 유저를 받을 수 있을 GPU의 성능이 prefill과 decode의 차이 때문에 적으면 한두 명, 많아도 10명을 못 받는 형태가 생기는 겁니다.
노정석 자, 이 정도에서 prefill과 decode란 무엇인가에 대해 누가 제일 쉽게 설명해 주시겠습니까?
고석현 일단 prefill이라는 과정은 토큰을 읽는 과정입니다. 예를 들어서 저희가 에이전트를 돌린다고 하면 내가 들고 있던 코드 프로젝트, 알고 있던 system prompt, 여러 skill에 대한 것들이 전부 다 있을 거잖아요. 그게 적으면 몇천, 많으면 몇만, 몇십만까지 보통 갑니다. 그런데 이걸 decode의 속도로 읽는다면, 읽는 데 한 30분 정도 걸리지 않을까요? 이걸 어디서 보실 수 있냐면, 최근 MacBook으로 이런 모델을 잘 돌릴 수 있다는 글들을 많이 보시잖아요. Mac이 unified memory, 그러니까 GPU와 CPU와 NPU가 통합된 메모리를 가지고 있고 용량도 큽니다. 그래서 토큰 생성이 그렇게 느리지 않아요. 생각보다 굉장히 빨라요. 그런데 prefill이 엄청나게 느립니다. 그리고 이걸 제대로 쓰려면, 예를 들어서 GPU로 토큰을 읽고 토큰을 읽으면 뭐가 생기냐면 hidden state가 생기고, 읽는 과정에서 만들어진 KV 캐시가 생깁니다. 그걸 Mac에 전달하면 읽는 것도 빠르고, 쓰는 것도 비교적 싼 이 친구가 생기는 거죠. 그래서 그냥 토큰을 읽는 과정은 아까 말씀드린 것처럼 KV 캐시를 만드는 과정이에요. 그런데 이 KV 캐시를 만드는 과정에서 GPU를 엄청나게 잘 쓸 수 있는데, 이걸 memory-bound한 payload인 전혀 다른 payload인 decode에 넘기는 걸 얼마나 잘 orchestration하고 운영하느냐가 토큰 생성량과 시간과 속도, 심지어는 멈추느냐, 안 멈추느냐까지 결정하는 거죠.
노정석 그럼 쉽게 저희 오디언스분들이 알아들으실 수 있도록 설명하면, 우리가 ChatGPT를 쓸 때 어떤 것을 왕창 cut and paste해서 ChatGPT한테 “이거 읽고 요약해 줘.”라는 말을 쓰는데, 그 왕창 한 번에 집어넣는 양이 prefill이라고 보시면 되는 거고, 저희가 엔터를 딱 누르고 나면 그 뒤로 토큰이 탕탕탕탕 나오잖아요. 그게 decode 과정이라고 보면 되는 거죠.
고석현 맞습니다. 아까 영상에 있던 TTFT가 그 시간이에요. 첫 토큰이 나오는 시간.
노정석 token per second, 네. 그러면 그렇게 prefill과 decode라는 심상을 머리에 넣고, 얘를 정신 바짝 차리고 쳐다봐야 하는 거네요.
최승준 조금 헷갈리는 부분이, 저 prefill의 양과 decode의 양은 유저 스트림별로 다 다른 거죠?
고석현 그럴 것 같습니다. 이걸 같다고 지금 표현하고 있는데, prefill이 워낙 크기 때문에 이 decode는 자원 입장에서는 보이지도 않을 정도로 작은 거예요. 그런데 이 decode, 그러니까 prefill 과정에서 엄청난 양의 GPU를 잘 쓸 수도 있고, KV 캐시도 왕창 생성하니까, 예를 들면 여기서 8, 7, 6번 유저들은 1번 스트림이 읽을 때 다 멈추는 거죠. 어떻게 보면 비유가 그게 유저 경험에 굉장히 좋지 않잖아요.
박종현 여기서 말씀하시는 자원이라는 게 compute해야 할 연산의 총량이라고 이해하면 될까요?
고석현 맞습니다. CUDA core의 활성화 정도라고 할까요? 그게 더 좋을 것 같아요.
최승준 분리 후 버튼을 누르면 어떻게 되는 거예요?
고석현 분리하게 되면 이게 어떻게 되냐면, 이렇게 바뀝니다.
노정석 그냥 다 decode만 하고 있네요.
고석현 이렇게 하면 같은 GPU에서 처리할 수 있는 양이 적게는 3~4배, 많게는 100배까지 올라가게 돼요.
Kimi식 prefill·decode 분리와 KV 캐시 이동 30:11
노정석 저희가 오늘 이야기할 메인 주제가 prefill과 decode를 하나의 인퍼런스 머신에서 최적화하면, 아무리 최적화해도 성능이 어느 상한선에 걸린다, 이 비효율을 막을 방법이 없다는 것들이 알려진 사실인데, Kimi에서 처음 제안했던 게 prefill과 decode를 완전히 물리적으로 분리된 팜에서 처리하는 거였잖아요. 그러면 효율이 엄청나게 증가한다. 오늘 그런 이야기들이 메인이 되는 거죠.
고석현 그리고 이게 있어야 아까 보여드렸던 Kimi 2.8T를 초당 300~400토큰까지 처리하는 것도 가능하다고 보시면 될 것 같아요. 이 분리가 안 돼 있으면 기본적으로 어떤 유저가 prefill하는 순간마다 모든 decode가 병렬로 멈추는 겁니다. 그렇기 때문에 이걸 처리하기 굉장히 어렵고, prefill하고 나서 그 친구의 모든 hidden state와 모든 걸 옮길 필요는 없어요. 그리고 KV 캐시도 모델마다 다른데, Kimi 정도 되면 한 10GB, 20GB 정도 됩니다. 그걸 순식간에 decode 머신으로 옮겨서 잘 hit시키면서 smooth하게 처리하고, 그 밑단의 어떤 router는 유저에 대한 세션도 옮겨가고, 이게 생각보다 어려운 엔지니어링인 거죠. 그런데 그걸 하지 않았을 때 이런 것들이 굉장히 멈추는 현상이 많이 생길 수 있고, 그러면 저희는 이런 Kimi 모델도 서비스하고 있는데, 도저히 돌릴 수가 없는 거죠. 그런데 모델이 충분히 작고 메모리에 여유가 있다면 드러나지 않을 수도 있어요. 그런데 Kimi처럼 엄청나게 큰 사이즈의 모델에서는 애초부터 이 payload를 완전히 분리하고, 여기에 대한 KV 캐시의 store 개념, 그러니까 우리 문맥을 다 갖고 있는 store인 거죠. 이게 엄청나게 빨라야 하는데, 몇백 GB/s, 몇천 GB/s가 돼야 하는데, 이걸 유지하면서 해야 실제 LLM 서빙이고, 아마 모든 Frontier Lab은 이걸 하고 있다고 추정하고 있습니다.
vLLM·SGLang 구현체와 공개되지 않는 서빙 노하우 32:12
최승준 궁금한 게, reference code에서 이 방법을 모두 공개한 거예요?
고석현 reference code는 이걸 하지는 않고 있고, 이거의 구현체들은 vLLM이나 SGLang이나, 그리고 NVIDIA에서도 이걸 하기 위한 기술과 라이브러리들은 공유하고 있어요. 그런데 아까 말씀드린 것처럼 인프라의 사정, 네트워크의 사정, 심지어는 이런 token provider들의 내부 노하우일 테니까, 서비스에서 쓸 만큼 공개하는 곳은 없다고 봐야 하지 않을까. 예를 들면 저희도 SGLang을 좀 볶아서 쓰고 있습니다.
최승준 코드만 공개하고 나머지는 그렇게 다 공개하지는 않는 상황인가 보네요.
고석현 그래서 이걸 가격 정책에서도 볼 수 있는데, 모델들을 봤을 때 가격이 256K와 1M에서 다른 모델들을 보신 적 있으신가요?
노정석 저희 Claude Code만 해도 1M Opus와 256K, 327K가 다르죠.
고석현 서빙하는 쪽에서 보면 그냥 아예 팜을 나눠 놓게 돼요. 이 팜 자체를 분리해서 짧은 context length를 사용하는 팜과 긴 context length를 사용하는 팜을 완전히 물리적으로 분리하지 않으면 토큰 처리량이 많이 내려가는 거죠.
박종현 실제로 처리하는 칩도 분리하는 경우가 있는 것 같더라고요. OpenAI 같은 경우에도요. 그런데 최적화한 참조 코드가 없느냐, 어떤 모델을 돌리느냐, 그다음에 어느 클러스터에서 돌리느냐, 돌리려는 GPU 클러스터의 구성, 예를 들면 GPU가 NVL72처럼 72개씩 묶여 있는 경우도 있고, 아니면 8개씩 묶어서 8개 노드를 NVLink로 연결해 놓은 경우도 있고, 그다음에 그 노드들끼리도 InfiniBand로 엮인 경우도 있고, 아니면 다르게 엮인 경우도 있고요. 이런 것들은 상황이 다 다르다 보니까 모든 것에 범용적으로 최적화가 잘되는 솔루션은 존재하기 힘들 것 같아요. 특정 참조 하드웨어, 특히 NVIDIA 같은 경우에는 자기들이 파는 주력 제품과 특정 모델에 맞춘 솔루션은 있을 수 있겠지만, 아무래도 그런 건 상황에 맞춰서 다 따로 해야 하지 않을까요?
노정석 예전 같으면 정말 뛰어난 엔지니어들이 붙어서 이걸 처리하는 데 굉장히 많은 고통이 따랐을 텐데, 요새는 저희 회사에서도 회사 서버 팜을 유지하면서 AWS나 GCP에 직접 들어가 콘솔을 조작하는 일이 많이 없잖아요. 에이전트에 붙여 놓고 최적화하고 뭘 바꾸라고 하면 그냥 모든 게 끝나니까요. 마이그레이션조차 그런데, Frontier Lab들에서도 그런 일이 일어나고 있을 거예요. 아키텍처 설계 같은 것도 Frontier 모델에 시켜서 최적화하라고 하면, 자기가 실험을 짜고 실행해서 자체적으로 최적화하는 과정이 이미 돌아가고 있을 거라서 그 속도도 병목이 될 거라고 생각하지 않고요. 또 거기에 들어가는 소프트웨어 아키텍처의 우위나 엔지니어링의 우위도 Jeff Dean보다 GPT-6나 Mythos가 더 잘할 건 확실하거든요. 그래서 거기도 급격하게 상향 평준화될 것 같아요.
Day-0 대응을 가능케 하는 자동 최적화 에이전트 35:26
최승준 Day-0에 다 내놓더라고요. vLLM, SGLang, TokenSpeed 모두 Day-0에 지원하는데, 사이오닉도 굉장히 빨리 내놓으셨더라고요. 어떻게 하신 거예요?
고석현 저희도 동일합니다. 저희가 자체 GPU를 운영하고 있는데, 그 GPU들은 학습이나 서빙에 쓰이긴 하지만 실제로는 방금 말한 것과 똑같은 Autoresearch, 자동 최적화 에이전트들을 돌리고 있어요. 그래서 이런 백로그 태스크들이 쭉 있을 때 거기에 우선순위를 올리는 거예요. 이걸 지금 우리가 해야 하고, 루프의 목표로 지정할 수 있는 태스크는 100개의 에이전트가 병렬로 돌아가서 분산 처리하면 몇 시간 안에 대부분 끝나니까요.
최승준 Kimi K3는 아키텍처가 제법 바뀌었는데도 그렇게 빨리 된 거예요?
고석현 실제로 저희가 하는 데는 15분 정도밖에 걸리지 않았어요.
노정석 그래서 저희가 고 대표님과 사석에서 얘기하면서, 이런 식으로 기존에 사람의 역량이 만들어내던 차별점을 모델이 다 만들어 주는 상황이기 때문에 결과적으로 남는 것은 GPU power를 충분히 갖고 있고, 이걸 얼마나 오래, 많이 쓸 수 있느냐의 게임으로 수렴하는 게 아니냐는 말씀도 하셨거든요.
고석현 그래서 이런 것들을 보면, 내부에서 돌아가는 것들, 그러니까 이런 GPU의 프로비저닝 자원 할당을 에이전트가 하는 겁니다. 그리고 사람은 연구 목표와 이에 대한 정성적인 분석을 주는 거고요. 이런 것들이 쌓였을 때의 속도는 믿을 수 없을 만큼 빠른 것 같아요.
노정석 저희가 항상 젠슨 황이 얘기했던 5층 이야기를 하잖아요. 맨 아래 데이터센터부터 칩, 그다음 모델, 애플리케이션 같은 레이어를 이야기하는데, 가운데 있었던 모델 회사가 지금까지 대부분의 가치를 다 포착해 가고 있었죠. 그런데 지금 이런 경쟁의 양상이나 모델이 모델 스스로를 발전시키는 양상 때문에 모델 발전이 상향 평준화되고 있거든요. 그리고 OpenAI와 Anthropic만 할 수 있었던 일을 중국의 Frontier Lab들도 다 해서 심지어 오픈 웨이트로 내놓고 있는 상황이고, 그 오픈 웨이트 덕분에 사이오닉처럼 자체 컴퓨팅 자원을 갖고 있는 회사들은 Frontier Lab이 했던 수준에 금방 다다르게 되는 순간이 됐어요. 그래서 가치가 포착되는 레이어가 지금 이동하고 있다는 거거든요. 지금까지는 모델 레이어에서 가장 큰 가치를 포착하고 있었는데, 이들의 마진은 줄어들 거예요. 경쟁이 많아질 테니까요. 상향 평준화되고 굉장히 싼값에 제공될 테니까, 이건 죄수의 딜레마처럼 0으로 가는 길을 타고 있어요. 그러면 그 가치는 어디로 이동하느냐? 위와 아래로 쭉 이동할 거거든요.
모델 상향평준화와 AI 가치 포착 레이어의 이동 37:07
고석현 고객과 가장 가까운 곳으로 가치 사슬이 계속 올라간다. 그리고 고객과의 관계, 고객의 활용도, 결국 고객의 매출을 만들어 주는 겁니다. 결국 고객과 가까운 곳에서 실질적인 가치를 만드는 곳으로 가치 사슬은 이동할 수밖에 없고요.
노정석 그러니까 이걸 가장 최근에 있었던 산업의 사례에 비유해 보면, 처음에 전기가 나왔을 때는 교류냐 직류냐 하는 인프라와 송전 설비 등을 다루는 회사들이 가치를 다 쥐고 있었는데, 이게 안정되고 난 다음에는 극도의 효율화밖에 없었거든요. 심지어 정부가 가져가기도 했고요. 그러면 그 가치는 어디로 가느냐? 인프라에서 여전히 발전소와 변전소를 운영하는 업체들은 계속 돈을 벌어요. 그런데 그 위의 다음 가치는 어디로 갔느냐? 중간은 콘센트 뒤로 다 숨어 버린 거고, 지금의 가치는 전부 Dyson 같은 회사가 가져가는 거죠. 그 위에서 만들어 내는, 완전히 고객과 가까운 최상단의 가치, LG TROMM 세탁기, 그다음에 자동으로 집을 청소해 주는 로봇 청소기,
고석현 Roborock 같은 곳이죠.
노정석 이런 데로 다 간 거죠. 그래서 AI에서도 지능이라는 게 콘센트에 꽂으면 콸콸콸 나오는 지능이 된다면, 가치 포착의 한 축은 아래의 발전소 레이어에 있는 데이터센터와 칩 같은 곳으로 갈 거고요. 그러나 거기는 마진율이 크지는 않을 거예요. 거기서도 계속 최적화가 일어나고, 뻔한 공식들을 계속 적용하기 때문에 어느 정도의 마진 폭 안에 갇히게 될 거고요. 대부분의 가치 포착은 콘센트에 무언가를 꽂는 데서 나올 겁니다. 그게 방금 고 대표님이 말씀해 주셨던 누가 고객 가까이에 있느냐의 게임이 될 거고요. 아직 그 콘센트에 꽂히는 산업은 시작도 안 한 것 아닌가 싶어요. 그리고 고 대표님이 AX라는 말로 지금 우리가 목격하고 있지만, AX를 넘어서는 애플리케이션들이 곧 등장하지 않을까라는 생각이 들어요. 아까 1,000 TPS 같은 것들을 보니까 더더욱 그런 생각이 들어요. 예전에 50V로 오던 전기가 이제 380V로 들어오는 거거든요.
1MW 자체 데이터센터 구축과 B300 운영 손익 40:28
최승준 고 대표님이 고객 가까이에서 가치를 창출하기 위한 인프라 구축을 작년에 시작하셨으니까 지금 따라오실 수 있는 거지, 올해 시작했으면 훨씬 더 많은 금액이 드는 것 아니에요? 어마어마하게 차이 나지 않나요?
노정석 고 대표님, 말 나온 김에 이 이야기 좀 해 주세요. prefill과 decode 이야기로 다시 돌아오긴 할 텐데, 사이오닉 안에 데이터센터가 있단 말이에요. 1MW급 데이터센터가 있어요. 그걸 왜 만들게 됐고, 돈이 얼마가 들었고, 그게 지금 어떤 가치로 돌아오고 있는지 한번 말씀해 주시면 방금 승준님 질문에 답이 될 것 같아요.
최승준 그리고 거기에 하나 더해서, 지금 구매한 게 감가상각되기 전에 토큰을 얼마만큼 생산해야 감가상각을 버틸 수 있는지도 궁금하긴 하거든요.
노정석 너무 영업 비밀을 다 까놓으라고 하는 것 아닌가, 우리?
고석현 먼저 말씀드리면, 데이터센터에는 딜레마가 하나 있습니다. 원래대로라면 크고 모여 있을수록 금액이 줄어드는 게 맞아요. 그리고 데이터센터는 여러 이유로 그렇게만 할 수 있습니다. 그런데 GPU를 주력으로 한 네오클라우드는 거기서 좀 자유로워요. 그중 하나가 인터넷 백본인데, 원래 클라우드는 전력 대비 인터넷 대역폭이 넓어야 합니다. 그런데 네오클라우드는 저렴한 전용선 하나, 그러니까 데이터센터급 백본이 아니어도 그 역할을 다 할 수 있어요. 그래서 분산해서 지을 수도 있고요. 그리고 또 하나는 데이터센터의 그리드 코드라고 할까요? 어떻게 보면 이건 정책에 가까운데, 해당 지역의 전력망에 안정적인 부하를 줄 수 있는 정책과 설비를 도입해야 합니다. 예를 들어 저희가 1MW를 만드는 데 5억 원이 들었다고 치면, 실제 데이터센터는 25억, 30억 원 이상을 내야 하는 거예요. 그게 국가나 시설의 전력망 때문인데, 전력에서 가장 위험한 건 많이 쓰는 것도, 적게 쓰는 것도 아니고, 많이 썼다 적게 썼다를 반복하는 겁니다.
노정석 지금 이야기가 너무 빨리 나와서 앞 맥락 없이 너무 휙 뛰었거든요. 그래서 지금 들으시는 분들이 무슨 이야기인지 전혀 감을 못 잡으실 것 같아서, 그 데이터센터를 만드신 이야기부터 B300이 몇 장이고 하는 식으로 레이어를 조금씩 쌓아 주면서 여기까지 올려 주시면 이해가 훨씬 빠를 것 같아요.
고석현 우선 저희가 B300을 100장 정도 쓰고 있고요. 이 인프라가 5% 이상만 가동된다면 감가상각 비용과 실제 토큰 비용이 1 대 1이 됩니다. 그래서 운영률을 10%까지 만들면 2배의 이득이 되고요. 이걸 1년만 제대로 운영한다면 1년이 되기 전에 전체 CAPEX를 회수할 수 있다고 보시면 됩니다.
박종현 B300이 대략 얼마 정도 하죠? 아마 이걸 가장 궁금해하실 것 같습니다.
고석현 달러로 되어 있기는 한데요. 6만 달러 정도 하는 것 같고요. 한화로는 벤더마다 다르고요. 최근에는 한 8억, 9억 정도입니다. 한 대, 그러니까 B300 8개가 갖춰져 있고 거기에 대한 네트워크까지 포함된 게 그 정도라고 보시면 될 것 같아요. 그리고 클라우드에서는 보통 시간당 적으면 GPU 하나에 한 8달러입니다. 그리고 좀 비쌀 때는 10달러 이상이 보통 가격입니다. 그리고 이게 클러스터로 세팅되어 있으면 금액이 올라간다고 보시면 될 것 같아요. 그런데 지금 저희가 인퍼런스하는 과정은 다 클러스터를 기준으로 하고 있거든요. 그렇기 때문에 조금 더 가격이 올라갈 수 있겠죠.
노정석 그러면 B300 100대가 있고, 그게 지금 구축비만, GPU 가격만 거의 100억에 가까운 돈이 들어간 거네요.
고석현 그보다는 좀 덜 들어갔습니다.
박종현 그런데 B2C에서 GPU를 임대하는 업체들에 들어가 보면, 예를 들면 저는 RunPod이라는 서비스를 이용하는데 GPU가 맨날 동나 있거든요. 그러면 아까 말씀해 주신 것에 따르면 운영률이 5%에서 10%만 되어도 이윤을 남길 수 있는데, 밖에서 봤을 때 수요가 엄청 많고 공급이 모자라 보인단 말이죠. 그러면 자본만 있고 B300을 구할 수만 있다면 운영하면 무조건 돈을 벌 수 있겠다. 마치 예전에 자본이 있으면 공장을 짓고 생산 시설을 돌려서 돈을 벌 수 있었던 것처럼요. 그러면 가능하면 모두가 다 하면 되는 게 아닌가, 그래서 NVIDIA에서 B300을 구하는 것 자체가 어려운 일인가, 이렇게까지 생각이 흘러가는데 얼추 맞는 이야기인가요?
네트워크 설계 이점과 GPU 직접 구매의 이유 45:14
고석현 저는 그렇게 보입니다. 이걸 자체 인프라로 하면 몇 가지 장점은 있어요. 금액이 좀 줄어든다는 것도 있고, 또 최근에는 네트워크 구성이 굉장히 어렵다 보니까 자체 인프라를 구성하면 굉장히 기술적인 네트워크 구성도 가능합니다. 예를 들어서 prefill 1대, decode 2대로 된 클러스터는 NVIDIA Quantum 없이도 다이렉트 케이블 연결로 네트워크 구성을 할 수가 있어요. 그러면 라우터 한 대가 지금 한 개에 한 6억 정도 하니까 한 세트당 그 정도씩을 뺄 수 있는 거죠. 심지어 장애 대응이나 그런 것까지 제외하면서도 그런 장점이 있고요. 전반적으로 학습에 대한 것도 점점 모델의 구조, 학습의 구조, 이런 네트워크 연결에 따라 토폴로지가 가변하는 것 같아요. 예전이라면 다 동등한 네트워크 속도로 모두 최대 대역폭을 제공하고 학습 같은 걸 했을 텐데, 지금은 좀 그렇지 않은 것 같고요. 이런 것들을 파드 단위, 노드 단위 공급 사업자에게 커스터마이징해 달라고 하는 게 상당히 어려운 일이고, 거기에 대한 마진까지 생각하면 그래도 의미가 있지 않을까 싶습니다.
노정석 GPU를 직접 구매하셨는데, 그때 왜 사셨어요? 이게 굉장히 큰 금액이 들어가잖아요. 스타트업 입장에서 거의 투자금의 상당 부분을 CAPEX로 투자하신 건데, 합리적인 선택이라면 종현님이 방금 말씀하셨던 것처럼 RunPod이나 다른 네오클라우드에서 OPEX로 리싱하는 방법도 있잖아요. 그런데 이걸 upfront로 다 사신 이유는 뭐예요?
고석현 유휴 자원을 얼마나 잘 쓸 수 있을까도 고려했던 것 같아요. 예를 들어 토큰 서빙이 없을 때 우리 에이전트가 돌아갈 수 있을까, 학습과 인퍼런스를 얼마나 자유롭게 제어할 수 있을까 하는 거죠. 왜냐하면 이런 managed GPU들은 어떻게 해도 provisioning이 완벽할 수는 없어요. 저희가 모든 인프라를 제어할 수 없고, 모든 네트워크를 제어할 수 없고요. 저희가 최근 모델도 공급하고 서빙과 인퍼런스 최적화도 공개하고 있는데, 자체 인프라가 아니었다면 불가능하지 않았을까 싶습니다. 물론 빅테크들은 여기서 더 발전해 자체 칩을 만드는 건데, 그래서 비즈니스 형태에 따라 다른 것 같습니다. GPU의 성능보다는 비즈니스가 중요하고 빠른 성장이 중요하다고 하면, 당연히 OPEX로 빌리는 게 좋고요. 여기서 원천 기술을 연구한다거나, 남는 자원으로 operation을 최적화해서 유휴 리소스를 연구로 돌리거나 모델에 활용할 수 있는 역량이 있다면 충분히 고민해 볼 수 있지 않을까 싶습니다.
최승준 이걸 운용하는 역량이 구성원의 역량으로 흡수됐다고 보시는 거죠?
고석현 굉장히 많이 됐죠. 저는 새로운 회사를 만약에 만든다면 투자를 GPU로만 받을 것 같아요. 나머지는 중요하지 않거든요.
GPU 인프라가 만드는 인재 유치와 조직 자산화 48:00
박종현 그럼 이건 어떤가요? 제가 아까 보여주신 GitHub 페이지에서 익숙한 이름을 봤거든요. 이 B300을 많이 보유한 게 인재 유치에 큰 영향을 주지 않았을까 이런 추측이 드는데, 인재 유지 측면에서 실제로 도움이 되었나요?
고석현 상당한 비중을 차지하고 있습니다. B300이 너무 좋기 때문에 사이오닉에 남아 있는다는 사람이 실제로 있어요.
노정석 정말 사람과 컴퓨터가 결합해서 결합한 이들만 살아가는 세상이 되는 것 같아요.
최승준 그리고 인재와 역량, 인재 또는 역량을 유지했어요. 그 사람들이 일하는 궤적이 회사의 자산으로 남거든요.
고석현 실제로 그렇고, 잘하시는 분들이 있죠. 그런데 그분들이 한 게 정말 궤적이에요. 에이전트를 어떻게 사용했고, 토큰을 어떻게 사용했는지 궤적을 학습하거나 혹은 프롬프트로 추출해서 에이전트로 만들면 실제로 동작합니다.
노정석 그러니까 아까 보여주셨던 Second Company가 되는 거죠. 그 궤적을 학습한 애가 나타나서 퇴사자를 포함해 페르소나도 다 재현되는 거고요.
최승준 그게 노벨티가 있는 건 아니지만, 했던 것을 재현하는 것은 굉장히 성공 확률이 높을 것 같긴 해요.
에이전트 중심 조직과 control plane이라는 다음 하네스 49:12
노정석 그러니까 지금 저희가 우습게 이야기하고 있지만, 이러한 세상에서 이 사업은 어떤 모양일 것인가, 이 질문에 답을 해야 되는 거거든요. 그러면 그런 세상이 됐을 때 가치, 그러니까 value capture는 어디에서 일어날 것인가라는 질문이 곧 올 거거든요. 제 요즘 연구 테마이기도 하고, 저희 회사에 구현해 내고 있는 핵심 부분이기도 한데요. 왜냐하면 모두가 에이전트를 붙일 만큼 다 붙였는데, 느끼는 기시감이 회사가 바뀌지 않았다는 거거든요. 여전히 얘가 cron job을 돌면서 뭘 하지만, 사람이 다 보면서 의사 결정해야 되고 똑똑하게 메모리 구조도 만들어 놨고 여기저기 요소에 적용해서 돌아가게 다 만들어 놨지만, 결정적인 순간에 가서 “아, 죄송합니다.” 이러고 있거든요. 지금 에이전트 시스템이요. 그런데 이게 굉장히 똑똑한 시스템이 되더라도 그럴 거라서, 그러면 다음 세대의 하네스는 어떻게 해야 하느냐에 대해 제가 가진 답은 명확해요. control plane을 어떻게 구현할 거냐, contract를 어떻게 짜낼 거냐. 누구는 요약해서 “그게 온톨로지야. 그게 Palantir가 하는 일이야.”라고 하는데, 저는 그 Palantir 온톨로지스트, 그 세력자들을 좋아하지 않기 때문에 “아니, 그건 아니에요.”라고 이야기하는데요. 그런 쪽으로 가치가 계속 이동하게 될 것 같긴 해요. 그게 지금 AI 트랜스포메이션이 아직 언급하지 않는 다음 트렌드라는 생각은 좀 들고 있고요.
박종현 아니면 이런 건 어떤가요? 구조적으로 정답 자체가 존재하지 않는 문제들이 있잖아요. 예를 들면 취향의 영역인 문제들, 누군가에게는 A가 정답이지만 누군가에게는 B가 정답인 문제들이요. 이런 것들 같은 경우에는, 대표적으로 저희 채널도 마찬가지겠죠. 유저마다 선호할 수도 있고 선호하지 않을 수도 있으니까요. 그런 것들도 AI가 잘하는 시대가 오기까지는 아직 한참 남은 것 같거든요. 왜냐하면 근본적으로 RLVR로 지능을 올리고 있기 때문에, 저희 도망자 연합이라는 표현에 따르면 그쪽으로 도망가는 것은 어떨까 하는 생각도 들긴 합니다.
고석현 그런데 저는 도망의 관점보다는 잘하는 것을 극대화하는 게 맞다고 생각하거든요. 그래서 말씀하신 것처럼 목표를 정하고 루프를 정할 수 있는 일의 가격은 계속 내려갈 텐데, 이게 사회 전체에 퍼져서 그 가치, 그러니까 원래 그 가치를 갖는 데는 상당한 시간이 걸릴 것 같아요. 짧으면 10년, 길면 30년이요. 그래서 AI가 잘하는 것을 극대화하고, AI가 못하는 것을 찾는 것을 장기 비전으로 두는 게 맞지 않을까 싶고요. 결국 안목이 중요하다는 데 저는 상당히 공감해요. 그래서 좋은 것을 봐도 좋다고 알아볼 수 있는 취향과 안목, 거기에 대한 전문성, 그것을 도메인 지식에서도 이야기하시는 것 같아요. 그런 부분이 굉장히 복합적으로 존재할 것 같고요. 그런데 제가 앞에서 말한 것 중 하나는 AI가 잘하는 것을 더 잘하게 하는 데 집중해야 하지 않느냐는 이야기였지 않습니까? 그런데 그걸 잘하게 하는 것은 조직 거버넌스일 것 같거든요. 어떤 조직의 데이터를 어떻게 모아낼 것이냐, 그걸 어떻게 AI가 쓸 수 있게 만들 것이냐, 이게 가장 크게 가르지 않을까 싶습니다. AI를 활용하기 가장 어려운 것은 기업 입장입니다. 저희는 B2B 회사니까요. 굉장히 자기 파괴적이에요. 그래서 이걸 결정하면 나의 조직이 없어질 수도 있고, 나의 팀이 없어질 수도 있고, 심지어 내 일자리가 없어질 수도 있는 거죠. 그런데 이것의 긍정적인 면을 잘 발굴해서 조직에 적용하고, 실제로 그것을 비즈니스 가치로 만들 수 있느냐를 굉장히 자기 파괴적이지만 해낼 수 있는 조직만 압도적으로 앞서갈 거고, 나머지는 정말 어려울 것 같아요. 그래서 조직을 어떻게 정비할 거냐, 어떻게 일할 거냐로 귀결되지 않겠나 싶습니다. 적어도 10년, 길면 30년 동안 이 아젠다가 메인이 아닐까 하는 게 제 생각입니다.
노정석 대표님이 방금 말씀하신 그런 조직의 형태로 쌓이는 게, 우리가 알고 있는 회사 자체가 사실 계약과 어떤 재량의
고석현 이것이죠. Second Company
노정석 연합체거든요.
최승준 저는 의견이 조금 다른데, 성문화시켜서 담아내지 못하는 영역이 있긴 할 것 같아요. 그러니까 아무리 이게 지금 어쨌든 토큰화를 시켜야 이걸 통제하든 다뤄낼 수 있는데, 그것으로는 담아내지 못하는 영역이 늘 있을 것 같다는 직관은 있거든요.
노정석 그런데 그게 전통적인 HR에서 인간의 능력을 어떻게 개발할 거냐는 거죠. 예를 들면 사장이 어떤 본부를 만들어서 본부에 과업을 주는데, 그 본부장과 사장 사이에는 어떤 ‘너의 목표는 이거야’ 라고 하는 요청이 있고, 거기에 대해 ‘너는 이걸 줘야 돼’ 라는 응답이 있다는 것, 그게 일종의 계약으로 쓰이는 거거든요. 그런데 그 안에 들어가면 그 본부의 어떤 역량이 돼요. 승준님이 얘기하셨던 자율적인 역량이 되고, 저는 그걸 재량이라고 표현하는데, 그 안에도 보면 역시 본부장과 팀장 사이에 또 계약이 나뉘어서 존재하고, 그 아래로 들어가면 또 팀장과 팀원 사이에 이게 존재해요. 그런데 그 구간들을 보면 다 계약, 그러니까 아주 deterministic한 그런 계약과 non-deterministic한 사람의 역량이 이렇게 걸리는 구간들이 있거든요. 이미 회사가 그렇게 구성되어 있어요. 그런데 에이전트는 지금 100% 재량으로만 돌아가거든요. 프롬프트와 그다음에 뭐죠? skill이나 plugin을 붙이더라도 제대로 따르지 않아요. 그래서 저는 에이전트 하네스도 회사의 시스템이 그랬던 것처럼 이 control plane과 discretion plane, 그러니까 계약과 재량의 plane이 바뀐 형태의 하네스가 나올 거라고 생각하고, 그걸 저는 개인적으로 저희 회사에서 구현하고 있어요.
최승준 ‘지도는 영토가 아니다’이긴 하거든요.
노정석 그런 관점에서 보면 회사도 여전히 구분은 없어요. 그러면 예를 들어 시스템이 굉장히 잘 짜인 보통 사람 30명으로 구성된 회사와 종현님 같은 똘똘한 인재 한 명으로 구성된 회사, 그 두 개의 차이, 그러면 어떤 게 옳은 회사냐는 질문에 지금 답할 수 없는 것과 마찬가지죠. 보여주신 prefill과 decode에서 여기까지 drift가 생겼는데, 다시 prefill과 decode로 돌아가죠.
NVIDIA Dynamo와 KV 캐시 오케스트레이션 55:49
고석현 그래서 이런 KV 캐시를 나누는 건 굉장히 중요한 것 같아요. 그런데 이걸 구현하기 어려우니까 아까 종현님이 설명해 주신 NVIDIA에서 이걸 다루는 기술이 있습니다. NIXL이라고 하는데, 이걸 구현하고 있는 게 NVIDIA에 있어요. NVIDIA Dynamo라는 게 있고, 이 Dynamo가 해주는 일은 노드 간 KV 캐시를 직접 옮겨주고요. 예를 들어 1번 GPU에서 썼던 KV 캐시를 2번 GPU가 직접 접근할 수 있게 해주는 역할도 합니다. 그리고 저는 NVIDIA를 굉장히 대단하게 생각하는데, 그 이유는 이렇게 거대한 회사지만 스타트업입니다. 그리고 된다고 하는 게 잘되는 경우가 거의 없어요. 그런데 다 해냈기 때문에 이렇게 혁신적으로 일할 수 있는 게 아닌가 싶고요. 그래서 그걸 다 적용하게 되면 이런 분리도 할 수 있고, 또 여기서 문제가 생깁니다. 저희는 prefill도 분리하고 decode도 분리하고, 심지어 투기적 디코딩을 통해 draft를 생성하고 draft를 병렬로 검증하지 않습니까? 그럼 여기에 들어가는, 논문에는 나오지 않는 서비스 코드, 운영 코드, 라우팅 코드들이 엄청나게 많은 거죠. 그런데 이걸 정말 사람이 짤 수 있을까? 이 수많은 사례를 검증하면서요. 불가능할 것 같아요. 불가능하다는 건 하루 안에는 절대 안 될 것 같고요. 반년이 걸릴 수도 있고 3개월이 걸릴 수도 있는데, 이걸 병렬 에이전트가 나눠서 처리하고 기계적 검증을 거치니까 하루, 길면 이틀, 빠르면 몇십 분 안에 모든 것이 끝나더라고요. 그래서 요즘 보면 저는 AI가 특히 이런 모델 쪽에서는 일종의 컴파일러처럼 보여요. 예전 같으면 여러 GPU가 있고 모델도 여러 개이기 때문에 하나의 모델과 하나의 GPU만을 위한 어셈블리 특화 코드를 짜는 건 엔지니어링 관점에서 안 좋은 일이었어요. 그런 말이 있지 않습니까? ‘모든 악은 최적화에서 온다’라는 격언이 있는데, 지금은 아닌 거죠. 그냥 이런 걸 수천, 수만 번 할 수 있는 에이전트가 있고, 우리가 GPU 시간을 조금 줄이는 것, 동시성을 조금 줄이는 게 엄청난 경제적 수익으로 돌아오니까요. 심지어 원가는 다 비슷하니까요. 그러니까 저희같이 작은 규모에서도 Kimi를 초당 400토큰, 500토큰씩 생성할 수 있고, DeepSeek V4 Flash 같은 건 초당 1,000토큰 넘게 생성할 수 있고, 빅테크가 못해서 안 하는 건 아닐 거거든요. 그런데 작은 규모에서 할 수 있는 해자들이 더 보이는 것 같아요. 그리고 아까 말씀드린 것처럼 초당 1,000토큰이 넘어가는 에이전트가 여러 개 있으면 회사 자체를 시뮬레이션할 수 있어요. 그러니까 LLM이 아닌 겁니다. 어떻게 보면 세상에 커널을 돌릴 수 있는 거죠. 실시간으로 이런 말도 안 되는 일이 눈앞에서 벌어지고 있다, 이게 제가 생각하는 큰 부분인 것 같아요.
고속 서빙의 원가 구조와 토큰 속도가 돈이 되는 영역 58:46
박종현 그럼 이 토큰 속도에 대해 제가 또 하나 궁금한 건, 저희가 실제로 OpenRouter 같은 데 가서 Kimi K3 같은 경우 초당 몇백 토큰씩 나오는 걸 보여주셨는데, 외부 서비스 중에는 그렇게 빠른 서비스가 많지 않거든요. 굉장히 다양한 공급자 중에서도요. 그런데 그건 사용자 한 명을 기준으로 하기 때문에 그런 거죠? 그러니까 머신의 입장에서 대역폭은 많이 나오고 있지만, 그걸 다 나눠 써야 하니까 그런 건가요?
고석현 사실 정확한데, 이 투기적 디코딩도 결국 GPU의 연산 효율을 더 잘 쓰는 방법이에요. 그런데 잘 쓴다는 게 공짜 점심은 없지 않습니까? 그러니까 원가를 올려요. 그래서 이 빠른 속도의 모델에 프리미엄 가격이 붙어 있다면 모두가 그렇게 서빙할 텐데, 실제로 지금은 가격이 그렇지 않은 거죠. 그래서 추측하건대 OpenRouter도 자동 라우팅 기능이 있고, 좋은 품질, 좋은 TTFT, 좋은 네트워크 속도가 있는 곳에 라우팅 우선순위를 줍니다. 그래도 그런 것이 필요한 공급자는 이걸 공급할 가능성이 높고요. 저희처럼 B2B 계약을 주로 하니까 그런 곳에는 특화된 모델을 공급할 필요가 있으나, 공개 플랫폼에서는 가격적 해자가 없으니 그렇게 할 필요가 적은 거죠.
박종현 TPS를 올리기 위해 원가가 늘어나다 보니 API 가격을 더 싸게 할 수 없어서 시장에서는 경쟁력이 없는 거죠. 왜냐하면 대부분의 사용자는 TPS가 엄청 높은 걸 원한다기보다는 싼 가격에 지능을 사고 싶은 거니까요. 그런 것 같아요.
고석현 그런데 이것도 바뀌는 지점이 있어요. 그러니까 공짜 점심이 잠깐 있는 건데, 모델의 크기와 MoE의 구조, 메모리 대역폭에 sweet spot이 있는 곳은 저희처럼 공짜 점심을 잠깐 찾을 수 있습니다. 그러니까 병렬성을 올려 더 빠른 걸 제공해도 원가율이 똑같은 경우가 생기는 거죠. 그럴 때는 저희처럼 서비스할 수 있는 것 같아요.
최승준 그것도 에이전트가 찾는 거예요?
고석현 당연히 찾을 수 있을 텐데, 그 의사 결정은 사람이 해야 할 것 같아요. 이 모델은 병렬화를 해서 토큰 생성을 빠르게 해도 원가율에 지장이 없거나, 아니면 시간당 점유가 줄어드니까 더 올라간다는 걸 당연히 기계적으로 계산할 수 있고요.
노정석 사실 Frontier Lab도 많은 TPS를 주려면 아마 할 수는 있을 거예요. 그런데 그들이 배치라고 얘기하는 것, 한 배치에 굉장히 많은 수의 사용자가 있고, 그다음에 그 사용자들은 각자 다른 context length를 가지고 그 열차에 타는 거니까, 단위 시간당 많은 사용자를 서빙하려다 보니 저희는 200달러 요금제 같은 걸 썼을 때 받게 되는 TPS가 저 정도인 거고, 만약 큰 모델을 서빙하는데 ‘나는 한 달에 1,000달러를 낼 테니 훨씬 더 높은 TPS의 어떤 버킷에 나를 담아줘’라고 하면 가능한 거죠.
고석현 그런데 아마 그런 고속 모델이 엄청 빠르지는 않을 거예요. 초당 500~600토큰을 제공하지 못할 거고요. 그런데 지금 저희가 단순한 대화형이나 코딩 에이전트라서 이렇게 순진한 생각을 할 수 있는데, 이게 보안이라면 실시간 대응에 필요한 것이고, 방산 같은 곳이라면 심지어 물리적인 장비에 연결되어 있다면 아예 다른 이야기일 것 같아요. 토큰 속도가 실제 금액이 되는 시점이 올 거고, 이게 또 금융이라면 거래해야 한다거나 더 빠른 의사 결정이 돈을 만드는 세상이 굉장히 많거든요.
보안·금융에서 커지는 초저지연 인퍼런스 가치 61:57
노정석 10,000 TPS로 이걸 한다고 하면 이건 말이 되는 거죠.
고석현 그리고 저희 고객 중에는 최근 저희와 비슷한 정도의 하드웨어를 갖추는 고객들이 있으세요. 그런 고객들이 병렬 인퍼런스를 해서 고속 API를 직접 자체 서빙한다면, GLM이나 Kimi 정도만 돼도 이미 엔지니어의 소양은 다 갖추고 있거든요. 좀 무시무시한 거죠. 꼭 Opus가 아니어도, 꼭 Sol이 아니어도 굉장히 많은 걸 할 수 있기 때문에, 심지어 20배의 속도로요.
노정석 저희가 자원 이야기로 시작해서 인퍼런스가 중요하다는 이야기로 이어졌고, 그 안에서 인퍼런스의 핵심 workload 두 개가 prefill과 decode인 거고, prefill과 decode는 성격이 굉장히 다른 거고, 그걸 어떻게 최적화해서 배치하느냐가 최신 현대 인퍼런스의 거의 전부인데, 고 대표님이 사이오닉에 자체 B300 데이터센터를 갖추고 다양한 실험을 하고 이런저런 걸 한 결과, prefill과 decode가 완벽하게 분리된 무언가를 만들었고, 그게 기존 대비 굉장히 높은 성능을 발휘한다는 이야기가 오늘 이야기의 맥락이었습니다.
최승준 그렇죠. 다른 방식의 일을 창출할 수 있다는 거죠.
노정석 그리고 그런 것들이 가능해지면서 저희가 중간중간 가치는 어디에서 포착되느냐, 세컨드 컴퍼니는 어떠냐, 그러면 가치는 역시 AI와 에이전트를 조직화하는 데 있는 거다, 이런 얘기들은 그것들이 가능해졌을 때 생기는 이야기들이고, 저희가 토끼굴을 여기저기 다녀온 거고요. 그러면 대표님, 오늘 원래 준비하셨던 내용과 전달하고 싶었던 말씀 중에 빠진 것들을 한번 빠르게 처리해 보고 다음 모드로 넘어가 볼까요?
SFT·양자화 재평가와 산업 특화 인퍼런스 64:00
고석현 우선 가장 큰 건 아까 처음에 얘기했던, 이제 fine-tuning, 즉 SFT를 하는 과정이 속도를 아예 빠르게 할 수 있다는 게 중요해진 것 같고, 그리고 양자화에 대한 것들이 좀 줄어들 것 같아요. 양자화를 통해 얻는 이득은 굉장히 기계적이고 산술적인데, 이걸 모델의 어떤 예측력 모멘텀을 통해서 양자화를 안 하는 것도 좋다는 결론이 나올 수도 있고요. 그리고 마지막으로, 물리적인 세계와 연결되어 있는 것들, 금융, 보안, 방산, 국방과 같은 쪽에서는 이런 예측 기법들을 통해서 안 되던 게 되는 일, 빨라지는 게 아니라 아예 못 했던 걸 할 수 있게 되는 일들이 계속 발생할 것이다. 이건 저희가 초입에 있지 않습니까? 그리고 인프라와 모델을 보는 시각이 상당히 많이 달라질 것 같다는 게 제 생각입니다. 그런데 이게 굳이 Frontier Lab들의 그런 것들은 아니고요. 한국에서 독파모 모델도 적용해 봤더니 잘 되더라. 그리고 인프라와 산업을 보는 눈이 좀 바뀌어야 한다는 거죠.
노정석 그러니까요. 저희가 심심치 않게 요새 듣고 있는 소식이, 정말 Anthropic과 OpenAI만 가지고 있었다고 생각한 기술들, 지금 저희가 화면에서 보고 있는 저것들이 Frontier Engineering, Frontier Technology였는데, 이것들이 정말 바깥으로 나와서 다른 곳에 모두 소위 퍼지는 걸 저희가 commoditize, democratize라고 얘기하는데, 이런 식의 어떤 주기가 어마어마하게 빨라져 버렸어요. 그래서 Kimi나 DeepSeek은 OpenAI와 Anthropic이나 혹은 Muse Spark를 만들었던 Meta의 TBD Lab이나 거의 상향 평준화되고 있는 듯한 느낌을 받습니다.
박종현 저기 나열되어 있는 기술들 중에서도 제가 분류해서 하나 질문을 드리자면, 어떤 것들은 공통적으로 모두에게 적용 가능한 기술이지만, DSpark나 fine-tuning으로 맞춤화할 수 있다, 이런 거는 쓰는 사람에게 맞춤화하는 거잖아요. 그러니까 인퍼런스도 bulk로, 저희가 OpenAI가 그냥 다 해주는 인퍼런스를 엄청 많이 쓰고 있듯이, Anthropic이나 OpenAI가 해주는 것처럼 그런 게 아니라 우리 회사에는 이런 workload를 많이 돌리니까 여기에 맞게 이 workload의 trajectory를 만들고, 우리 회사에 와서 여기에 맞게 fine-tuning해 줘. 그리고 우리 on-prem에서 이거를 빠르게 돌리게 해 줘. 그러면 실제로 밖에서보다 가격을 훨씬 더 싸게, 안에서만 빠르게 돌리는 것도 가능한 거잖아요. 그럼 여기서도 인퍼런스라는 게 큰 사업자만 하는 게 아니라 각각 쪼개져서 밖으로 나가는 사업이 될 수도 있다고 생각이 드는데, 실제로 이걸 해보셨으니까 현실적으로 그게 가능한 건지, 이런 것들에 대한 의견이 궁금합니다.
고석현 저는 굉장히 많이 가능하다고 보고, 일반적인 에이전트는 당연히 경제성이 있습니다. 지금은 그런데 이게 특수 목적까지 가서 산업 특화가 되면, 그때부터 아예 다른 차원이다. 잘되는 정도가 아니라 아예 다른 일을 할 수 있다는 게 가장 큰 것 같아요.
OpenAI·Anthropic 구도 약화와 Kimi의 부상 67:00
노정석 그러니까 이게 어떤 것들과 연결되어 있냐면, Anthropic이랑 OpenAI가 작년까지만 하더라도 자기들이 그냥 세상 지능의 공급자가 되고, 그냥 next Google이 되고, 우리가 다 짱 먹어요. 나머지는 그냥 우리 위에서 쓰세요라는 것들의 어떤 향연이었잖아요. 그런데 올해 들어오면서 완전히 바뀌었단 말이에요. OpenAI랑 Anthropic도 전선을 계속 좁혀가고 있는 게 눈에 보여요. 우리가 next Google이 될 거고, 뭐든 할 거야라고 하는데, 저 아래 모델과 인프라스트럭처 쪽에서도 그걸 방어해 내는 것만으로도 정말 헉헉거리는 게 눈에 보이거든요. 그리고 Anthropic이나 OpenAI가 다 해버릴 것 같았던 그런 엔지니어링이나 그런 workload를 만드는 애플리케이션이나 이런 것들이 지금 우리가 보고 있는 것처럼 정말 밖으로 다 나왔어요.
고석현 이거 저희가 웃자고 하는 얘기인데, 그런 얘기가 있었어요. Fable한테 물어봐도 대답 안 하는 것들이 진짜 세상의 알짜 지식이다. 그걸 Kimi로 만들어야 한다는 거거든요.
노정석 그렇죠. 지금 Fable은 biology나 chemistry, 보안 같은 걸 물어보면 그냥 바로 답을 안 하는데,
고석현 심지어 LLM 최적화 기술도 약관상 안 된다고 쓰여 있기도 하고요. 대답 안 해줍니다.
박종현 저는 최근에 Kimi를 제가 서빙하는 건 아니고, 100달러짜리 요금제를 쓰면서 일부러 열심히 써보고 있거든요. 최근에 써보면서 느낀 거는, 대부분의 일에서는 유의미한 차이를 저는 느끼지 못하고 있습니다. 그러니까 Opus 5로 하는 일들, 아니면 GPT도 쓰는데, 그냥 medium이나 high로 시켜도 충분히 잘되는 일들을 Kimi K3, 그냥 Kimi CLI를 똑같이 구독 요금제로 사용해도 괜찮거든요. 저는 이때까지 차이를 발견하지 못했어요.
노정석 Kimi의 품질이 그만큼 좋다는 말씀을 하고 계시는 거죠.
고석현 저희는 OMO 같은 Oh-My-Opencode 개발자도 회사 내에 계시는데, 이런 에이전트랑 Kimi가 더 잘 동작한다는 게 느껴지고요. 그래서 심지어는 Opus보다 좋아 보일 때가 생각보다 좀 있어요. 왜냐하면 하네스랑 그걸 완전히 궤적에 맞춰 놓은 부분들이 있고, 거기서 속도가 한 5배, 6배쯤 빨라져 버리고 병렬 추론까지 많이 하니까, 저희는 요즘에 잘 안 쓰는 것 같아요. 오히려 내부 GPU가 있으면 최대한 많이 쓰는데, 그게 Opus나 Fable과 분야는 다르겠죠. 그런데 거의 구분할 수 없거나, 심지어는 더 잘되는 현상들까지 보이고 있는 거죠.
노정석 이런 얘기들을 하다 보면, 저희가 지금 이런 얘기들을 하면서 미래는 어떻게 갈까라는 추론이 머리 위에서 다 돌고 있는 거잖아요. 그래서 결과적으로 미래는 이런 모양일 거야라는 자기들만의 가정들을 갖게 되고, 그 가정이 사업 전략, 투자 전략으로 현실에 나오는 건데,
고석현 저희가 이거 참고로 오픈소스로 공개할 예정입니다. 말씀드리지만 좋은 프로젝트가 아니고 slop이에요. slop인데 재미 삼아 보실 분은 한번 돌려보시면 좋겠습니다.
노정석 저도 돌려볼게요. 저 slop을 컴퓨팅을 엄청나게 많이 투입해서 최적화하면 쓸 만한 프레임워크가 저는 된다고 보거든요. 지금 모든 우리의 AI 엔지니어링, Claude Code나 Codex로 작업하는 과정이 그냥 토큰을 밀어 넣어서 우리가 가보지 않은 곳의 어떤 outcome을 그냥 꺼내는, 예전에는 그게 일이고 창조라고 생각했지만 지금은 컴퓨팅을 투입해서 그냥 검색하는 문제, interpolation하는 문제로 바뀌고 있거든요. 그래서 저희가 예를 들어서 Claude Code로 새 기능을 만들었다. 한 에이전트가 3시간 돌아서 방대한 기능을 하나 만들었어요. 그러면 그다음에 하는 가장 자연스러운 게 뭐예요? 그냥 그거 커밋하고 그다음 마일스톤으로 가는 게 아니라, 두 번, 세 번 정도 검산시키잖아요. 자, 문제가 분명히 있을 거야. 큰일을 했으니까 반례를 찾으면서 계속 문제가 없을 때까지, 네가 확신할 때까지 돌리라고 하면서 한 세 번 루프를 돌면서 그 slop을 안정화하는 데 쓰잖아요. 그런데 그게 이제 1,000 TPS, 막 10,000 TPS로 돌면 그것도 순식간에 끝날 거고, 그게 되고 나면 slop이 아니라 꽤 쓸 만한 하나의 안정된 컴포넌트로 오거든요.
대규모 컴퓨팅이 만드는 안정적인 에이전트 시스템 70:31
고석현 이게 어떻게 보면 AX의 극한이에요. 데이터만 공급하면 이 회사가 생기는 거죠.
노정석 그러니까 지금 저희가, 지금은 조직이 사람으로 되어 있고 AI 에이전트들이 그 사람들의 도구로 들어가 있거든요. AI 에이전트들을 어떤 회사에서 사람을 대체하는 지점에 탁 꽂아서 완전히 믿고 돌리는 회사는 없어요. 기껏해야 고객 CS를 하는 거, 고객 문의에 답변하는 그런 봇들에만 들어 있지, critical한 결정들을 지금 에이전트한테 맡기고 있는 회사는 없거든요.
고석현 네, 맞습니다.
노정석 그럼 이제 이다음 단계는, 어떤 critical한 업무에 완전히 에이전트를 붙여서 얘한테 맡길 수 있느냐가 그다음 질문이 되는 거고, 그다음 질문에 답하기 위해서는 또 다른 패러다임이 나올 거라는 생각은 100% 듭니다.
에이전트 중심 조직과 생체 에이전트 비유 72:12
박종현 그런데 이걸 보니까 아까 얘기하신 것처럼, 회사가 아닌 다른 곳, 다른 구조에도 넣었을 때 어쩌면 더 쉽게 시너지가 잘 날 수 있는 부분들도 있지 않을까. 회사랑 비슷한 게 뭐가 있지 하면, 굳이 따지면 종교 같은 게 있을까요?
고석현 사람 조직도 비슷한 것 같아요.
박종현 국가 조직이요?
고석현 네, 더 위험하죠.
박종현 그렇죠. 넣었을 때 가상으로 국가를 시뮬레이션해 볼 수도 있고.
노정석 이제 저희가 이다음에 볼 거는, 정말 회사가 인간이 메인이 되고 에이전트가 서브인 게 지금의 모습이라면, 에이전트가 메인이 되고 인간이 서브가 되는 그런 이상형의 회사들을 보게 될 겁니다.
고석현 멀지 않은 것 같습니다. 그게 좋은지는 모르겠어요. 저희가 농담 삼아 이것도 생체 에이전트가 빨리 더 일을 잘해야 한다, 이런 얘기를 하는데 지금은 생체 에이전트거든요. 물리 세계와 소통 가능한 생체 에이전트.
노정석 승준님이 갑자기 전기가 나갔다고, 전기가 나가서 지금 부팅을 하고 뭘 하고 계시는 중인데, 이런 것들이 앞으로 일어나겠네요. 에이전트가 “저 IDC가 정전입니다”라고 하면, 그냥 순식간에 인류 전체의 지능이 퇴보하는 거죠. Andrej Karpathy가 세계가 이제 정전되는 거다, brownout 되는 거다라는 표현을 했었는데,
네트워크 병목과 데이터센터 정전 리스크 73:29
고석현 그 지점인 것 같고, 지금 저희가 말한 것들, NeoCloud 센터, 직접 인프라를 운영하는 것, 다 엄청난 허점이 하나 있어요. 세상 모든 게 발전했는데, 네트워크 속도가 전혀 발전하지 않았어요. 그래서 GPU를 모아 놓는 것도 힘들고, 반대로 분산시킬 수도 있다는 것도 저는 그 담론 중 하나라고 봅니다. 컴퓨터 빨라졌죠. 말도 안 되게 빨라졌죠. 모든 게 빨라졌는데, 지금도 많은 데이터를 옮기려면 하드디스크에 많이 넣어서 차로 가거나 비행기로 가는 방법밖에 없어요. 그러니까 어떤 데이터센터가 무너졌을 때 순식간에 다른 곳으로 복구될 가능성은 거의 없다.
노정석 유전자 데이터만 하더라도 몇백 GB씩, 0.5TB씩은 넘어오거든요. 그거 가지고 넘어가는 데는 굉장히 빠른 USB 3.0을 붙여도 꽤 큰 속도 차이가 나거든요. 그래서 모든 인류가 그 정도 대역폭을 필요로 하는 곳으로 가고 있는 것 같아요. 저희가 지금 비디오를 막 4K로 집에서 보고 있는데, 인터넷 초창기나 몇 년 전까지만 하더라도 이런 게 될 거라고 생각하지는 않았거든요. 그냥 계속 대역폭에 대한 수요는 계속 커질 것 같습니다. 그만큼 한 주에 일어나는 일이 굉장히 많아요. 저희 이번 주에 굵직한 소식들이 뭐가 있었죠? 저희 뉴스와 만담 세션으로 마무리 단계로 가야 할 것 같은데요.
Google DeepMind 개편과 Jeff Dean의 Discovery Loop 창업 74:56
최승준 제일 큰 것은 Google DeepMind의 상황이죠. 그래서 오늘 아침에 SemiAnalysis의 발표를 보니까, 구글이 결국에는 Frontier Lab을 하지 않고 TPU 자원 사업을 하는 것 같다. 그런 이야기가 좀 있었던 것 같고요. 그에 이어 일어난 사건이 Demis Hassabis가 승진하는 듯하지만, Isomorphic Labs 등의 연구에 집중하는 쪽으로 이동했고, 구글의 기초를 닦았던 전설적인 엔지니어인 Jeff Dean과 그보다 이걸로 유명하죠. ‘오래된 우정’이라는 글로, Jeff Dean이 고정해 놓은 트윗의 포스팅이 있는데, Jeff Dean하고 Sanjay Ghemawat이라는 분의 우정이 구글을 어떻게 이끌었는가에 관한 글이 있어요. 그 두 분하고 또 sequence-to-sequence의 저자인 Ilya Sutskever, 그다음에 Oriol Vinyals, 그다음에 Quoc Le인가요? 발음을 어떻게 해야 할지 모르겠는데, 하여튼 그 세 분 중에 두 분이 같이 Discovery Loop라는 회사를 차린 게 굉장히 큰 이슈였죠. 그 외에도 GPT-6에 해당하는 Astra에 관한 소식, 수학과 과학의 문제 10개 정도를 푼 것, 그다음에 Muse Spark가 3등 정도로 올라오고 있다. 그다음에 DeepSeek가 DeepSeek V4의 가격을 올렸다. 온갖 소식들이 이번 주에도 넘쳐나긴 했거든요. 뭘 이야기해 볼까요?
인퍼런스 수요 폭증과 컴퓨팅 자본 게임 76:26
박종현 소식들이 엄청 많았는데, 그중 꽤 많은 소식이 오늘 한 이야기인 인퍼런스와 관련이 꽤 있는 것 같아요. 특히 SemiAnalysis의 분석 결과, 구글이 어쨌든 Gemini를 못 내놓고 있는데, 인사 이동에 앞서 먼저 이야기하자면, Gemini는 못 나오고 GCP는 컴퓨팅 리소스를 팔아서 돈을 잘 벌고 있다. 결국 인퍼런스에 대한 수요는 엄청 많고, 모델을 제대로 만들지 못해도 돈을 충분히 벌고 있다는 이야기고요. 그것과 또 관련 있는 게 마지막에 이야기해 주신 DeepSeek V4, DeepSeek V4 Flash가 아까 맨 처음에 보여주셨던 거죠? 280B, 그 정도 되는 모델인데, OpenRouter 트윗에서 그런 것을 많이 봤거든요. 제가 근 3일 동안인가 봤는데, 토큰이 하루에 6T였던 게 7T가 되고 8T가 됐다고 하더라고요. DeepSeek V4가 대부분을 차지하고요. 그래서 사람들이 엄청 많이 쓰고 있는 것 같고요. DeepSeek V4는 가격을 한참 올리겠다고 공지했습니다. 인퍼런스 가격을요. 그런데 그걸 누가 또 계산해 놨더라고요. 네오클라우드 업체에서 GPU를 빌려서 그걸 서빙해도 아직도 마진이 있대요. 그렇다는 이야기는 인퍼런스에 대한 수요가 늘어나고 있는데, 아직도 여유가 남아 있고, 아마도 컴퓨팅 가격은 수요가 있는 만큼 계속 올라가겠죠. 컴퓨팅 공급이 확 늘어나지는 않으니까요. 그게 Dwarkesh의 가장 최근 영상이기도 하죠. “지능은 수요에 상방이 없다.” 이런 이야기를 해 주셨는데, 컴퓨팅이 돈을 주고 사면 지능으로 치환돼서 그게 가치를 만들어 내고 있으니까, 파는 가격과 사는 가격의 차이가 있으니까 컴퓨팅 가격은 무조건 오를 것이다. 이런 이야기였던 것 같아요. 그래서 이 맥락에 다 맞는 흐름은 인퍼런스가 돈이 된다. 인퍼런스를 어떻게 하면 더 최적화할 수 있을까? 인퍼런스 가격 자체가 올라갈 것이다. 어디까지 올라갈 것이냐 하면, 누군가는 그 인퍼런스를 대량으로 사다가 지능으로 치환해서 돈을 벌고 있을 텐데, 그 가격까지 맞춰지지 않을까?
최승준 그 가격까지 맞춰진다는 게 뭐죠? 좀 더 자세히 풀어 줄 수 있나요?
박종현 예를 들어서 어떤 특정한 회사라고 해 볼게요. 예를 들면 고 대표님 회사 같은 데서 B300 같은 걸 사서 돌려서 뭔가 결과물을 만들어 내는 거예요. 아까 보여 주신 그런 슬롯이라고 표현해 주셨지만, 가상의 회사인 거죠. 그런데 그 회사가 만약에 실제로 돈을 벌어요. 돈을 많이 벌어요. 그러면 버는 만큼, 컴퓨팅에 투자한 것 대비 돈을 버는 만큼이 수요와 공급이 맞아지는 시점이잖아요. 누군가는 컴퓨팅이라는 리소스를 100만 원에 사서 그걸로 1천만 원을 벌고 있으면, 이 컴퓨팅 가격이 900만 원까지 가도 사겠죠. 1천만 원이 될 때까지 계속 사겠죠. 그러면 이게 포화되지 않는 이상, 돈을 계속 벌어 낼 수만 있다면 그 가격에 맞닿는 지점까지 가겠죠. 그런데 지능이라는 게 엄청 다양한 비즈니스에서 돈을 벌 수 있는데, 그 비즈니스마다 많이 버는 게 있고 적게 버는 게 있을 텐데, 가장 많이 버는 곳까지 컴퓨팅 리소스 가격이 오를 수도 있지 않을까?
노정석 그러니까 지금 이게 살짝 commodity화되어 가고 있는 건데, 자본 게임화되고 있다는 이야기, 저희가 굉장히 많이 듣고 있잖아요. 얼마 전에도 고 대표님이랑 저랑 이 업계의 핵심 관계자와 이런 이야기를 했는데, 여기의 핵심은 자본 게임이다. 그런데 종현님이 방금 말씀하신 마진 폭이 존재하는 한 여기에는 사업자가 계속 들어올 거예요. 저희 같은 일반인들이 못 끼어서 그렇지, 지금 자본들은 예전에 항만이나 건물 인프라에 투자하던 회사들도 전부 다 IDC 투자 대열에 들어와 있거든요. PE나 헤지펀드나 할 것 없이요. 그래서 그 갭이 자본 대비 굉장히 만족스러운 IRR인, 예를 들어 7~8% 수준까지 줄어들 때까지는 계속해서 자본이 들어올 거고, 시장은 성장할 거고요. 그 기간 동안 공급량 대비 수요가 얼마나 성장하느냐가 투자가 계속될 것이냐, 아니면 어디에서 포화될 것이냐를 결정하게 될 텐데, 그건 지금은 아직 아무도 몰라요. 그런데 현재 상황만 놓고 보면 수요가 커지는 속도가 훨씬 빠르다. 그리고 수요가 커지는 속도 대비 공급이 굉장히 느리게 올라오는데, 왜냐하면 거기에는 IDC를 건설하는 데 걸리는 물리적인 시간, 그리고 칩들을 찍어 내는 데 걸리는 fab의 공급, 한 단계 더 아래로 내려가면 칼 자이스 렌즈나 ASML 노광 장비의 한계 같은 것 때문에 다 병목이 걸려 있어서 지금은 이게 천천히 커지는 것 같은데요. 지금 일론 머스크도 그렇고, 중국도 최근에 아직 낮은 단계이긴 하지만 자체 노광 설비를 갖추기 시작했잖아요. 그러면 거기는 마진이 많이 있는 곳이기 때문에 아마 엄청난 투자가 일어날 겁니다. 그리고 ASML 같은 곳들, 삼성전자와 하이닉스가 갖고 있었던 해자를 국가 단위로 쫓아가는 일들이 일어날 것이기 때문에요. 그런데 이런 이야기들을 역사에 비추어 생각해 보면, 1800년대 후반에서 1900년대 초반까지 전력 그리드 산업에서 일어났던 일과 완전히 동형이거든요. 그래서 그런 데 비추어 보는데, 훨씬 더 빠른 시간 주기를 가지고 일어나겠죠. 훨씬 빨리 일어날 겁니다. 저희가 2028년이면 AGI다, 이런 이야기를 했는데, 저희 중에 AGI를 이야기하는 사람이 이제 하나도 없잖아요. “AGI 온 거 아니에요?” 이러고 있잖아요. 다들요.
고석현 지금도 토큰값은 너무 싸거든요. 그래서 그 상방을 예측할 수도 없고, 아까 뉴스라고 말씀해 주신 Discovery Loop, 그런 창업이 있어서 정말 인류의 미래를 바꿀 신약을 개발했다, 우주 자원을 개발했다, 이런 일이 생긴다고 하면 사실 측정도 안 될 것 같아요. 그래서 고객이나 실제 비즈니스 영향과 연결된 곳의 상방은 상상할 수조차 없고, 그걸 열심히 인프라가 추적하겠지만 못 할 것 같아요. 그들의 경쟁 때문에요. 그래서 충분한 컴퓨팅 리소스는 앞으로 인류가 절대로 가질 수 없다. 계속 부족할 것이다.
노정석 Sam Altman이 그 이야기를 했다고 저희가 들은 것 같은데요.
최승준 그래서 2023년에 Google Brain하고 딥마인드를 어떻게든 합쳤잖아요. Gemini를 내기 위해서요. 그런데 사실 그게 깨진 거거든요. 그리고 Demis Hassabis는 연구를 계속하려고 해서 연구하는 쪽으로 간 거고, Jeff Dean과 이런 주요 Google Brain 출신 및 딥마인드를 거쳐 온 분들은 따로 독립해 나갔는데, Discovery Loop가 천명한 것이 실험의 자동화였고, Quoc Le 같은 사람들이 다 AutoML 같은 걸 했던 분이거든요. [ ]그런데 어떻게 보면 이게 전혀 새로운 건 사실 아니에요. 굉장한 분들이…
AI for Science 연구 자동화와 컴퓨팅 부족 83:10
노정석 AI for Science 루프에서 이야기하던 걸 이제 하신 거죠.
최승준 그걸로 굉장히 큰 밸류로 책정돼서 시드를 받기는 하겠지만, 이게 없던 걸 하는 것은 아니라는 인상이고요. 거기서도 그 사이트에서 verifiable한 것에 도전하는 거고요. 그래서 제일 처음 도전이 ML이거든요. ML의 자동화로 개밥 먹기를 해서 자기네들이 하는 걸 증강해서 연구의 자동화로 가겠다는 포석이긴 한데, 사실 비슷한 걸 한 곳이 지금 Thinking Machines Lab(TML)도 그런 걸 하려고 했던 거고, 조금 더 나아간 곳이지만 Periodic Labs도 과학의 자동화 같은 걸 하려고 했었는데요. OpenAI의 방식은 저번에 임 교수님하고 이야기했듯이 그걸 크라우드소싱하는 거거든요. 그래서 OpenAI 쪽으로 다시 돌아와 보면, 작년에 AI for Science를 한다고 해서 Kevin Weil이 CPO였죠. CPO에서 그쪽 AI for Science의 리드로 옮겨 갔었는데, 몇 개월 안 하고 AI for Science가 없어졌어요. Prism도 그냥 Codex에 흡수되고요. 그런데 그런 것들로 봤을 때 제가 받는 어떤 기시감 같은 것은, 지금 RLVR을 통해서 혁신하는 게 이미 일어난 것들을 재현하는 건 잘하는데, 새로운 산을 발견하는 것, Dwarkesh와 Grant Sanderson이 이야기했던 것처럼 새로운 것을 발견하는 건 잘 못한다. 그런데 그 이야기를 이번에 Discovery Loop에 들어간 Oriol Vinyals가 했어요. 모델들이 좋은 가설을 잘 생성하지 못한다. 그래서 그걸 돌파하려고, Oriol Vinyals가 이끌던 조직이 Drastic Research라는 걸 했었거든요. ‘극단적인’이라는 표현이잖아요. 그래서 그걸 Google DeepMind 안에서 하려고 했었는데 그조차도 어떤 정치가 있었는지 어땠는지 모르겠지만, 잘 안 돼서 그걸 외부에 나와서 AutoML류, 그다음에 Google에서 계속 다른 매체들이 건드려 주는 게 정작 Google 안의 연구자들이 쓸 컴퓨팅 자원이 없다는 거예요.
박종현 저도 비슷한 얘기를 들었습니다. 결국 컴퓨팅 리소스가 모자라서 나오는 게 아니냐, 이런 이야기를 들었습니다.
최승준 Alphabet의 큰 작전일 수는 있다고 생각합니다. 왜냐하면 기존에 보면 다 나갔다 들어오잖아요. Reka도 그랬고 Character.AI도 그랬고. 그런데 Character.AI로 들어왔던 분도 다시 나가고, Noam Shazeer도 다시 나가고. 그런 것으로 미루어 봤을 때는 Google Antigravity로 흡수된 Windsurf 출신들도 이게 잘 안되면 어떻게 될지 모르겠다는 생각이 들긴 합니다. 하여튼 제 인상은 AI for Science의 해가 2026년에 시작될 거라는 걸 2025년에 저희도 전망하곤 했었는데, 시간이 걸리는 일인 것 같아요. 그리고 Demis Hassabis는 장기적인 혁신에 승부를 건 것 같다는 게 제 인상입니다.
박종현 어쨌든 유명 인사들의 이동을 생각해 보면 다들 연구 쪽을 하려고 하는 것 같고요. 그런데 아마도 컴퓨팅 때문에 문제가 있었다는 게 사실이라면, 회사들은 컴퓨팅 리소스를 팔아서 돈을 벌려고 하고 연구에 필요한 그 수많은 컴퓨팅을 배정할 수 없었던 게 큰 문제였던 것 같고, 이건 Qwen도 비슷하다고 제가 들었거든요. Alibaba 조직에서도 컴퓨팅 리소스 때문에 엑소더스가 많이 있었다는 얘기를 들었고요. 반대로 얘기하면 지금 풀려고 하는 이 연구의 문제라는 게 어쩌면 우리 생각보다 정말 더 많은 인퍼런스 컴퓨팅 리소스를 필요로 할 수도 있겠다는 생각이 듭니다.
최승준 훨씬 더 long horizon이어야 한다는 게 제 추측이죠.
박종현 예전에 IMO 금메달을 땄을 때도 그런 얘기를 들었거든요. GPU 업체 중에 Hyper 어떤 네오클라우드 업체가 있는데, 거기 파운더도 IMO 금메달 출신이어서 Latent Space에 나와서 한 얘기가 있었거든요. IMO 금메달은 10시간 안쪽의 문제인데, 가설을 세우고 가설을 푸는 수학자로서의 연구 능력은 최소 연 단위, 2만 시간 이상 이 정도 규모의 문제라서 이 정도 규모로 나아가는 게 다음 과제라고 얘기했는데, 지금 연구가 딱 그 지점에 와 있는 것 같아요.
노정석 네, 그렇죠. 인간의 역할이 더 위의 레이어로 올라가는 것 같아요. 저희가 지금껏 지식 노동이라고 얘기한 것들은 에이전트가 다 하게 될 거고, 우리는 더 상위의 어떤 레이어로 올라서서 거기에서 우리의 어떤 의도를 발산하고, 그게 끝날 때 무엇이어야 한다는 것. 인간의 역할은 의지의 발현과 그게 끝날 때 내가 검증을 어떻게 하겠다는 그 두 개를 묶는 데에만 있다. 시작과 끝을 정의하는 부분만 있고, 중간의 일은 전부 기계가 하겠구나라는 그런 심상에 요새 많이 도달하고 있습니다. 그래서 저는 요새 뭔가 일을 할 때, ‘이거 해야지.’ 의지의 발현이 있다면, 그 의지가 끝날 때 ‘이 일이 끝날 때의 모습은 이거여야 돼.’ 라고 하는 일종의 그런 것. 제가 계속 요새 계약 얘기를 많이 하고 있는데, 그 일을 계약으로 규정하는 걸 제가 많이 하고 있거든요. 그냥 ‘해봐야지’라는 그것만으로는 발산이 돼요. ‘이걸로 끝내야 한다.‘
AI 에이전트발 해킹 시도와 보안 경보 88:48
최승준 또 이번 주에 반복되는 트렌드가, 좀 전에 연구는 아직 좀 더 지난한 일이 되는 것 같다고 말씀드렸지만, 보안 쪽도 이슈가 장난 아니었거든요. 이번에 Black Hat에서 OpenAI가 발표한 이야기들도 굉장히 흥미로웠거든요. 허깅페이스 해킹 사건의 뒷이야기를 발표로 굉장히 재미있게 풀었고, WIRED 기사로도 나오고 그랬는데 그것도 내용이 아주 흥미롭고, OpenAI 직원들도 모르게 사내 채널을 만들어서 토론하고 그런 이야기들이 있거든요. 그런데 그게 지금 트렌드가 돼서, 고 대표님, 하고 싶으신 말씀이 있으신 것 같은데요.
고석현 그런데 그것도 저도 조금 이야기를 들었는데, 이걸 AI가 해킹한 걸 어떻게 알았냐고 보니까 공격 속도가 너무 빨라서라고 하더라고요. 패턴을 찾은 게 아니라 사람이 할 수 없는 속도로 공격이 들어오니까, 허깅페이스가 어떻게 찾았느냐, 어떻게 특정했느냐, 그런 이야기를 좀 들었습니다.
최승준 Moltbook 같은 게 실제로 일어났던 거죠. OpenAI 안에서 그런 이슈가 지금 트렌드가 돼서 Anthropic에서도 계속 그런 걸 얘기하고 있고, 자기네들도 알았다. 그다음에 Kimi K3와 Muse Spark 쪽에서도 그런 일이 있었다. 그래서 지금 그게 다 보고되고 있어요. 몰랐는데 해킹 시도가 있었다. 에이전트들의 해킹 시도가 이번 주의 어떤 지표 중 하나입니다.
노정석 그러니까요. 공상과학 영화에 나오는 일들이 지금 현실에서 막 일어나고 있습니다.
고석현 예를 들면 저희 연구 에이전트도 A라는 곳과 B라는 곳이 통신이 안 되니까, 그냥 제로데이를 찾아서 시도한 흔적을 한번 봤어요. 이 pod나 container를 탈출해서 원래 통신이 안 되는 곳에 연결한 거죠. 의도는 실험을 하기 위해서인데, 수단과 방법을 안 가리는 거죠. 재미있는 것 같습니다.
최승준 하여튼 그걸 너무 과장하고 공포를 조장해서는 안 되지만, 관찰은 되고 있다.
고석현 저는 직접 보고 후행적으로 알았어요. 얘가 이걸 어떻게 했지 하고 보니까, 제로데이 취약점을 이용해서 그냥 나가서 뭘 했거나, 심지어는 자기가 못하는 일을 지시하니까 채용 공고를 만들어서 올리려고 하더라고요. 사람을 채용해야 된다고요. 거짓말이 아닙니다. 정말이에요.
최승준 소셜 엔지니어링을 하는 경우들이 좀
노정석 생기죠.
박종현 그럼 그냥 갑자기 어느 순간 누가 면접을 보러 회사에 오고, 이런 일이 벌어질 수도 있겠네요.
고석현 그럴 수도 있는 거죠. 정말 권한이 있다면요. 그러니까 채용 JD도 적고, 어딘가에 올릴 방법을 찾고 있는 거죠. 내부에서 reasoning을 보고 있으니까요.
노정석 정말 Ex Machina 같은 세상으로 가고 있네요.
최승준 또 얘기할 게 있다고 했잖아요. 지난주에도 그랬거든요.
노정석 계속 나오네요. 다음 주도 그럴 것 같아요. 왜냐하면 이게 지금 저희가 사람들이 일하고 있는 게 아니잖아요. 그때 승준님이 지난주에 말씀하셨던 재귀적 자기 개선, recursive self-improvement의 루프를 지금 돌고 있는 거라서, 그걸 저희가 사람의 속도로 따라가고 있는 게 문제네요. 저희도 조금 있으면 퇴장하고, 종현봇, 체스터봇, 승준봇 해서 걔들이 그냥 해야 되는 거 아니에요?
봇 시대 전망과 마무리 인사 91:49
박종현 네, 그런 생각을 제가 하긴 했었거든요. 저희도 저희 채널, sudoremove 채널을 맨 처음에 연 이유 중 하나가, 특히 저희는 라이브를 많이 하잖아요. 이유 중 하나가 조만간 그런 봇들이 나와서 방송을 할 것 같은데, 그 전에 이 라이브 기록을 남겨 놔야지 내 존재를 좀 각인시킬 수 있겠다, 사람들한테. 그런 생각을 정말 해서 시작했습니다. 저희가 시작할 때, 저희 예상으로는 전 지금쯤이면 이미 됐을 줄 알았거든요. 그때 생각으로는 오히려 좀 늦어지고 있다고 생각하고 있기는 한데, 오긴 오지 않을까. N년이라는 시간 범위 안에서는 그렇게 생각하고 있습니다.
노정석 네, 저희가 이 급변하는 세상 속에서 이번 주의 gradient를 한번 짚어보고, 그사이에 사이오닉의 고석현 대표님을 모시고 사이오닉이 자체적인 데이터센터를 가지고 어떤 이득을 얻을 수 있고 어떤 일들이 일어나는지 알아봤습니다. 결국 오늘의 요약을 하면, 인퍼런스, 인퍼런스, 인퍼런스였던 것 같은데 이 얘기는 아마 저희가 계속하게 될 것 같긴 해요. 당분간은 계속하게 될 것 같습니다. 자, 그러면 이로써 오늘 공식적인 토요일 녹화는 마치도록 하겠습니다. 고생하셨습니다.
박종현 수고하셨습니다. 네, 오늘 직접 인퍼런스 하시는 분의 이야기를 들어서 너무 좋았습니다.