EP 111
벤치마크 1등이 탈락했다? 독파모 4파전 결과 살펴보기
독파모 4파전과 3개 선정 이슈 0:00
노정석 녹화하고 있는 오늘은 2026년 8월 22일 토요일 아침입니다. 프론티어라는 단어가 요새 종종 많이 들리죠. 프론티어 모델은 이번 주에도 여전히 그 끝을 모르고 계속 전진했고요. 그래서 GPT-6, Astra라고 불리는 모델도 너무 위험해서 중간에 model training을 2주간 멈추기로 했다, 이런 뉴스도 Sam Altman이 직접 내기도 했었죠.
그런데 이 프론티어가 되는 것만이 살길이라는 그런 인식이 있고, 또 이 프론티어가 되지 않으면 당하게 될 어떤 서러움들에 대한 이야기가 있었고, 그 서러움 때문에 나라 차원에서도 생겨난 이니셔티브가 독자 파운데이션 모델, 이른바 독파모 모델이었죠. 또 이번 주에 독파모와 관련해서 4개 중에서 3개를 선택하는 이벤트가 있었고, 그것 때문에 말들이 굉장히 많은 것 같습니다. 그래서 종현님이 독파모와 관련해 모델들을 쭉 검색해 보셔서 그와 관련된 이야기도 들어보고, 객관적이지 않을 수 있습니다. 왜냐하면 모델을 평가한다는 기준 자체가 다 객관적이지 않고, 요새는 벤치마크도 의미가 없다, 벤치마크 점수가 좋은 것들이 반드시 좋은 모델을 의미하는 건 아니다, 이런 의견들도 있기 때문에 저희도 매우 주관적인 관점을 가지고 아마 이야기를 시작하게 될 것 같습니다.
오늘 독파모 이야기를 한번 해보고, 그 이후에는 승준님이 요새 계속 진행하고 계시는, 모두가 각자의 업무에서, 각자의 워크플로에서, 각자의 모델 선택에서 어떤 프론티어에 이르기 위한 활동들을 하고 있거든요. 하네스라고 할 수도 있겠고, 아니면 어떤 방법론이라고 할 수도 있겠고, 굉장히 다양한 것들의 조합인데, 승준님이 승준님의 프론티어를 앞으로 밀기 위한 그런 작업들을 하고 계시는데, 그런 부분들의 이야기를 같이 들어보도록 하겠습니다. 그럼 오늘부터 시작해 볼까요? 독파모, 뜨거운 감자죠.
AAII 벤치마크로 본 한국 독파모 후보들의 위치 2:03
박종현 일단 벤치마크가 그렇게까지 평가하는 데 객관적인 지표는 아니라고 말씀해 주셨는데, 그래도 그나마 가장 객관적인 지표라서 여기서부터 한번 보겠습니다. AAII라고 하죠. Artificial Analysis Intelligence Index. 벤치마크들을 모아둔 지표인데, 결국 한 모델의 성능을 하나의 숫자로 표현한다면 그래도 이걸 가장 많이 보는 것 같아요. 그래서 여기 보면 Opus, Fable, Sol, Grok, Kimi, 이렇게 위에서부터 쭉 순서대로 내려오게 되고요. 저희가 알고 있는 프론티어 모델이라고 이야기하는 미국과 중국의 모델들이 쭉 있고, 이쯤 오면 Motif라고 해서 한국의 모델이 처음 나옵니다. 그다음에 숫자로는 Qwen 3.8 27B, 작은 버전의 모델이에요. 큰 2.4T는 이 앞에 있고, 이 밑에 저희가 위치하게 되고 쭉 더 내리다 보면 TML Inkling 모델도 보이고, NVIDIA Nemotron도 보이고, 그다음에 업스테이지의 Solar, 이것도 우리나라 거고, SK텔레콤의 A.X K2, LG AI연구원의 K-EXAONE, 이렇게 있거든요. 그래서 이 정도에 분포하고 있는 모델들이 지금 정부에서 열심히 밀고 있는 독파모 모델 후보들이었습니다. 그래서 모델 순위로 보면 이 정도 수준에 있다, 이렇게 볼 수 있을 것 같고요. 참고로 미국, 중국, 한국 말고 다른 모델은 Mistral이 여기서 처음 나오고요. 그다음에 저 밑에 가면 Command A라고 해서, Cohere는 조금 애매한데 아마 캐나다 계통인 걸로 알고 있어요. 그런데 북미를 하나로 치면 좀 애매하긴 합니다. 어쨌든 우리가 이 정도 수준까지 와 있다.
그래서 이 모델들이 궁금해서 저도 기회가 되는 만큼 직접 써봤습니다. 상당히 주관적인 평가고요.
1등 Motif 탈락이 화제가 된 이유 4:03
노정석 결론을 미리 말씀드리면, 4개의 모델 중에서 3개를 선택했는데, Motif가 떨어지고 나머지 3개 사가 다음 본선으로 올라간 거죠.
박종현 그래서 벤치마크 점수로만 봤을 때는 점수 자체가 압도적이거든요. 2등과 10점 정도 차이가 나는데, 이 10점 정도 차이가 어느 정도냐고 하면 GPT-5.6 Sol과 Luna의 차이가 10점 정도 나요. 그런데 10점 정도 밑에 있는 모델이 올라가고 가장 위에 있는 모델이 떨어졌다. 이런 게 화제가 되는 이유인 것 같습니다.
노정석 그 내용들을 저희 관점에서 한번 살펴볼까요?
박종현 가장 1등인 모델이 떨어져서 사람들이 의아해하는 것 같고요. 저도 이번 기회가 되기 전까지는 저 모델들을 당연히 써볼 기회가 없었고, 나온 지 얼마 안 된 모델이고 써보기도 힘듭니다. 그래서 저도 궁금했고, 같은 이유로 benchmaxxing이라는 키워드를 사람들이 많이 신경 쓰는 것 같아요. 왜냐하면 벤치마크 점수는 높은데, 실제로 써보면 별로인 모델이 꽤 많거든요. 그래서 벤치마크 점수가 실제로 직접 써봤을 때도 불만족스러운가, 이런 것들이 궁금해서 저도 한번 써보게 되었고요.
게다가 이 Motif라는 모델은 이번에 어떻게 보면 처음 주목받아서 저도 이름 자체를 이번에 처음 들어봤습니다. 다른 모델들 같은 경우에는 업스테이지나 SK텔레콤이나 LG 엑사원이나 다 이전부터 이미 유명했던 모델들이라면, 갑자기 툭 튀어나와서 화제가 되었는데 떨어져서 더 화제가 된 모델이라고 볼 수 있을 것 같아요. 그래서 제가 한번 써봤고요.
나름대로 이게 상당히 주관적이다 보니까 증명하고 싶어서 저도 어떻게 써봤는지 다 trajectory를 남기고 싶어서 일부러 저희 채널에서 라이브로 진행했습니다. 그래서 평가도 라이브를 보시는 분들과 채팅하면서 이런 거 해보자, 저런 거 해보자, 사람들 의견은 어떠세요? 이런 의견을 받아보면서 진행한 거니까, 최대한 제가 가능한 선에서는 객관적으로 평가해 보려고 노력했고요.
노정석 자매 채널인 Sudoremove에서 종현님이 직접 라이브를 진행하셔서 그 결과를 토대로 정리한 내용이라는 점을 말씀드립니다.
독파모 후보 모델들의 규모와 학습 자원 비교 6:27
박종현 한번 요약부터 하고 넘어가면요. 객관적으로 이 모델들이 어떻게 생겼는지, 볼 만한 것들만 제가 살짝 정리했는데, 일단 가장 궁금한 건 아마도 model size겠죠. model size가 300B, 750B, 680B, 200B 정도 됩니다. 그래서 200B에서 700B 사이 정도의 규모를 가진 모델들이었고요. 신기한 건 가장 큰 모델의 점수가 낮았고요. 오히려 작은 모델들의 점수가 더 좋았습니다. 그래서 model size와 벤치마크 점수에 차이가 있었다는 점이 있고, 그다음에 context size만 한번 보면
Solar만 1M. 요즘에는 1M 모델들이 많이 나오고 있는데, 거의 다 256K 모델들이었고요.
그다음에 모델 내부의 관점에서도 특이한 점들이 있었는데, 어쨌든 Transformer 내부를 자체적으로 조금씩은 다들 수정해서 무언가 개선하려는 노력들을 했다.
그다음에 궁금했던 것은 model size도 model size인데 training을 얼마나 했을까. 왜냐하면 이 training 규모와 model size, 데이터를 얼마나 많이, 몇 토큰이나 학습시켰느냐, 이런 것들이 특히 우리나라처럼 미국과 중국이 아닌 곳에서는 접근하기 어렵기 때문에 정부가 이런 사업을 하는 거죠. 그래서 이 규모가 궁금해서 pre-training 토큰의 양을 조사해 봤는데, 대략 다들 1 트릴리언 토큰 정도 학습한 것 같아요. 참고로 말씀드리자면 Kimi 같은 경우에는 작년에 나왔던 K2, 지난 세대 모델이죠. 한 20 트릴리언 토큰 정도 학습했던 걸로 기억하는데, 논문에서 보기에 어쨌든 규모가 그 정도 됩니다. 10 트릴리언이라고 하면 꽤 잘 따라가고 있다, 규모로도 이렇게 볼 수 있을 것 같고요.
데이터셋 출처와 공개성에 대한 아쉬움 8:20
노정석 데이터셋의 출처가 재미있네요. 다 조금씩 다르고, Motif는 가장 후발 주자답게 NVIDIA Nemotron 코퍼스를 가장 많이 쓰셨고요.
박종현 보통 저희가 알고 있는 공개된 pre-training 데이터 중 가장 큰 게 Nemotron 쪽과 Hugging Face의 FineWeb2, 이걸 가장 표준처럼 보고 있는 것 같아요. 그다음에 거기에 자체적으로 공공기관 데이터를 어떻게 잘 쓰거나, 아니면 이런 데이터들을 FineWeb2나 Nemotron에서 잘 모아서 어떻게 잘 정제하느냐, 잘 뽑아내느냐, 이걸 어떻게 압축하거나 합성했느냐, 이런 정도의 차이점들이 있었던 것 같습니다.
이것도 저희가 단순히 모델을 open-weight 모델과 open-source 모델로 굳이 분류하자면, recipe가 얼마나 공개되어 있느냐로 어느 정도 구분하고는 하는데, 데이터 출처가 엄청 투명하지는 않았던 것 같아요. 이걸 기대하긴 했었거든요. 왜냐하면 한국어 데이터들을 어떻게든 다들 정제하셨을 텐데, 그걸 어떻게 했을까, 합성했을까, 정제는 어떻게 했을까, 이런 것들이 궁금했는데, 이건 시간이 지나면 다음에는 더 정제되고 공개될 수도 있을 것 같고요. 어쨌든 이런 것들이 결국 생태계를 만드는 거라서 기대했으나 공개가 아주 잘되어 있지는 않았다. 이런 부분들이 아쉬웠던 것 같습니다.
그리고 GPU는 B200 기준으로 500장에서 700장 정도 지원해 줬다. 그래서 이 자원으로 다 training했고요.
그다음에 말씀해 주셨던 게, SK텔레콤이 이걸 처음에 못 받았다고 말씀해 주셨는데, 저도 이걸 자세히 몰라서 배경을 한번 설명해 주시겠어요?
GPU 지원 조건과 SK텔레콤의 자체 비용 학습 배경 10:05
노정석 이건 확실하지 않은 정보인데, SK텔레콤은 초창기에 GPU 지원사로 등록되어 있어서 GPU 지원사의 경우에는 정부 지원을 받지 못한다, 이런 조건들이 있고, 지원받지 않으면 weights를 공개할 의무가 없다, 이런 당근과 채찍이 연결되어 있었다고 들었어요. SK텔레콤 같은 경우에는 7월에 다시 정부 지원 범위에 들어온다는 이야기를 들었고, 그전까지는 정부 지원 GPU를 받지 않았기 때문에 회사가 자체 비용을 들여서 이번 모델을 training했다고 알려져 있습니다.
그래서 굉장히 많은 돈을 썼다는 이야기가 있고, 액수도 뒤에서 소문으로는 돌지만 확인되지 않은 사실이기에 말씀은 못 드릴 것 같고, 그런데 이번에 3자 구도가 된 이 시점부터는 SK텔레콤도 정부 GPU 지원을 받게 된다, 정도로 저는 이해하고 있습니다.
박종현 네, 이해했습니다. 어쨌든 여기 있는 회사들이 모델만 만드는 회사라고 볼 수도 있겠지만, SK텔레콤 같은 경우에는 GPU 서버를 공급하는 어쨌든 이게 다 인프라와 모델을 만드는 이 생태계의 입장이 다른데, 그 입장이 중복된 입장이어서 어떤 사업의 공정성을 위해 그런 장치들을 다 잘 마련했나 봅니다. 일단 그 정도로 제가 이해했고요. 그래서 GPU도 얼마큼 GPU-hour를 썼는지 제가 이런 게 궁금했는데, 왜냐하면 이게 실제로 들어가는 비용 중 가장 큰 비용 중 하나니까 비용이 궁금했는데, 이것도 정확하게 공개되어 있지는 않더라고요.
그래서 결과물로만 보면, 물론 실험이 한 번에 딱 버튼을 누르고 처음부터 끝까지 돌고 끝, 이렇게 당연히 되지는 않겠지만 active parameter랑 그다음에 얼마나 많은 토큰을 학습시켰느냐를 보면 전체 학습에 들어간 pre-training 단계의 연산량이 나오게 되는데, 실제로 이렇게만 계산하면 Motif랑 Solar Open 2, 점수가 높았던 두 모델이 실제로는 더 작더라. 연산량을 pre-training만 보면요. 이런 것들을 역으로 간단하게 계산해 볼 수 있었고요.
그다음에 제가 놀라웠던 것 중 하나는 이 Motif 팀이 인력이 한 30명 정도밖에 안 된다고 하더라고요. 그래서 스타트업인데 아주 적은 인력으로 이런 걸 잘 해냈다. 이거 자체가 신기하다는 생각이 들었고요. 이 모델을 만드는 일이라는 것 자체가, 좋은 파운데이션 모델을 만드는 일이라는 게 엄청난 규모의 GPU, 그래서 돈이 많이 드는 일이지만, 정작 인력 자체는 그렇게까지 많이 필요한 일은 아니다. 팀은 소규모여도 얼마든지 할 수 있다. 이런 것들을 반증했던 것 같아요. 저희가 다 프런티어 랩에서 관찰하고 있었던 지점들 중 하나인데, 우리나라에서도 똑같이 벌어졌던 것 같고요. 프론티어 랩에서 인원을 영입할 때 그분들의 몸값이 크게는 1,000억씩도 왔다 갔다 하는 거겠죠. 기사에 나오는 것처럼요.
비공개 벤치마크와 정성 평가로 본 정부 평가 기준 13:01
노정석 이게 몇 명이 마치 레시피처럼 가지고 있으면 되는 일이라는 게 알려져 있죠.
박종현 그래서 넘어가면, 정부의 평가 기준 같은 걸 한번 살펴봤습니다. 왜 그래도 전 세계적으로 가장 많이 보는 벤치마크 점수인 AAII 점수에서 1등인 모델이 떨어지게 되었는가 한번 살펴봤는데, 벤치마크 점수가 전체 중 40점인데 그중 25점을 차지하고 있었고, 나머지는 자체 벤치마크가 있다고 하더라고요. 이거는 벤치마크가, 벤치마크 문제가 알려지면 그걸 학습하면 되기 때문에 그런 문제와 유출 문제를 방지하고자 비공개 벤치마크를 가지고 있었다고 합니다. 그래서 모든 항목의 점수를 다 자세하게 공개하지는 않았고요. 보니까 대략적인 평균 점수나 격차라든가, 1등이 어느 팀이었는지 이 정도만 공개하셨는데, AAII 벤치마크 같은 경우에는 저희에게 공개된 것처럼 Motif가 Artificial Analysis 점수는 1등이고, 그다음에 자체 벤치는 SK텔레콤 모델이 1등이었다고 하더라고요.
놀라웠던 부분인 것 같아요. 프론티어 모델들을 평가할 때 저희가 느끼는 체감 지능과 벤치 점수가 그래도 꽤 일치하는 AAII 점수에서 점수가 조금 차이 난 게 아니라 거의 한두 세대 정도 차이 날 만큼 벌어졌는데, 다른 벤치에서 하위에 있었던 모델이 1등에 올라왔죠. 이런 게 제가 조금 궁금하더라고요.
그래서 벤치가 어떤 모습일까, 나중에 아마 평가가 다 끝나면 공개해 주시지 않을까 싶은데, 아마도 데이터의 분포가 엄청 다를 것 같아요. 평가하고자 하는 항목 자체가 아주 다를 것 같아요.
모델 성능을 넘어선 생태계 중심의 평가 취지 15:06
노정석 한국 독파모 모델이니까 한국과 관련된 데이터셋이나 벤치마크가 많지 않을까요?
박종현 그럴 것 같아요. 한국의 문화적인 지식을 물어본다든가, 그런 것들이 많지 않을까 싶은데, 그래서 이런 것들을 많이 학습했나 봅니다. 현지화된 한국 관련 지식들을 아마 많이 가지고 있지 않을까 하는 생각이 들고, 그다음에 전문가분들이 정성적인 평가를 직접 해 주셨고, 여기서는 LG 모델이 1등이었다고 하는데요. 평균 점수가 그렇게 많이 차이 나지는 않습니다.
총평 같은 게 발표되어서 업스테이지 모델 같은 경우에는 다음 포털과 연계되어 있고, 퓨리오사AI NPU와 협업했다, 이런 것들이 나와 있는데, 어쨌든 이런 것들을 보면 모델 자체의 토큰 성능, 그것만 보는 게 아니라 생태계 자체를 평가하려고 했던 것 같아요. 실제로 애플리케이션 단에 적용되어서 사용자들에게 어떻게 잘 다가가고 있는가, 그다음에 인프라 차원에서도 NVIDIA GPU를 보통 저희가 대부분 쓰게 되는데, 그것뿐만 아니라 다른 NPU, 특히 우리나라의 하드웨어에서 잘 돌아갈 수 있도록 협업도 해서 미래에 모델이 잘 나왔을 때 생태계에 얼마나 기여할 수 있는가, 이런 것들을 평가하려고 했던 것 같고요. SK텔레콤이나 LG AI연구원이나 다 상용 서비스에 실제로 탑재되었다, 국제기구와 어떻게 협업하려고 하더라, 이런 것들에 대한 평가가 많이 나왔고, hallucination이 아주 적을 거다, 이런 식으로 평가가 나왔던 것 같아요.
그다음에 Motif 같은 경우에는 모델 자체에 대한 평가만 요지로 요약되어 나왔는데, 느끼기에는 Motif만 모델 자체에 대한 내용이 평가 요소로 있고요. 나머지는 모델 외적인 부분에 대한 평가가 쓰여 있는 것 같아서, 이런 것들이 평가 기준에 있어서 사람들마다, 우리가 파운데이션 모델, 좋은 파운데이션 모델을 만드는 건데 파운데이션 모델 자체에 대한 평가가 아니라 어디에 쓰였는지에 대한 평가가 들어가는 게 맞나, 이런 의문점들을 제기하는 것 같아요.
노정석 그런데 독파모 사업의 첫 번째 취지 자체가 단순히 모델뿐만 아니라 한국의 프론티어 모델 생태계를 같이 끌어올릴 수 있느냐는 것도 평가 기준에 있었고, 그래서 처음에 팀을 선발할 때도 어떻게 컨소시엄을 이루었는가도 굉장히 중요한 요소였거든요. 그렇기 때문에 이게 단순히 모델의 성능만 놓고 평가하는 것은 아니라고 보는 게 맞을 것 같습니다.
또 나라에서 진행하는 사업들은 공정성이 우선시되어야 하기 때문에 어떠한 편향을 두고 누군가 무언가를 조작하기는 참 어렵거든요. 그리고 평가의 루브릭 자체가 AAII가 35점이고, 나머지 요소들도 굉장히 큰 요인이기 때문에 모델의 성능만 가지고 평가하는 것은 아니라는 걸 저희가 알고 있어야 할 것 같아요.
그러한 것들이 많은 정치적인 요소를 가지고 있지만, 그마저도 게임의 일부였다고 보는 게 맞아서 전문가 평가들이 이러한 이점들을 지적한 부분에 대해 점수를 좋게 받았다는 것은 일리가 있습니다. 저희가 존중은 해야지, 저런 것과 모델의 성능이 무슨 상관이지, 라고 이야기하기는 어려울 것 같아요. 이 사업의 성격상요.
박종현 네네. 제가 아무래도 좋은 모델을 만드는 걸 가장 최우선 목표라고 개인적으로는 인지하고 있었어서, 말씀 주신 것처럼 위아래로 잘 연계해서 정부 사업이니까 생태계를 잘 꾸리는 게 당연히 제일 중요한 요소라고 볼 수 있겠네요.
노정석 그래서 업스테이지 같은 컨소시엄도 굉장히 많은 회사가 참여하고 있고, SKT와 LG도 역시 컨소시엄을 강하게 유지하고 있잖아요. 그런데 Motif가 아무래도 후발 주자이고 스타트업이다 보니까 그러한 부분의 점수, 일종의 정책 점수죠. 그런 부분에서 조금 불이익이 있지 않았나 하는 생각은 드네요.
박종현 불리할 수 있었던 것 같아요.
노정석 네
박종현 특히 저희가 팀을 그냥 대표 팀이라고 해야 할까요? 모델을 만드는 회사를 팀으로 얘기했는데, 실제로 그 팀을 보면 위아래로 서비스 회사나 인프라 회사가 같이 팀을 이루어서 회사가 엄청 많았던 것으로 제가 기억하거든요. 그런 것들이 주요 평가 기준 중 하나였다고요. 그다음에 사용자들을 모집해서 직접 써 보고 평가를 내린 점수까지 반영했고, 특히 제가 조금 인상적이었던 것은 일반 국민이라고 해서 평가자들을 모집해 점수 평가를 맡겼는데, 인구 통계를 보고 최대한 다양한 사람들을 모았다고 하시더라고요. 그래서 이런 사업을 한다고 하면 저희처럼 AI에 엄청 관심 있는 사람들, 이런 사람들만 모일 수도 있는데, 그게 아니라 정말 최대한 남녀노소를 잘 모으기 위한 노력을 했고, 이런 것들이 정말 나라 사업의 성격을 띠는 것 같아요. 공익적으로 모든 사람에게 최대한 다양하게 이익이 갈 수 있도록 평가자를 모집하셨던 것 같고, 어쨌든 이렇게 해서 일반 국민 평가에서 점수가 조금 벌어졌다고 하더라고요. 발표를 보면 일반 국민 평가 점수에 대해서는 당락에 영향을 미치지 않았다고 밝혔다고 합니다.
일반 국민 평가단과 한영 혼용 ‘판교어’ 논란 19:43
박종현 그래서 저도 궁금해서 직접 써 본 거죠. 모델 자체가 어땠을까. 그리고 들리는 소문으로, 여기저기서 저희가 라이브할 때도 채팅에서 많이 얘기해 주셨는데, Motif 모델이 점수가 아주 높은데 저희가 보고 있는 점수는 우리나라의 기준에 해당하는 점수는 아니거든요. 그래서 수학을 보거나 MMLU로 전반적인 지식을 보거나, 거의 다 영어를 기반으로 평가하게 되어 있는데, 영어가 많이 섞여 나오는 문제가 있었다고 하더라고요. 그걸 문제라고 볼 수도 있고, 아니면 상관없다고 볼 수도 있는데, 우리 한국 국민을 기준으로 보면 한국어로 대화가 잘 되는 것도 좋은 평가 기준 중 중요한 평가 기준 중 하나였을 텐데, 영어가 섞여 나오는 것 자체가 문제가 될 수 있다. 모든 국민이 AI를 쉽게 누리기에는 그런 부분이 조금 아쉬울 수 있다, 이런 이야기를 많이 들었습니다.
그래서 그걸 댓글에서도 얘기하시던데, 판교어를 쓴다고 표현하시더라고요. 한국어와 영어가 섞여 나오는 게요.
노정석 저희도 많이 하는 거죠. 판교어.
Agent workflow 관점의 독파모 모델 실사용 테스트 21:50
최승준 궁금한 게 agent workflow로 쓸 만한 모델이 좀 있었나요?
박종현 일단 제가 어떻게 써 봤는지를 말씀드리자면, 그 모델은 open weight로 다 올라가 있습니다. 그런데 모델이 300B, 700B 이러기 때문에 그걸 직접 돌려서 제가 API로 써 보려면 너무 큰 GPU를 저는 가지고 있지 않으니까 임대해서 올린 뒤 serving해서 써 봐야 하는데, 그게 비용이 만만치 않아서. 그거는 해보지는 않았고요. 어떻게든 열려 있는 사용처에서 저희가 써봤는데
그러다 보니까 Motif 같은 경우에는 Motif 챗 서비스가 있습니다. 그래서 챗 서비스에 가서 써봤어요. 모델 자체를 써본 건 아니고 하네스까지 끼워진 채로 써본 거죠. 그래서 에이전틱한 워크플로우를 다 끼워서 써봤다고 볼 수 있을 것 같고요.
업스테이지 솔라 같은 경우에도 오픈 모델은 솔라 서비스에 갔을 때 서빙하고 있지 않았고 상용 모델인 Solar Pro 4만 있었거든요. 그래서 이걸로 챗 서비스를 써봤고요. 오픈 모델을 써보지는 못했습니다.
LG 같은 경우에는 K-EXAONE이 데모 챗 서비스가 있었는데 그 사이트가 닫혀서 써보지는 못했고 FriendliAI라는 서빙 업체가 API로 서빙하고 있어서 API로 써봤는데 이 API에 툴을 바로 다 붙여서 써볼 수가 있었어요. 그래서 웹 서핑이나 이런 것들, Python을 짜서 돌려보는 것까지 다 툴을 붙여서 나름 가볍게라도 에이전틱하게 써봤고요.
A.X K2는 써볼 수 있는 서비스가 없어서 써보지는 못했습니다.
최승준 그래서 저도 이거를 사용해 보지는 않았지만 그래도 이게 의미 있게 쓰이려면 저희가 국가망 같은 곳에서 일할 때는 망 분리가 되어 있기 때문에 민감한 데이터들도 있어서 국산 모델로만 해야 하는 업무들이 있을 것 같은데, 그런 업무들을 해야 할 때 에이전트를 쓰는 게 중요할 거라는 짐작이 들어서 이게 툴 호출이나 sub-agent를 돌릴 수 있나, 현재 쓸 수 있는 워크플로우와 얼마나 비슷하게 되는가가 실제 실용에서는, 물론 아까 말씀해 주신 것처럼 저희의 어떤 역량, 생태계 역량을 끌어올리는 측면도 있지만 이걸 어떻게 서빙하고 요즘의 방식으로 쓸 수 있느냐도 관전 포인트가 되지 않을까 싶습니다.
노정석 그리고 평가에 사용됐던 환경이 아마 모델 자체를 평가하는 것이어서 모델의 최소한의 상태, 하네스 없이 하는 평가가 아마 가혹하게 적용됐을 거고, 모델의 품질, 인지적인 품질은 하네스를 걸면 많은 부분을 수정할 수 있으니 외부에 만들어진 서비스의 챗 인터페이스 형태로 쓰는 것과 모델 자체의 품질은 조금 다르게 평가될 수 있다고 들었습니다.
박종현 그런 거를 제가 정확하게 느꼈던 게 Motif 같은 경우에 영어가 많이 혼용돼서 나온다는 소문을 들었는데, 아마 모델을 직접 서빙해서 써보신 분들의 의견일 것 같아요. 그런데 자체 챗 서비스로 돌렸을 때는 그런 문제가 전혀 없었거든요. 아마 하네스에서 그런 것들을 잘 처리해서, 영어가 나오면 번역해서 내보내거나 아니면 토큰을 한국어 토큰만 나오도록 선택했거나, 그런 것들이 분명히 있지 않았을까 싶습니다. 이렇게 테스트를 쭉 한번 해봤고요. 최대한 다양한 테스트를 해봤는데, 라이브를 하면서 댓글에서 주시는 것들을 다 한번 해봤거든요. 그러고 나서 평가를 한번 해봤는데, 생각보다는 모델들의 격차가 눈으로 확 느껴지지는 않았어요.
라이브 실사용 결과와 Motif 대 Solar 비교 25:17
박종현 한번 써봤을 때 메뉴를 추천해 달라고 하고, 소개팅 장소는 어떤 데가 좋냐고 물어봤어요. 제가 판교 근처에 거주하고 있기 때문에 실제로 이 지역의 식당들을 잘 찾아내서 알려주는지, 실용적인지 물어봤는데 Solar Pro 4 같은 경우에는 굉장히 잘해줬고요. 웹 검색 같은 것을 굉장히 잘했던 것 같아요. trajectory를 쭉 눈으로 관찰해 보면요.
그다음에 가스불 벤치를 해달라고 해서 제가 해봤는데, 말도 안 되는 질문을 해봤거든요. 세차장 벤치 같은 것을 요즘 많이 하잖아요.
노정석 네
박종현 이런 걸 해보니까 Motif만 제대로 정답을 냈어요. 그리고 헛소리 테스트, 메타인지를 잘하고 있는지, 말도 안 되는 엄청 어려운 질문을 했을 때 그럴듯한 소리만 내뱉지는 않는지도 봤는데, 이런 것도 Motif가 압도적으로 잘했었고요. 그다음에 수학 문제 같은 것도 이번에 나온 IMO 문제를 풀어봤는데, 생각보다 굉장히 잘 못하더라고요.
그리고 코딩을 시켜서 게임을 만들어봤는데, 이것도 해보니까 모두 잘하지는 못했고요. 제가 이걸 해보면서 느낀 게, Sonnet에게 시키니까 너무 잘했거든요. 결과물에서 수준 차이가 많이 나더라고요. 그래서 저는 당연히 할 거라고 생각했어요. 우리가 프런티어 모델을 너무 많이 쓰고 있다 보니까, 우리가 프런티어 모델에 절여져 있다는 표현을 하시더라고요. 절여져 있어서 조금만 낮은 모델을 썼을 때 안 되는 것에 대한 역체감이 엄청 심하다고 느꼈고요.
아무튼 잘하지는 못했습니다. 모든 모델이요. 그런데 그중에서는 솔라가 훨씬 잘했던 것 같고, 그다음에는 프런티어 모델들도 잘 못하는 것, 재미있는 소설을 써보라고 했는데 당연히 모두 너무 못 썼습니다. 재미도 없고, 무엇보다 Motif를 1등이라고 꼽았는데 모두 별로였지만 그 안에서도 수준 차이가 많이 났어요. 다른 모델들은 아예 말도 안 되는 말을 하더라고요. 댓글에서 그런 얘기를 하더라고요. 글이 조현병 환자의 글 같다고요. 구성이 완전히 제대로 되어 있지 않고, 토큰을 정말 아무렇게나 내뱉는 것 같고, 재미만 없는 게 아니라 읽는 것 자체가 어려운 글들이 많이 나왔고요. 이런 것들은 Motif에서 잘 나왔던 것 같아요.
최승준 이게 무협인데 유머여야 하는 거예요?
박종현 네, 제가 그렇게 시켰습니다. 무협 소설을 써야 하는데 재미있게 입소문이 날 수 있게 써보라고 시켰습니다. 지금 모델들이 못하는 것을 일부러 한번 해보고 싶어서 이런 것도 한번 시켜봤고요. 결과를 한 2시간 정도 평가해 본 것이기 때문에, 변인 통제가 확실히 된 것도 아니고, 제가 느끼기에는 많은 부분에서 Motif가 정말 똑똑하다고 느꼈어요. 잘 못하더라도 모르는 건 모른다고 잘하고, 이상한 질문을 하면 질문 자체가 뭔가 잘못됐다는 것도 알아채고, 글을 쓸 때도 앞뒤는 그래도 맞게 쓰고요. 알잘딱 잘한다는 느낌은 아니었거든요. 그렇지만 정말 똑똑하기는 하구나, 그런 느낌을 받았고요.
그러면 실제로 일을 시켰을 때 일을 잘하느냐 하면 그렇지는 않았어요. 그건 솔라가 훨씬 더 잘한다고 느꼈고, 두 가지로 추측해 볼 수 있는데요. 이미 업스테이지 같은 경우에는 솔라를 가지고 하네스를 만들어서 서빙하고 챗 서비스를 잘 운영하고 있었기 때문에 하네스가 잘 다듬어져 있었을 수도 있고요. 아니면 pre-training 이후에 SFT fine-tuning을 해서 사용자가 보기 좋게 잘 만들어 놨거나, post-training을 잘 다듬어 놔서 사용자들이 만족스럽게 해놨을 수도 있습니다. 어쨌든 뒷단에서 잘해 놨기 때문에 일을 잘하고 있었나 싶습니다. 그래서 벤치마크에 대한 생각이
벤치마크를 넘어선 좋은 파운데이션 모델의 기준 29:32
박종현 저도 조금 바뀌었는데요. 벤치마크가 계속 갱신되면서 새로운 벤치마크가 튀어나와서 그 점수를 벤치마크에 맞춰 극대화하기 어렵다고 하지만, 생각보다는 벤치마크 점수가 높은 게 실제로 지능이 높은 것과 일맥상통한다는 것을 어느 정도 느꼈고요. 그래서 벤치마크를 보는 게 체감 성능을 판단하는 데도 나쁘지 않다는 생각을 얻었고, 또 하면서 든 생각이 파운데이션 모델을 만드는 거잖아요. 독파모가 애초에 독자 파운데이션 모델인데, 이 파운데이션 모델의 가치를 어떻게 매겨야 할까 했을 때 지금 당장 일을 잘하는 모델이 좋은 모델일까, 아니면 pre-training된 상태니까 체급과 지능이 높은 모델을 남들이 다 가져가서, 생태계 확장을 노리는 거라면 자기 목적에 맞게 다 튜닝하게 될 텐데, 튜닝했을 때는 제 생각에 아마 Motif 3가 제일 좋을 것 같거든요. 이건 제 추정입니다.
그러면 그게 더 좋은 파운데이션 모델일 수도 있지 않을까 생각하게 되었습니다. 왜냐하면 한영 혼용이 잦다고 하는데, 이런 것은 나중에 fine-tuning으로 충분히 해결할 수 있는 문제라고 느껴지거든요. 그래서 이 생태계에서 좋은 모델이 무엇일까 싶었습니다.
노정석 그래도 Motif가 참 잘했네요. 굉장히 짧은 시간 안에 이 정도 품질을 내는 모델을 만들 수 있다는 것 자체도, 또 30명 정도의 정예 부대를 가지고 이 정도를 할 수 있었다는 것 자체가 저는 굉장히 좋은 점수를 주고 싶긴 해요. 대단한 일을 한 건 맞고, 그러나 독파모에도 아까 말한 평가 기준이나 루브릭들이 있었고, 거기에는 단순히 모델의 평가 기준 이외에 다른 것도 있죠. 이게 다 주관적이잖아요.
Motif 석패에서 본 공공 루브릭과 산업계 시각의 간극 31:11
노정석 모델의 품질에 대해 느끼는 게, 저희는 아마 프론티어 모델에 절여진 영향 때문에 그런 것들을 많이 물어봤겠지만, 일반인들은 전혀 다른 것들을 물어봤을 가능성도 있기 때문에 그 분포를 우리가 알지 못하는 상황에서 평가하기는 어려울 것 같아요. 평가라는 것 자체가 주관 속에서 객관을 꺼내기 위해 만들어진 시스템이다 보니, 공정성을 기하고 여러 가지 면을 보기 위해서 그렇게 하는 거죠.
저희는 산업계에 있는 사람들이니까, 나라 쪽을 공공이라고 부르죠. 공공이 일을 할 때 그 루브릭들이 이해가 안 되는 경우가 굉장히 많아요. 그런데 저희는 문제 해결에 집중하고, 하나의 결정적인 품질에 집착하는 게 산업계의 기준이라면, 공공이 하는 행사라든지 이런 데 참여해서 높으신 분들과 이야기해 보면 그분들은 그게 중요한 게 아니라 어떻게 하면 최대한 모두가 타협에 이를 것인가, 전체의 만족도를 가장 높이는 방법은 무엇인가라는 대단히 민주주의에 입각한 일들을 하더라고요. 그러다 보면 이렇게 튀는 것들이 잘려 나가요. 그리고 저 튀는 부분 때문에 저희는 좋은 점수를 줘야 하는데, 그러한 부분들이 전체적인 통계에 이렇게 딱 뭉뚱그려져서 다 어떤 최종적인 결과에서는 뒤처지고, 이런 경우들도 많이 보고 있기 때문에 어쨌든 Motif 입장에서는 매우 안타까운 석패이고, 또 Motif를 응원하는 분들에게는 섭섭한 일이긴 하지만, 평가는 평가니까 남은 3개의 업체가 앞으로 가겠죠.
박종현 공공에 대해서도 어떻게 보면 저희 같은 경우에는 아마 이걸 들으시는 많은 분들이 고점을 좀 보려고 하시는 것 같아요. 이걸 써서 어떻게 하면 레버리지를 많이 얻고, 잘 쓸 수 있고, 지능을 최대한 끌어낼 수 있는지. 그런데 공공의 입장에서 생각해 보면 저점을 본다고 좀 느껴지거든요. 표현을 가장 쉽게 해보면, 최대한 모든 국민이 다 누릴 수 있고, 전체적으로 수준을 끌어올릴 수 있고. 그래서 그런 부분에 있어서 관점이 많이 달랐던 것 같고요. 생각해 보니까 공공의 입장에서는 공정성이 상당히 중요하고, 당연히 그게 맞다고 생각됩니다. 입장이 다를 뿐이지, open weight로 정렬하고 나면 5등에 있거든요. 글로벌로 봤을 때도 open weight에서 5등인 모델이에요. 그래서 이번 사업에서는 정부 지원을 못 받게 되는 거지만, 이 독파모 사업을 떠나서 글로벌하게도 너무나 잘 나온 모델이라서 당연히 글로벌에서 눈독 들이고 투자하고 싶어 하는 주체들도 많을 것 같고, 우리나라 안에서도 이걸 가지고 같이 무언가를 해보고자 하는 사업체들이 많을 것 같아서 앞으로가 기대됩니다.
소버린 AI의 목적과 ‘독자’ 모델의 범위 34:31
박종현 네 그래서 저도 이런 것들이 궁금합니다. 그리고 정석님, 승준님의 생각도 궁금하고, 특히 이 영상을 보시는 모든 분의 생각이 궁금한데, 어쨌든 소버린 AI라는 주권을 가진 우리나라만의 정부 AI, 이런 생태계 조성을 하고 있는데 거의 우리나라가 제일 강하게 드라이브하고 있는 것 같거든요. 다른 나라들에 비해서요. 그래서 이런 걸 우리가 왜 하는지, 목적이 무엇인지, 어떤 것을 이뤄내면 잘한 것인지, 이런 것들이 저도 궁금합니다. 왜냐하면 저는 좋은 모델이 나오고, 그걸로 우리가 프런티어에 뒤처지지 않고, 그런 관점에서만 생각해 봤고, 평가하면서도 채팅에서 그런 질문들을 많이 주셨어요. 독파모는 도대체 뭘 평가해야 하는 거지? 어떤 게 좋은 모델이지? 그래서 그런 것에 대해 결국에는 어디에 붙어서 국민과 산업에 실질적으로 기여하든가. 이게 아까 전문가 평가에서 말씀해 주신, 저는 모델이 얼마나 똑똑한가, 이런 것에 집중했다면, 실제로 포털 서비스에서 쓰이는가, 아니면 전 국민이 쓰는 어떤 서비스에서 정말로 다 잘 쓰일 수 있는가, 이런 것들이 있을 것 같고요.
그다음에 이 ‘독자’라는 것은 도대체 어디까지 독자의 의미를 가져야 우리가 소버린이라는 테마를 가져갈 수 있고, 실제로 주권을 가지게 되는 것인지. model weight만 가지면 되는 건가? 아니면 데이터도 만들어야 하나? 아니면 인프라까지 NVIDIA GPU에 대한 종속성에서 벗어나야 하는 건가? 그다음에 투자는 얼마나 해야 하지?
그리고 제가 이 독파모라는 사업을 맨 처음 들었을 때와 비교하면 생각이 많이 바뀌었습니다. 과거에는 제가 좀 부정적이었거든요. 왜냐하면 못할 줄 알았어요. 이게 우리가 한다고 할 수 있는 건가? 나라가 주도권을 가지고 세금을 넣으면 되는 건가? 이런 것에 대해 부정적인 생각을 가졌는데, 지금은 생각이 많이 바뀌었거든요. 왜냐하면 저희가 중국에서 좋은 모델들이 나오는 걸 보면서도 느낍니다. 이거 할 수 있는 거구나. 우리도 못할 이유는 없구나, 그런 생각이 들고, 실제로 모델을 잘 만드는 게 엄청나게 큰 해자는 아니었다. 그래서 우리도 할 수 있을까 하는 것에 대해 저도 생각이 상당히 긍정적으로 많이 바뀌게 되었고, 더 잘하려면 우리는 뭘 해야 하지? 이런 것들이 궁금합니다.
지금은 이렇게 정예 팀들을 만들어서 한 팀씩 탈락시키며 자원을 점점 몰아주는 이런 구조를 띠고 있는데, 상당히 공공에서 하는 방법치고는 민간에서 하는 방법과 비슷하다고 느껴지거든요. 이런 경쟁을 붙이는 게요. 그래서 이런 것들이 저는 개인적으로는 상당히 긍정적으로 운영되고 있다고 생각하고 있고요. 어쨌든 이러한 것에 대한 자유로운 의견들이 궁금합니다.
독점재의 범용재화와 국가가 독파모에 투자하는 이유 37:37
노정석 모두를 만족시키는 정책은 없는 것 같아요. 그래서 이런 기준을 정하는 게 힘드니까 저희에게 사회라는 시스템이 있는 거고, 정부라는 시스템, 국회라는 시스템, 사법부라는 시스템으로 나눠서 가져가는 거라서요. 저도 요새 계속 control plane 이야기를 하며 왜 회사가 이 모양이고 사회가 이 모양인지에 대해 다시 바라보게 됐다는 말씀을 많이 드리는데, 이 독파모 이야기로 다시 돌아와 보면 독파모가 시작될 때만 하더라도 미국의 프론티어 모델들을 그냥 쓰면 되고, 그들이 우리를 막을 이유도 없을 텐데 왜 굳이 이런 투자를 해야 하느냐는 것도 이슈가 있었던 것으로 알아요. 그러나 거의 1년에 가까운 기간 동안 외부 환경이나 우리가 프론티어 모델 산업을 바라보는 시각도 완전히 바뀌긴 했잖아요. 이거 레시피가 생각보다 어마어마한 게 아닌 것 같아. 어느 정도 기본 이상이 되면 연산과 데이터 품질을 넣고 돌리면 나오는 것 같고, 한 번 넘어가면 누구나 할 수 있는 일이라는 것을 미국의 프론티어 랩, 중국의 프론티어 랩을 보면서 저희가 깨달은 게 하나 있고요.
덕분에 변한 게 있다면, 영원할 것 같았던 Anthropic이나 OpenAI 모델의 우위, 이런 것들도 그들이 걱정해야 하는 시기에 도달했기 때문에 모델 공급사가 굉장히 많아지고, 이게 특정인들이 독점하는 독점재가 아니라 범용재라고 그러죠. 일반 소비재화되면, 범용재가 되면 특정 몇 명이 유지할 수 있었던 부의 크기는 줄어들지만, 일반 국민과 사회 전체의 부는 확 증가하거든요. 계속 싸지고 누구나 만들 수 있게 되니까요. 어떤 독점재가 범용재화되는 일이 끊임없이 반복돼 온 게 진화의 역사이고, 산업화의 역사이고, 이 모든 것의 역사이기도 하거든요. 그런데 이 기술은 발전이 빠르고 관심이 크고, 영향력이 큰 만큼 정말 압축적으로 성장해 왔다고 봐요. 마치 핵무기 같은 거라고 생각해야 하나? 이걸 안 만들면 존재에 위협이 생겨, 체제에 위협이 생겨, 이런 이유로 거의 그 정도 수준으로 생각했기 때문에 뛰어든 것 같고요. 그러지 않았다면 중국도 그렇게 국가 단위에서 하진 않았겠죠. 그런데 중국도 목숨 걸고 했잖아요. 한국도 그걸 미중에 이어서, 심지어 유럽보다도 빠르게 집중적인 자원 투입을 통해 따라갔다는 것 자체가 의미 있는 것 같고요.
제가 당시에 독파모 사업을 지지했던 이유는 어찌 되었건 저희가 GPU가 부족한 나라였잖아요. GPU가 좀 풍부해져서 어떤 회사가 되었건 그걸 경험하는 엔지니어링 인력 풀이 생기면요. 이게 어디서 생기면 다른 곳으로 바로 퍼집니다. 미국에 있는 프론티어 랩들도 저는 그 영향이 분명히 있을 거라고 보는데, 대부분 중국계 미국인들이거든요. 그리고 그들이 어찌 되었건 학연과 지연으로 본토에 있는 사람들과 다 얽혀 있어요. 그리고 미약하게나마 제가 실리콘밸리에 가서 엔지니어들을 만나고 이런저런 이야기를 해봐도, 결정적인 힌트가 되는 말들이 이렇게 자유롭게 교환되는데, 높은 수준에서는 레시피가 교환되지 않을 수는 없다고 생각하거든요. 그리고 그렇게 교환된 레시피가 중국에 갔고, 그게 한국에 왔고요. 똑같은 이유로 이 독파모 사업에 참여했던 엔지니어들이 나와서 창업할 수도 있는 거고, 그러면 이러한 것들이 사회에 더 많이 퍼지게 되는 거니까요. 저는 그런 전반적인 관점에서 봤을 때 이 사업은 무조건 재정을 투입해서 강하게 해야 한다는 생각이 들고, 그 안에서의 형평성이라든지 공평이라든지 이런 것에 대해서는 대통령 선거나 국회의원 선거에서 보이는, 누군가는 만족하고 누군가는 아쉬워하는 그런 일들은 어쩔 수 없이 있을 수밖에 없어요. 그러나 전반적인 사회 전체의 부 차원에서 바라보면, 이런 것들은 나라가 해줘야 하는 산업입니다.
왜냐하면 한국은 이걸 민간이 진행할 수 있을 만한 규모가 안 되잖아요. 그 당시만 하더라도 삼성전자, 하이닉스는 지금처럼 그렇게 여유롭지 않았어요. 삼성전자와 하이닉스의 부가 갑자기 증가한 건 정확하게 1년 사이에 일어난 일이거든요. 이제는 하이닉스나 삼성전자가 자체 자원을 가지고 이런 소버린 모델을 해야겠다고 하면, 그들은 할 수 있을걸요. 그럼 그들이 해야겠다고 마음먹었을 때 한국에 이런 인재들이 많이 있다면 더 많아지는 거고요. 결과적으로 한국의 좋은 점이 그건데, 어떠한 산업이 생기면 경쟁이 굉장히 치열해지잖아요. 똑똑한 사람들이 많고요. 그러다 보니까 “한국은 이렇게 좋은 걸 만들어도 아무런 자존심 없이 카피해서 문제야.”라고 하지만, 그게 거꾸로 국민들 입장에서 보면 다 편익으로 작용하거든요. 물건이 급격하게 싸져요. 그래서 그런 관점에서 봐야 하고요.
저희가 지금은 또 프론티어가, 저희가 프론티어라는 말에 대해서 굉장히 많은 말들을 하고 있는데 미국과 중국과 이렇게 가고 있는데 몇백B짜리 모델로 하고 있지만, 1T, 2T도 아마 해볼 수 있을 거고, 사실상 Opus급까지 간다는 얘기인데요. 1 trillion, 2 trillion이 되면 Opus급까지만 가면, 포르쉐 911은 아무나 살 수 없지만 그때의 프론티어는 또 10 trillion, 20 trillion으로 가 있을 수 있겠지만 아반떼가 싸게 만들어져서 국민의 편익이 증가한 것처럼, 누구나 쓸 수 있는 아반떼 같은 모델들은 누구에게나 다 퍼진다는 거니까 그런 것들을 기대해 봐야 하는 것 아닐까 하는 생각이 듭니다.
그래서 저는 솔직히 독파모 사업에 참여한 모든 엔지니어분과 그 컨소시엄에 참여한 분들에게 감사드려요. 애썼다. 그리고 그들이 경쟁했든 뭐가 되었든, 이게 한국 사회 전체에는 어떤 큰 경험과 자산, 우리가 어떤 임계점을 넘은 경험으로 남을 거라서 그분들이 나와서 스타트업에 들어가고, 다른 곳에 들어가고, 또 어디 패스트캠퍼스에 가서 강연하시고 이러면 한국어 문화권에서 더 큰 경쟁력이 생길 수 있겠죠. 저는 한국어 문화권이라는 것도 굉장히 중요하다는 생각이 듭니다. 왜냐하면 모두가 영어 콘텐츠를 자연스럽게 볼 수 있는 건 아니어서 아직까지는 언어 장벽이 있기 때문에 한국에서 그걸 하시는 똑똑한 분들이 많아지면 저희가 만들어서 거꾸로 수출할 수도 있는 일이고요.
모델 출시 페이스와 지속 가능한 생태계 과제 44:36
최승준 요즘 동시대 감각으로 느끼기에는 독파모에서 나오는 모델들이 경쟁하는 한정된 기간 동안만이 아니라 요즘 상황으로 봤을 때 한두 달 단위로 모델을 출시할 수 있어야 한다. 그만큼 더 들이부어야 하는 일 아닌가. 왜냐하면 이게 한 번 내고 끝나는 게 아니잖아요. 모델을 계속 내야 하거든요. 그래서 그 페이싱을 맞출 정도가 돼주면 좋겠다는 바람이 있었습니다. 그게 모델도 그렇고 하네스도 그렇고 같이 가줘야 하거든요. 딱 세 곳이 선정되고 끝은 절대 아니어야 한다는 생각이 들긴 했습니다.
노정석 맞습니다. 또 나머지 세 개 기관 중 업스테이지도 상당한 중견 벤처가 돼버렸고, SKT나 LG는 대기업 계열이고, Motif가 거꾸로 아예 글로벌 펀드에서 큰돈을 받아서 어떤 상업적인 곳에서는 더 큰 성공을 할 수도 있는 거라서 저희도 지난 몇 개월 사이에 인생은 새옹지마라고 할 것처럼 돌고 도는 걸 끊임없이 보고 있지 않습니까? Anthropic이 끝난 것 같다가도 Codex가 올라오고, 또 Codex와 Anthropic이 끝난 것 같은 곳에 Kimi와 DeepSeek이 올라오고, Kimi와 DeepSeek이 끝난 것 같은 곳에 중국에서도 새로운 모델들이 계속 나오고 있고, 이게 건전한 생태계의 순환이 아닐까요?
최승준 거기에 같이 끼려면 속된 말이지만 같이 미쳐 있어야 하죠. 리듬과 양의 투입이…
노정석 그렇죠. 지금 이게 또 돈의 문제로 귀결되는데, 돈을 좀 더 많이 받아서 한 달 단위로 낼 수 있으면 좋겠습니다.
박종현 저도 들으면서 든 생각이 이 사업 자체에 대해 긍정적인 쪽으로 생각이 많이 바뀐 것 같고요. 애초에 그 증거물이 Motif네요. 이런 사업이 있었으니까 저런 모델이 나올 수 있었고, 저런 팀이 나올 수 있었고, 실제로 저거는 아마도 높은 확률로 앞으로 계속 뻗어나갈 것 같고, 그다음에 승준님이 말씀하신 것처럼 지금 모델이 그렇게 빨리 찍혀 나오고 있다는 느낌이 들지는 않거든요. 해외에 비해서 평가 기간에 맞춰서 한 번씩 겨우겨우 내고 있는 듯한 느낌인데, 반대로 얘기하면 미국, 중국 말고 다른 데, 예를 들어서 Mistral 같은 경우에도 모델이 그렇게 빨리 찍혀 나오진 않아요. 심지어 Mistral은 거의 GPU 사업자로 사업 모델을 바꾸려고 한다는 이야기도 많이 돌고 있는 것 같고요. 그나마 이렇게라도 쫓아가는 걸 겨우겨우 하고 있다는 느낌이 들긴 하네요. 그래서 우리도 같은 궤도에서 경쟁할 수 있을 만큼 올라가면 좋겠다. 그런 걸 가속시키는 장치니까, 생태계를 만든다는 것 자체가 좋은 것 같아요.
저도 이런 거를 떠들고 있는데, 제가 라이브를 켜게 된 결정적 계기가 하나 있거든요. 점심을 먹는데 옆 테이블에서 다 저 얘기를 하고 있었어요. 그래서 ‘오늘 저녁에 라이브 켜고 나도 써봐야겠다.’ 그런 생각을 했어요.
노정석 판교인들이었나요? 아니면 그냥 일반인들이었나요?
박종현 외모상으로 추정하건대 판교인들이긴 했습니다.
노정석 네, 그렇죠.
박종현 그런데 어떤 직종인지는 모르겠지만, 아무튼 제가 활동하고 있는 구역이 좀 그래서 전 국민적으로 관심을 가지고 있다. 저희도 떠들고 있고, 이걸 보시는 분들도 이걸 통해서 더 알게 될 거고, 제가 여러분의 의견이 궁금하다고 말씀드렸는데, 그러면 많은 분들이 아마 댓글로 의견 교환도 많이 하실 거고, 생각이 다르더라도 토론이 일어나고, 이런 것에 관심을 가지는 것 자체가 국민적으로 AI를 잘 쓰는 사람을 만드는 사회로 가는 것 같아서 너무 좋은 것 같고, 화제성이 더 컸으면 좋겠다는 생각이 드네요.
최승준 카메라 마사지라는 말이 있더라고요. 연예인들은 자꾸 비춰줘야 더 향상된다는 그런 뉘앙스인 것 같은데, 전 국민이 관심을 가질수록 더 향상되지 않을까.
정부 사업의 양날의 검과 진짜 시장 경쟁 48:31
노정석 그리고 정부 사업이라는 게 항상 양날의 칼이거든요. 그래서 독파모에서 1등을 했다. 무엇을 얻게 되는가? 그 기간 동안 GPU 자원을 공여받았다. 그게 몇백억, 몇천억 원어치다. 당연히 그건 큰 자원이지만, 그게 끝나고 나서 또 굉장히 혹독한 시장으로 나아가야 하는데, 그 시장에서는 한국인이라고 한국형 모델을 써줄 것 같진 않거든요. 글로벌 프론티어와 경쟁해야 하는데, 예를 들어서 제가 기업이고, ‘OpenAI 모델은 쓸 수 없어. 그러면 어떤 모델을 base로 내 coding 하네스의 on-prem 모델을 짤까?’ 그러면 당연히 open-weight 중에서도 프론티어 오브 프론티어를 고르지 않을까요? 그런 식으로 경쟁이 완전히 열려 있는 상황이어서, 거꾸로 Motif 입장에서도 이런 복잡한 루브릭의 게임에서 아웃되고 자유롭게 날게 된 게 오히려 이름도 날리고, 그다음에 산업에서 지금 한참 on-prem, open-weight 모델에 대한 수요도 높은데, 거기로 더 달려갈 수 있는 시간을 벌게 되는 것도 있어서.
최승준 경연 같은 걸 생각해 보면 꼭 1등이 잘나가는 건 아니잖아요. 가수 경연 같은 걸 봤을 때요.
박종현 그렇죠.
노정석 돌고 돌고, 이 산업계가 저희도 계속 얘기하듯이 2주에 한 번씩 상승세가 하락세로 가고, 하락세가 상승세로 가고, 계속 바뀌어대는 업계라서 여기에서 미친 듯이 뛰기에는 또 시장의 속도에 그냥 빨리 들어오는 것도 나쁘지 않다고 봅니다.
박종현 네, 여기까지 정리하고 넘어갈까요?
노정석 네, 이 정도에서 넘어가죠. 이게 또 종현님이 Motif에 대한 애정이 좀 있으시다 보니까 그렇긴 한데, 저는 개인적으로는 Motif한테 훨씬 잘된 일이라고 봅니다.
최승준 그러면 제가 빠르게 이어가 보겠습니다.
노정석 종현님은 정부 사업을 해보신 적 있으세요? 제안서 쓰고?
박종현 대학원생 때 많이 했었죠. 제안서를 정말 많이 썼습니다. 정부 과제를 많이 했었어요.
Astra 훈련 중단과 Anthropic 논쟁, 암 연구 프론티어 뉴스 50:36
노정석 네
최승준 그래서 독파모도 이번 주에 도파민이 나오는 부분이 있긴 했는데, 저희가 AI와 관련해서 도파민을 추구하고 있지 않습니까? 그래서 그런 뉴스 같은 것들을 돌아보면서 제 개인적인 경험 같은 것도 얘기해 보려고 하는데요. Sam Altman이 아까 했던 얘기를 정석님이 언급해 주셨는데, 2주간 멈춘다고 그랬어요. 그런데 요새 하이프를 만들어내는 CEO들이 발언을 전략적으로 내잖아요. 그래서 당연히 이거 마케팅 아니냐고 의심하게 되는데, 2주간 멈추는 게 Astra를 멈춘다는 게 아니라 다음 모델을 멈춘다고 댓글을 달아놨었어요. 그래서 Astra는 예정대로 출시할 것 같고, 그게 8월 말이 될지 9월 초가 될지 언제인지는 모르겠지만 조만간 Astra 정도가, 그게 GPT-6로 불릴지는 모르겠습니다만, 나올 것 같다. 그런데 지금 멈추자고 한 거는 불과 2주만 아예 멈추겠다고 한 거거든요. 그래서 이게 무슨 플레이인지 잘 모르겠어요.
노정석 마케팅 경우가
최승준 하나 있었고, 그렇죠?
노정석 마케팅이겠죠. Anthropic이 쉰 거, 우리도 쉰다.
최승준 그리고 또 이슈가 됐던 게 Dario Amodei가 장문의 트윗을 올렸고, 이게 좀 바이럴됐었어요. 그런데 이거의 시작이 All-In 팟캐스트였거든요. Gavin이 얘기했던 게 Dario나 Anthropic의 어떤 얘기를 비판하는 내용이 있었는데, 그거에 대해 Sholto Douglas가 또 끌어올려서 트윗에 올리고, 그게 Gavin하고 Sholto 사이의 토론이 되다 보니까 Dario가 자기 생각을 길게 쓰고, 그게 또다시 여기저기 퍼지는 일이 있었는데, 흥미로운 건 여기서 암과 관련된 얘기가 나온 게 저는 관전 포인트였어요. Dario가 암 치료를 얘기했다. 그런 얘기와 맞물려서 이게 있었죠. Anthropic이 protein design과 관련된 일을 계속하고 있다. Moderna가 이걸 mRNA 백신으로 암의 진행을 늦추는 데 활용한다는 얘기도 연결돼서 생각이 났습니다.
Richard Sutton 인터뷰와 지속 학습 비전 52:43
최승준 그래서 이런 것들이 있었고, 제 눈길을 끈 거는 Sequoia에서 Sutton을 인터뷰한 게 좀 눈길을 끌었어요. Sutton이 작년 Dwarkesh 편에서 봤을 때 LLM 친화적이지 않다는 느낌을 강하게 줬었잖아요. 그러고는 자기들이 하는 일에 대한 얘기를 재미있게 풀었거든요.
노정석 네, 너무 천상계 단어들을 쓰셔서 저희 같은 민초들이 못 알아들은 것 같아요.
최승준 그래서 그때 했던 얘기들을 조금 더 구체적으로 푸는 편이 이 편입니다. 그래서 실제로 OAK Lab을 아주 소규모로 차려서 창업했는데, 거기서 뭘 도전하느냐에 대한 얘기를 했거든요. 그래서 결국에는 그 거대한 세계에서 스스로 배워서 성장하고, 계속 새로운 아이디어를 낼 수 있는 정도의, 이미 학습한 것의 분포 안에서만 무언가를 조합하는 게 아니라 새로운 역량을 스스로 경험을 통해 획득할 수 있는 agent에 대한 상을 작년에 position paper 「경험의 시대」를 통해 공개하기도 했었는데, 그거에 대한 이론적인 아이디어들이 이번 편에 소개돼요.
그래서 제가 전반부 내용을 그냥 건너뛴 다음에 이 Alberta Plan이라고, 2022년에 Sutton 등이 앞으로 자기들이 무엇을 추구할 것인지 미리 공개해 놓은 게 있어요. 거기서 이미 지속 학습을 얘기했었거든요. 그런데 어떻게 그걸 하겠느냐에 대한 힌트를 이번에 좀 줬는데, 재미있게도 모델을 학습할 때 training하려면 step size를 줘야 하잖아요. learning rate 같은 것을 얼마나 크게 하느냐가 hyperparameter tuning과 관련된 문제인데, 그거 자체에도 learner, 그러니까 trainable parameter를 둔다는 게 meta-learning 쪽에서의 화두였는데, per-parameter마다 그걸 준다는 얘기를 하더라고요. 그래서 모델이, 그러니까 agent가 앞으로 나가려면 어떤 것은 내가 가치를 배운 것을 잊지 않고 보존해야 하니까 그런 것들은 step size를 거의 0에 두고, 계속 갱신해야 하는 것은 좀 열어주고, 그래서 비균등하게 학습될 수 있게 하는 아이디어를 냈습니다.
그리고 그걸 가능하게 하는 또 다른 부품으로 지속적 backpropagation이라는 개념을 들고나왔는데, 그게 뭐냐 하면 그런 식으로 모델이 스스로 전체적인 학습 상황에서 남길 것과 새로 갱신할 것을 판단하는 역량이 있는 상태에서 덜 쓰이는 parameter 공간이 있으면 거기에 random을 주입하겠다는 거예요. 그래서 다시 초반의 분포로 돌려서 새로 배우게 하는, 뇌 가소성과 비슷한 것을 구현하는 계획이 이번에 이야기되었더라고요.
그래서 그걸 했을 때 뭘 할 수 있을 거냐고, 5년에서 10년이라는 time frame에서 뭘 추구하느냐는 계획으로 나온 게 1T 정도의 모델이 그렇게 지속 학습을 해서 계속 경험을 통해 배워나가는 것을 내놓는 걸 목표로 잡고 있더라고요. 그게 상당히 재미있는 부분이었습니다.
박종현 Richard Sutton에 대해 이때까지 나왔던 이야기들을 잠깐 정리해 보자면, 지난 Dwarkesh 편도 그렇고 이번에 Sequoia에 나온 것도 그렇고, LLM 반대파라고 딱 요약해 주셨는데 문제로 꼽는 것 중 하나가 지속 학습이 안 된다는 거죠. 왜냐하면 LLM은 모델을 쭉 tuning하면 weight가 딱 고정되고, 그 상태로 inference만 해서 우리가 뭔가 행동하면서 계속 배워나가야 하는데 그런 것들이 잘 안 되는 게 문제다. 그래서 사람은 이렇게 배우는데, 경험을 통해 배우는데, 얘는 그러지 않으니까 당연히 한계가 있지 않겠냐는 이야기였던 것 같아요. 그래서 그런 걸 풀기 위해 이런 기법들을 연구하면서 도입해서 풀어보겠다. 이게 큰 흐름이 맞는 거죠.
최승준 그리고 Sutton의 아이디어는 좀 급진적이거든요. 그래서 초반에도 자기가 왜 이런 급진적인 생각을 하는 스타일인지 같은 걸 밝혔는데, 재미있는 것은 Sutton의 관점에서는 인간과 다람쥐가 큰 차이가 없어요.
박종현 네, 동물이랑 비유를 많이 했던 것 같아요. 지난번에도요.
최승준 왜냐하면 다람쥐도 세상을 통해 배우고, 근육을 어떻게 조작하는지를 책을 보고 배우는 게 아니라는 거죠. 그래서 그런 관점에서 어떻게 스스로 새로운 역량을 개발하는지가 Sutton의 탐구 지점인 것 같아요. 그리고 그게 AI하고도 계속 연결되어 있는 부분인데, Sutton이 구체적으로 밝힌 이야기가 이번 편에서 재미있었다는 게 제 관전 지점입니다.
transcript 증강 읽기와 zoomable interface 실험 57:22
최승준 추상화에 관련된 이야기를 Sutton이 이번 편에서 많이 했는데, 형광펜으로 표시할 수도 있고 제가 여기에 메모를 달 수 있게 해놨거든요. 그래서 오래간만에 제 prompt를 한번 소개하면, transcript를 일단 붙여놓은 다음에 HTML을 만들 거예요. 그리고 저는 이렇게 화자를 표시해 놓는 게 제 인지 부하를 줄여서 감정 표현 같은 걸 재미있게 읽을 수 있게 해주므로 이런 표시를 붙여놓는 prompt를 넣거든요. 그다음에 용어 같은 게 나오면 그때 가서 찾아보기보다는 미리 일괄적으로 찾아놓게 해요. 그래서 한 번에 작업을 걸어놓는 거죠.
그다음에 여기 디자인 관련 용어가 좀 있고, 원문에는 transcript만 있지만 여기 보면 다이어그램이 들어가 있잖아요. 다이어그램을 SVG로 생성하고, 그걸 미리보기로 먼저 multimodal로 보게 한 다음에 시각적으로 개선하는 loop를 반복하게 합니다. 그다음에 local storage에 저장할 수도 있게 하고, 메모와 형광펜을 활용해서 제가 증강하는 거죠. 그래서 제 관점은 원문을 다 읽되, 늘려 읽자는 거예요. 요약하지 말고요. 그다음에 제가 메모 같은 걸 해서 그걸 내보내면 다른 입력에도 쓸 수 있게 하는 식으로 요새 많이 해보고 있는데, 종이 종으로 나오잖아요. 그래서 종으로 이렇게 쭉 scroll할 수 있을 만큼의 정보가 나오는데, 제가 지난주에 그걸 해보고 나니까 머릿속에 잘 남지 않아요.
소개해 드렸던 내용들을 이렇게 종으로 된 것들로 다 붙여봤거든요. 그래서 zoomable interface를 만들어봤습니다. 이게 지난주에 소개했던, 유튜브에서 봤던 거라든가 읽었던 글들이에요. 그래서 그걸 살펴볼 수 있는데, 제가 느끼기에는 관련 있는 내용이 있는 것 같아서 그걸 횡으로도 다시 볼 수 있게, 종횡을 다룰 수 있게 하는 제 인지를 도와주는 도구를 만들어봤어요. 왜냐하면 너무 많은 정보를 봐야 하니까 머리에 남지도 않고, 찾아지지도 않거든요.
그래서 이런 도구들을 만들어봤는데, 제가 오늘 다시 짚어보고 싶은 것은 재귀적 자기 개선 토론 부분에서 Dwarkesh가 질문했던 것과 관련된 이야기를 다이어그램을 보면서 하려고 해요.
박종현 지금 정리해 주신 걸 보니까, LLM은 그냥 token의 흐름, 어떻게 보면 1차원적인 정보를 다루는 모델인데, 확실히 인간은 종횡의 연관 관계를 한눈에 파악하는 데 그런 도구를 사용하신 거잖아요. 사람은 시각으로 무언가 정보를 다루는 동물이구나. 그래서 확실히 차이가 느껴지긴 한다. 이런 점들이 Sutton이 말하는 차이점 중에도 하나겠다는 생각이 들었습니다.
최승준 그리고 이렇게 SVG 같은 다이어그램을 여기에 끼워 넣는 이유는 zoom out했을 때 정보가 남아 있을 수 있게 하고, 그걸 빠르게 anchoring하려는 거거든요. 그래서 의미적 zoom이라는 개념도 있는데, 그게 level of detail에 따라서 어떤 게 zoom out했을 때도 보이게 하는 용도인데, 이게 딱 그 모델은 아니긴 합니다만 유사성이 있죠.
그래서 제가 요새 계속 천착하고 있는 게 Dwarkesh 편에서 중간에 Oriol도 그 이야기했었는데, 중간 규모나 소규모에서 구현하고 실험하는 건 LLM이 너무 잘한다는 거죠. 그런데 그런 것들은 비용이 싸니까 반복해서 실험하며 가능성 공간들을 탐색하는 걸 잘할 수 있는데, 정말 그 역량을 획득하는 pre-training은 자주 할 수 있는 게 아니다 보니까 이런 식으로 병렬로 해놓고 평가하는 게 쉽지 않다는 거죠. 따라서 필연적으로, Dwarkesh가 이야기한 건데, 몇 번밖에 할 수 없는 run을 돌리는 건 취향에 대한 의존성이 생긴다. 그리고 LLM은 아직 이런 취향이 부족하다 보니까 스스로 그걸 해내지 못한다. 그래서 여기서 RSI가 깨지는 거 아니냐는 게 Dwarkesh의 의심이었어요.
hill climbing의 한계와 큰 그림을 보는 agent workflow 61:15
최승준 그런데 저도 작업하다 보면 비슷한 걸 느끼거든요. 요새 작은 단위의 실험을 하는 것은 빠르게 여러 가설을 세우고, 가설 공간에 대한 구현을 각 agent에게 분배해서 쭉 돌린 다음에 orchestrate하고 병합하는 게 모두가 쓰고 있는 workflow인데, 그게 잘되는 공간이 있지만 거기에서 아무리 해도 발견하지 못하는 큰 그림이 있어요. 그래서 이번 편에도 hill climbing이라는 단어가 나오는데, hill climbing은 잘해요. 측정할 수 있는 지표가 나오고, 그 숫자들을 조금씩 줄여서 하는 것들은 현재 모델들이 너무 잘하는데, 그러다 보면 필연적으로 local minimum에 빠지는 경우가 있습니다. 너무 좁은 공간에서 최적화하려다 보니까 큰 그림을 놓치니 조망하게 해야만 비로소 그때 조망하고 나서 그걸 놓쳤다는 이야기를 하거든요. 그런데 그걸 스스로는 못해서 계속 고민하고, 제가 그 작업을 해보고 있거든요.
그런데 모델의 역량이 늘어나면서 풀리는 것도 있습니다. 그래서 제가 벌써 한 3월쯤에 소개했을 때 이거 안 되는 걸 소개해 드렸었어요. 그래서 이런 걸 했을 때 여기서 polygon이 아름답게 흐르게 하고 싶다, 그런 이야기를 해서 제가 그때 modeler를 만들고, 여기서 뿔 같은 걸 이렇게 만든다거나 하는데, 이게 특정 topology가 되면 안 됐었거든요. Sol이 나오고 하루 이틀 지나서 해봤을 때는 물론 쉽지는 않았습니다만, 그래도 풀렸어요. 하루 한 그 정도 투자를 했을 때요. 그래서 이게 제 눈에는 상용에서 나오는 quad mesh의 flow와 상당히 유사해요. 그래서 이런 것들을 써먹을 수준으로는 온 것 같아요. 그래서 이게 되는구나를 느껴서 좋았고, 요새 택한 것은 어떻게 하면 제가 관심 있는 영역에서 뭘 해볼까 하는 거였어요.
그래서 디자인은 그래도 non-verifiable한 영역이긴 한데, 그럼에도 불구하고 측정 가능한 지표들이 있고, 그게 실제 미감에 해당하는 것을 직접적으로 대표하는 지표는 아니지만 proxy 지표, 그러니까 대체 지표 같은 것들은 있다고 생각해서 실험해보고 있었던 게 첫 번째는 조판이었습니다. 핵심은 어떻게 하면 non-verifiable한 문제들을 verifiable한 문제에 가깝게 점근할 것이냐는 거예요. 그래서
조판을 verifiable하게 만드는 프록시 지표 실험 63:58
박종현 예를 들면 그 proxy 지표가 어떤 것들이 있나요? 디자인에 어떤 평가 점수를 매길 만한 무언가라도, 그런 거 한번 들어보고 싶습니다.
최승준 조판이 그래도 좀 쉬워요. 조판은 많이 연구돼 있거든요. 그래서 조판은 여기서 텍스트가 어떻게 흐를 거냐, 여기 보면 행송이라는 게 있고, 활자 크기, 당연히 폰트 크기를 바꾸는 식으로 하는 것들이 있는데, 그랬을 때도 이 오른쪽이 아름답게 흐를 필요가 있거든요. 너무 들쭉날쭉하는 게 아니라, 여기가 잘 흘러야 좋아요. 보기에도 좋고, 읽기도 좋고요. 그런데 이렇게 읽는 것보다는 양끝 맞춤을 하는 게 실제로 우리가 책을 봤을 때 읽는 것처럼 보이죠.
그리고 1단으로 봤을 때는 좀 크게 해보겠습니다. 여기 들여쓰기가 되어 있는 것이나 또 문단 사이의 간격을 늘리는 게 너무 넓어도 안 되고, 너무 좁아도 안 되고, 그런 것들이 측정 가능한 것들이거든요. 그래서 이게 이미 연구가 잘된 게 TeX예요. LaTeX은 사실 Knuth-Plass라는 알고리즘이 있어서 dynamic programming, 그러니까 동적 계획법을 써서 이걸 측정해서 TeX에 맞추거든요. 그런데 Knuth-Plass가 80년대에 발견한 게 여기에 이미지가 들어간 도판이 들어가면 그건 NP 문제가 된다는 거예요. 그래서 다항 시간 내에 못 푸는 문제가 된다는 걸 80년대에 이미 증명했거든요. 그런데 요즘은 Knuth-Plass 알고리즘을 쓴 라이브러리들이 상당히 많이 나오고 있습니다. Justify라는 것도 있고, 조판하는 데 FreeText라는 것도 있고, 그런 것들이 많이 나오고 있어서 저도 실험해 봤던 거죠. 그래서 이건 전문적인 디자이너가 했을 때는 훨씬 더 미세하게 튜닝해서 이런 것들을 조정하면서 하거든요. 그런데 대강 봤을 때는 그래도 나름 괜찮게 읽을 수 있는 수준이 되는 것 같다는 걸 테스트해 봐서, 이건 그래도 좀 되네, 그런 느낌을 받았거든요.
파라메트릭 한글 폰트 생성과 디자인 평가의 어려움 66:28
최승준 그런데 폰트로 가니까 자유도가 훨씬 높아서 제가 조합형 한글을 만들어 보고 있는, 한글 폰트를 만들어 보고 있는데, 이걸 그냥 Bézier로 바꾸는 건 아무 문제도 아니에요. 파라메트릭 폰트라는 건 이미 10여 년 전에 굉장히 유행했던 장르거든요. 그런데 제가 시도하는 건 spline curve를 바꾸는 게 아니라 이게 형성되는 것 자체를 함수화하는 거예요. 그래서 이런 것들 전체에서도 바꿀 수 있지만 펜촉이 있고, 그 펜촉이 움직이는 걸 외곽선으로 만들어 내는 방식 같은 것들이 METAFONT라고, 이것도 Knuth가 만든 건데, 그런 방식이에요. 이렇게 해서 여기서 나오는 폰트들이 하나도 예쁘지 않아요. 한글 조합이 되어 있기는 합니다만 쓸 수 있는 폰트는 아니라는 거죠.
박종현 이런 게 궁금합니다. 지금 보여주시는 폰트는 얘가 알아서 만든 거라서 안 예쁘다고 생각하시는 거고, 그다음에는 얘가 예쁜지 안 예쁜지를 어떤 식으로든 점수화해야 하는데, 점수화하는 게 너무 어려우니까 그걸 어떻게든 점수화하기 위한 프록시 지표 같은 걸 뽑아 보려고 하시는 거죠?
최승준 맞아요. 그래서 지금 시도하는 건 여기 보면 초성·중성·종성의 구획이 있고, 그런 공간을 이렇게 당겨 보는데, 이게 상호 의존적이거든요. 어떨 때는 이게 밑으로 내려와야 하고, 원래 실제로 ‘쀍’이란 걸 써보면 이 모음의 삐침이 여기 있으면 안 되고 여기 정도에 있어야 하거든요. 그런데 그렇게 하면 다른 글자가 깨져 버려요. 그런 것들의 상관관계를 사람은 감각적으로 아는데, 이걸 다 측정 가능한 형태로 만들어서 모델이 자동 미분과 비슷하게, 자동 미분은 아니지만, 이 근처의 것들을 이렇게 투영해 본 다음에 그중에서 실제로 대상이 되는 reference font가 있다고 하고, 예를 들면 Noto나 Noto KR 같은 걸 썼을 때 그 공간과 얼마나 비슷한지를 학습시키는 방법으로 지금 하고 있는데, 여전히 잘 안 되거든요. 그래서 계속 모델이 가설을 세우고, 실험하고, 측정하고, 조정하는 작업을 아직도 하고 있는데, 제 눈에는 아직 멀어 보인다는 거죠. 구색을 맞추는 것과 실제로 쓸모 있는 폰트를 만드는 건 굉장히 다른 차원의 일이라는 거죠.
그런데 지금은 디자인 영역이지만, 다른 작업을 했을 때도 되풀이되는 거거든요. 큰 그림을 보고 그 안에 내가 중요하게 보는 지표가 있다는 것, 중요한 가치가 있다는 것을 숫자화해서 측정 가능하게 해야 하는데, 그래야 모델들이 부분 부분을 hill climbing하면서 다시 전체를 보고 이건 어떻게 다뤄지고 있고, 못 따라 주고 있는 게 무엇인지 피드백을 줘야 하는데, reviewer 모델들을 써도 하다 보면 hill climbing을 해요. 그래서 아직은 이게 좀 멀었구나 하는 생각이 작업하면서 들고 있습니다.
노정석 너무너무 가혹하신 것 아니에요? 이 정도 하는 것도 어떻게 보면 잘하고 있는 것 아닌가요?
최승준 훌륭히 잘하고 있죠. 이 정도를 구현하는 건 비용이 너무 싸다는 거죠. 파라메트릭 폰트를 만드는 게요. 지금 이건 한글이라서 좀 어려운데,
노정석 이거 예전 같았으면 폰트 회사의 한 팀 정도가 붙어서 상당히 오랫동안 티키타카하면서 진행했어야 할 프로젝트를 승준님이 혼자 directing하시면서 모델을 끼고 밀어붙이고 계시는 거잖아요. 얘가 다 완성되고 나면 이건 어디에 쓰는 물건이에요?
최승준 제가 평소에 그냥 쓰려고요. 유치원에서 디자인 작업을 해야 할 일이 있는데 힘들어서요.
노정석 유치원에서 어떤 문서를 내거나 뭘 할 때 독특한 우리만의 폰트로 뭔가 발행하고 싶은 목적이 있는 거죠?
최승준 작업하다 보면 늘 쓰는 폰트를 쓰게 되고, 그런 것들이 마땅치 않은 부분도 있으니까 그냥 하나 해 봤으면 좋겠다는 생각이 있어서 하는, 유희적인 측면도 있지만 목적도 있는 작업이거든요. 그런데 그걸 하는 김에 agent workflow에 대한 메타적인 생각을 하면서 하는 거죠.
취향이 필요한 디자인 작업과 evaluator의 한계 70:59
박종현 제가 디자인을 전혀 모르는 사람으로서 저 디자인이 별로라고 하셨는데, 제 눈에는 저게 별로인지조차 인지가 잘 안 되거든요. 디자인이라는 것에 대한, 어떤 좋은 디자인이 무엇인지에 대한 scalar 점수를 매기는 evaluator로서의 능력이 제 머리에 없는 거죠. 이런 작업을 살면서 거의 해 본 적이 없으니까요.
최승준 그런데 반대도 있어요. 아무리 심미적인 안목이 있더라도 DP나 backprop 같은 용어들을 모르면 모델에게 시키지 못하거든요.
박종현 그러면 제 뇌를 LLM이라고 생각하고 비교해 보자면, 어쨌든 제가 디자인을 잘하려면 제 뇌에 좋은 디자인이 무엇인지에 대한 감각을 탑재하는 과정이 필요한데, 그러면 LLM이 아까 얘기하신 것처럼 예를 들면 큰 프론티어 모델이 더 커져서 아예 새로운 디자인 요소를 다 잘 평가할 수 있는 파운데이션 모델이 찍혀 나온다면, 어떤 방식으로든 hill climbing을 해서 좋은 폰트를 만드는 게 가능해질 거라고 생각하시는 거죠?
최승준 그렇죠. 예를 들면 Dwarkesh가 물어봤던 이런 걸 실제로 돌릴 때, 실험을 돌릴 때 여기서 측정하고 그러는 것들이 30분 이상 돌아가는 run이 많아요. 다양한 공간을 전부 측정하고 축을 찾은 다음, 그걸 다음 run에서 테스트해 보기 때문이에요. 그래서 이게 비용이 들기 때문에 디자인, 그러니까 어떤 방향으로 갈지를 제가 감을 잡으면서 해야 하거든요.
그런데 어떤 규모에서는 빠르게 돌릴 수 있어서 hill climbing이 되는데, 제가 원하는 건 판단하는 것도 loop 안에 들어가는 거죠. 그런데 현재 regime으로는 어떤 영역에서는 될 것 같은데, non-verifiable이라는 영역에서는 잘 안 된다는 인식이에요.
그리고 Dwarkesh는 결국 그 큰, 정말 큰 규모의 RL을 돌리려면 취향에 의존적인 요소들이 있기 때문에 그게 안 되고서는 모델의 RSI가 RSI라기보다는 SI가 아니냐는 함의가 있는 것 같거든요.
박종현 정해진 곳 안에서만, 프론티어 모델의 지능의 한계 안에서만 끝까지 밀어붙일 수 있는 거지, 그 위를 넘어갈 수는 없다고 생각이
최승준 든다는 건 그거거든요. 그래서 지금 regime이 아닌 것을 탐색한다는 거였어요.
노정석 머릿속에 상은 떠오르지만 굳이 설명하라고 하면 참 어렵긴 해요.
최승준 그래서 추상화 자체를 스스로 할 수 있는 것이 Sutton이 단기적으로 잡고 있는 목표인 것 같아요. 그래서 제 눈에 들어왔던 거죠.
박종현 저도 최근에 비슷한 문제를 풀고 있었거든요. 디자인을 직접 해야 하는, 예를 들면 어제만 하더라도 새로 출시하려는 것의 명함을 제가 만들고 있었는데, 생각보다는 잘하는데 잘 안 되더라고요. 어느 정도 되고 나서 보니까 제가 무엇이 좋은 디자인인지 모르는 게 일단 근본적인 문제라고 생각했고요.
LLM이 저보다 더 잘하냐고 생각하면 저는 그렇다고 느끼긴 했거든요. 제가 일단 디자인을 잘 못하는 뇌를 가지고 있기 때문인데, 그럼 제가 만약 10년 정도 디자인을 열심히 하면서 살아왔다면, 그러면 잘했을까 하면 지금보다 훨씬 잘했을 것 같다는 생각이 들어요.
그런데 그걸 고민하면서 어떻게 하면 LLM을 더 잘 밀어붙여서 디자인을 지금보다 제가 가진 역량 이상으로 더 잘하게 만들지라는 고민과 동시에, 그걸 잘하려면 어차피 내가 잘해야 하는 거구나, 이 두 가지 생각 속에서 무엇이 정답인지 찾지 못했거든요. 특히 이런 취향이나 이런 것들이 들어가는 경우에 대해서요. 다들 의견이 분분하고, Sutton은 이런 식으로 접근하려고 하고, Dwarkesh는 안 된다고 생각하는 것 같고, LLM을 그냥 키우면 무조건 된다고 생각하는 사람들도 있는 것 같고요.
20와트로 1T 모델을 돌리는 Sutton의 상상 75:19
최승준 저는 이게 이분법은 아니라고 생각하고요. Sutton도 LLM을 평가 절하하는 건 절대 아니었어요. 하지만 다양성을 탐색해 봐야 하고, 거꾸로, 역산해서 생각해 보면, 만약 혁신이 나와 버리면 어떡하죠? LLM이 아닌 방식에서요. 그랬을 때 지금 인프라도 여전히 GPU를 쓰는 이상 통하는 부분은 있겠지만, Sutton이 목표로 하는 게 20와트예요. 20와트로 1T 모델 돌리기. 지금은 굉장히 많은 전력을 써야 하는데, 무어의 법칙이 지금 잘 들어맞고 있지는 않습니다만 그래도 이런 식으로 어떻게든 방법을 써서 올라간다고 했을 때, 10년 사이에 지금 2,000와트로 할 수 있는 걸 20와트로 하면 무슨 일이 벌어질까를 물었더니 상상하더라고요.
그래서 인간의 뇌와 비슷하게 훨씬 적은 와트 수에서, 인간도 와트 수를 측정하지는 아마 않겠지만, 어쨌든 그런 식으로 낮아졌을 때도 1T 정도를 돌리면 무슨 일이 일어날까? 이걸 상상하고 있더라고요. 그리고 그게 가능해지는 timeframe을 지금으로부터 5년에서 10년 사이로 보거든요. 그런데 만약 그 일이 일어났어요. 그러면 지금 일궈지고 있는 산업들의 교란은 어떻게 될 것인가? 이런 것들이 또 재미있는 상상 포인트인 것 같긴 합니다.
노정석 네, 그걸 지금 예측하면 아마 투자로서는 실패할 것 같고요. 앞으로 1년, 2년을 예측해야 그 뒤에도 보일 것 같아서, 지금 서튼이 5년 후에, 10년 후에 그런 걸 한다더라라고 하면서 지금 Transformer 위주로 깔리고 있는 인프라는 다 망할 거라는 식으로 투자를 멈추거나 그 포트폴리오에 올라타지 않는 건 바보 같은 선택일 것 같고요.
최승준 그렇죠. AI winter를 살아남고 극복한 분들이잖아요. 안 하던 걸 해서, 그런 건 여전히 중요한 것 같다는 거지, 지금의 regime이 망할 거라는 건 아니긴 하죠. 그 상상을 해보자는 정도였죠.
노정석 이러나저러나 본질은 연산 총량의 함수일 거라서, 지금 저희가 최신 프론티어 모델이 있음에도 불구하고 말도 안 되는 걸 100개씩 얼기설기 이어서 또 어떻게든 쓰듯이, 지금의 아키텍처가 무용해지지는 않을 겁니다. 연산 차원에서요.
최승준 A100도 아직 쓴다면서요? A100이 아직도 완전히 퇴역한 건 아니라는 얘기를 들었어요.
auto research와 control plane으로 보는 일의 구조 77:45
노정석 큰 틀에서는 지금 auto research잖아요. 저희가 어떤 목적과 어떤 evaluation metric을 명확하게만 할 수 있다면, 그사이에서는 얘가 스스로 답을 찾아가면서 계속 진화할 수 있다는 거니까요. 저희 vibe coding도 사실 과정으로 놓고 보면, 안에서 사람들이 auto research를 하고 있는 거잖아요. 뭘 하나 만들고, 거기에 대한 evaluation을 보고, 이거 잘못됐으니까 다시 하고, 그 evaluation metric을 어느 정도 구조화할 수 있다면 그 전체를 loop로 형성할 수 있는 거고, 그걸 하기 위한 어떤 설계는 engineering의 문제가 아니라 철학과 경영의 문제로 돌아오는데, 그런 걸 설계할 수 있다면 loop를 오래 돌릴 수 있겠죠.
최승준 그래서 제가 주변 디자이너분들한테 이걸 공유하면서 도전적인 질문 같은 걸 던져보는 게, 사고실험을 했을 때 조판의 문제라고 하면, 내가 좋아하는 책의 그런 맛있는 부분을 샘플로 스캔한 다음에, 요새는 계속 반복 개선을 하면 multimodal model이 거의 pixel-perfect 수준으로 생긴 것 정도는 맞추거든요. 그래서 그걸 일단 SVG로 fitting한 다음에, 그 fitting한 것에서 조판의 원리 같은 것, 특정 디자이너의 심리를 proxy하는 원리 같은 걸 찾아내서, 그게 다 다뤄질 때까지, rubric이 다뤄질 때까지 반복 개선해서 특정 style이 추출된다고 하면, 조판 정도에서는 안 될 것도 없겠다는 생각을 하긴 했었어요.
그러면 조판 디자이너의 일은 뭐가 되는가? 어떻게 이동하는가? 물론 이게 얘네가 sampling한 것의 보간이기 때문에, 그 정도에서 생산이 빨라지는 거긴 하지 새로운 조판의 어떤 층위를 발견한 건 아니거든요. 생산성을 높였을 뿐이죠. 하지만 그럼에도 불구하고 impact가 있을 때 일은 어떻게 이동할까? 그런 질문을 던져볼 때 이 예시를 쓰고 있거든요. 그래서 이것저것 생각하게 됩니다.
편집 스타일 추출과 인간 작업의 프록시화 79:55
노정석 네
박종현 저도 정확하게 그걸 하고 있습니다. 영상을 편집하는 것도 비슷하거든요. 처음에 제가 어떤 식으로 시도했냐면, 제가 편집자로서 편집하는 걸 계속 보여주고, 그다음에 저도 제가 어떻게 편집하는지 말로 표현을 잘 못합니다. 그냥 감각적으로 하기 때문에요. 그래서 그걸 다 넣어주고, 여기서 얘가 loop를 돌면서 저와 똑같이 만들도록 evaluation metric을 잡고 제 style을 추출하게 하면 그 style이 추출되죠. 제가 어떤 식으로 하는지요. 그다음에 그걸로 다음 작업을 돌리면 저와 비슷한 제 proxy가 되는 건데, 정말 비슷하게 됩니다.
최승준 미루어 짐작하건대 정석님이 하는 것도 비슷한 거 아니에요? 정석님이 일하는 방식도요.
노정석 다 똑같죠. 그거 다 사실 저희가 딥러닝의 이런 큰 방법론을 적용하는 거죠. 저는 아까 승준님이 말씀하신 이런 것들도 이 layer를 반복해서 일어나는 어떤 동형 반복이라고 여전히 생각하고 있는데, LLM에서는 그 model이 저희가 아는 Transformer model이 되는 거고, optimization algorithm이 있고, 거기에도 똑같이 objective와 evaluation이 동작하는 거고, 그다음에 이걸 상위로 가져와서 좀 더 abstract level로 가져오면 편집하는 과정, 저는 회사를 경영하는 것, 그다음에 지금 이 문제를 놓고 보면 폰트를 어떻게 할 것인가, 그 목적물 자체의 code와 artifact라고 그냥 부르죠. 걔를 그냥 model로 놓고 저희가 optimize해 가는 과정인 거거든요.
그러면 그 층이 다 동형이죠. 충분히 optimize해 나가면 쓸 만한 제품이 남거든요. 그럼 거기서 우리에게 남는 역할은 지금은 여전히 목적을 설정하고, 나온 결과를 evaluation하는 거고, 그것의 품질이 model의 output과 그대로 연동돼 있는 거죠.
저도 답은 없습니다만, 이게 과연 우리가 어떠한 domain이다, 어떤 space다라고 얘기하는 게 얼마만큼의 크기이고 얼마만큼의 시작과 끝이 있는지는 아무도 모르잖아요. 그래서 이게 그 domain 안에 있는 건지 밖에 있는 건지, 예를 들어서 그 space가 굉장히 넓다면 어떤 점과 점을 연결해 interpolation한 게 우리 입장에서 볼 때는 그냥 novelty로 보이거나 아니면 extrapolation으로 보일 가능성이 있다는 생각이 드는 거죠.
최승준 요즘 수학에서 일어나는 일이 딱 그거죠.
노정석 승준님이나 종현님이나 저나 느끼는 것들이 지금 다 비슷해요. 저희 프론티어 모델의 성능이 올라온 만큼 저희도 거기에 대한 기대치와 작업의 품질, 작업의 양 같은 것들이 지금 엄청나게 증가해 있거든요. 처음에 그냥 agent 하나만 가지고 티키타카하면서 하던 게, 이제 다 multi-agent로 중첩시키고 어떻게 하면 단위 시간당 일을 더 많이 시키고, 내가 했던 작업의 trace를 얘가 읽어서 나 대신 어떤 의사결정을 하게 할 거냐, evaluation을 하게 할 거냐, 이런 system들을 만드는 쪽으로 사람들의 관심이 다 가 있잖아요.
multi-agent 반복 평가와 개인 작업 방식의 변화 82:39
노정석 그래서 그 system을 잘 구축하신 분들은 token이 모자라고, 저도 예전에는 weekly token이 남아돈다고 느꼈는데 요새 weekly token이 한 23일 정도면 다 소진되거든요. 그 23일 만에 소진되는 게, 예전에는 제가 하나하나 아는 범위에서 guide했지만, 하다 보니 제가 모르는 영역도 잘하게 만들고 싶은 욕구가 생겨서 model한테 이 evaluation 뺑뺑이를 돌리는 작업을 제가 많이 시키고 있는 거거든요. 안 되면 계속 돌아서, 네가 세 번 돌고도 여전히 문제가 없으면 그때 가져와. 이런 것들을 시키고 있는 거거든요.
품질이 어느 정도 확실한 routine을 거쳤느냐, 그걸 강제하는 게 제가 얘기했던 소위 control plane이더라고요. 어느 정도 evaluation metric 안에서 네가 하기로 한 것들을 다 충족했니? 충족하지 못했어? 그러면 작업을 안 받아줘요. 결과물을 안 받아주면 sub-agent는 다시 뺑뺑이를 돌아야 하거든요. 그걸 맞추기 위해서요. “아, 내가 이거, 이거, 이걸 못 맞추겠구나. 다시 돌겠습니다.” 하고 다시 갔다 오거든요.
그런 식으로 제가 해야 할 일을, 어쩌면 제가 한 번 보면 그냥 끝났을 일인데, 얘한테 뺑뺑이를 돌리고 일부러 그사이에서 굉장히 많은 부산물을 떨어뜨리는 거죠. 승준님이 예전에 얘기하셨던 그 부산물들의 network를 많이 만들고, 그것들 사이에서 걔가 작업하다 보면 저도 예기치 않은 발견을 하게 되거든요. “이거 이렇게 했으면 됐을 일이네. 잘했어.” 그러면 제가 거꾸로 저의 weight를 바꾸죠.
최승준 정말 많이 배워요. 특히 이 이름들은 이름만 알면 되거든요.
노정석 맞아요. 그리고 “이런 거 없을까?”라고 대충 개념만 얘기하면 찾아오죠. 이건 다 알고 있으니까요. 옛날에 이런 algorithm이 있었고, 이거에 맞춰서 그렇게 해보자고 하면, “자, 그러면 그 논문과 그 codebase를 꺼내 와.”라고 하면 정말 Matrix에서 뭔가 이렇게 잭을 꽂듯이, 헬리콥터 조종법을 머리에 딱 넣고 끝내버리듯이 제 도구가 그대로 확장된다는 경험을 하거든요. 그래서 아마 종현님도 똑같은 경험을 하실 텐데, 제가 얘와 일하면서 느끼는 게, Matrix에서 그게 된 듯한 느낌을 받아요. 그냥 시키면 되고, 내가 원하는 게 있으면 “이건 될 거야.”라는 게 되거든요.
최승준 상상력의 문제죠.
노정석 맞아요. “이건 되는 일이야.”라고 생각하니까 그걸 또 시작하지 않게 되는 게으름도 거꾸로 생겨요.
박종현 그냥 잭을 꽂는 것처럼 된다, 그런 이야기를 저도 하고 싶었습니다.
노정석 생각하느라고요. 그런데 하시는 일들을 보면, 예전에 하시던 일에 비해 지금 굉장히 말도 안 되는 일들을 하고 계시거든요. 보여주시는 것들이 저한테는 신기해요. 그런데 저희 모두가 지금 프론티어 수준으로 올라온 거죠.
최승준 마지막으로 하나 짚고 싶은 건, 제가 지금 보여드렸던 모든 게, 아까 3D model 말고는 다 web interface에서 한 겁니다. 클로드 코드나 Codex가 아니에요. web interface에서도 이 정도로 할 수 있어요.
웹 인터페이스만으로 가능해진 프론티어급 작업 환경 85:58
노정석 다 말로만 하신 거예요?
최승준 말로만 한 게 아니라, 그 웹사이트나 보통의 chat interface에서요. 그런데 보통의 chat interface는 아니죠. ChatGPT의 Work, Claude Cowork. 그런데 Claude의 경우에는 그냥 chat도 container를 주기 때문에 굉장히 편해요.
그래서 꼭 로컬 컴퓨터에 있는 걸 CLI나 desktop app으로 하지 않고도 그냥 container에서 브라우저를 띄워서 다 보거든요. 그래서 그것도 지금 오히려 개발자들이 인식하지 못하고 있는 포인트라는 걸 한 번 짚어보고 싶었습니다. 거기도 계속 발전하는 거죠.
노정석 그래서 Claude Cowork라든지 이런 것들이 사실은 Codex와 똑같다고 봐야 할 것 같아요. 그리고 조금 더 시간이 흐르면, 한 1년 정도가 더 흐르면 저희가 로컬에 연산 성능이 좋은 컴퓨터를 사야 할 이유가 없을 수도 있을 것 같아요. 그냥 클라우드에 있는 어떤 컨테이너에 넣어 버리면 남는 연산 자원이 동적으로 할당되며 알아서 일들이 끝나는 시기가 되지 않을까요?
저도 OpenClaw나 Hermes Agent를 쓰면서 집에다가 always-on으로 돌고 있는 그런 컴퓨터 하나 있잖아요. 저도 DGX에다가 그걸 깔아 놓고 그 위에 모든 걸 다 만들어 놓고 있는데, 제가 직접 UI라든지 동영상 편집같이 비주얼을 실시간으로 확인해야 하는 게 아닌 그냥 문자로 하는 일이면 컴퓨터를 안 켜거든요. 그냥 제가 만들고 있는 Operator Agent에 텍스트로만 지시하고 모든 일은 걔가 다 다루게 만들어 놔서 사실상 저도 그 일은 웹 인터페이스로만 한다고 봐도 무방하죠.
Operator Agent와 작업 자동화의 미래 87:51
노정석 어떻게 하면 저 없이도 제가 하는 일을 그냥 할 수 있게 할까가 저의 목표라서 그러다 보니 많은 일들이 일어나고 있습니다. 뭔가 일목요연하게 흐르지 않은 면도 조금은 있었지만, 이런 것도 탐색의 일부니까요. 네, 많이 배웠습니다.
최승준 재미있었습니다.
노정석 자, 그럼 오늘은 이 정도에서 마무리하도록 하겠습니다.
최승준 좋겠습니다. 알겠습니다.
노정석 네,
박종현 수고하셨습니다.
노정석 감사합니다.