EP 103
이해가 병목이 될 때
돌아온 Fable과 첫 사용감 00:00
노정석 녹화하고 있는 오늘은 2026년 7월 4일 토요일 아침입니다. 이번에 Fable이 돌아왔죠. 그래서 다들 Fable 쓰시느라 정신이 없어요.
최승준 사용 좀 해보셨나요? 어떠신가요?
노정석 저는 제가 쓰는 영역들이 다 가드레일에 걸려요. 생물학 관련 이야기를 조금만 꺼내도 무조건 Opus 4.8로 다 전환돼요. 그 이야기가 들어가 있는 게 요새 저의 주요 콘텐츠다 보니까 안 걸리는 게 없을 정도로 거의 다 걸려요.
박종현 저는 최근에 구축하고 있는 프로젝트가 있어서 코딩을 좀 돌려봤는데 토큰이 정말 너무 빨리 닳아서 리뷰를 한 번 쭉 시켰거든요. 과연 잘못된 걸 찾아낼 수 있을까, 제가 몰랐던 잘못된 게 있을까 했더니 정말 30분 만에 에이전트를 쫙 풀더니 5 시간 쿼터를 다 소진하더라고요.
노정석 Max의 5시간 쿼터를 30분 만에 소진했다는 말씀이신 거죠?
박종현 실행은 Ultra로 하긴 했는데 에이전트를 동시에 많이 켜서 30분 만에 다 쓴 것 같아요.
최승준 에이전트도 Fable 에이전트인가요? 낮은 모델의 에이전트인가요?
박종현 그건 제가 지정하지 않았는데 아마 Fable로 다 켠 것 같더라고요. 제가 찾아보지는 않았습니다. 확실히 좋긴 좋은가요, 써보시니? 일단 저는 정말 잘 모르겠어요. 분명히 좋을 텐데, 리뷰해 준 내용들을 정확하게 다 따라가는 게 오히려 느려서 일단 최대한 많이 돌려놓고 있거든요. 인지가 못 따라가는 상황이 발생해서요.
노정석 와, 이건 두 배 좋은데, 세 배 좋은데, 이런 느낌은 아닙니다.
최승준 저는 못 풀었던 Opus 4.8과 GPT-5.5가 못 풀었던 문제 몇 가지를 어제 풀어주긴 했거든요. 그리고 타임라인에 의도적으로 선별된 멋진 예제들은 여전히 많이 있더라고요. 그래서 오늘은 그런 멋진 사례를 소개하기보다는 일단 방향성에 대해 이야기해 보려고 이러저러한 타임라인을 살펴봤습니다. 이 앞에는 얼마나 숨 가빴는가, 2025년 11월 24일에 Opus 4.5가 나왔는데, 저희가 계속 추적해 왔듯이 이러한 리듬으로 나오고, 이게 이야깃거리가 있은 다음에 재등장한 상황이죠. 그사이에 Sonnet 5도 나왔고요.
프런티어 모델의 출시 리듬 02:02
노정석 결국 자원이 풍부한 사람들은 항상 최고의 모델들을 선택해 왔으니까 당연히 돈을 더 내고서라도 최고 모델을 선택할 거고, 그렇지 않은 사람들은 현실의 많은 문제가 Opus나 GPT-5.5 정도의 수준으로도 풀리는 게 많으니 한번 회사 입장에서도 실험을 거는 게 아닐까, 싶습니다.
최승준 수확 체감을 저번에 저희도 이야기했었는데, 수확 체감이 느껴지면 굳이 더 비싼 모델을 쓸 필요도 없는 거고, 회사 입장에서도 실험을 거는 게 아닐까 싶습니다. 자기에게 맞는 문제들을 적정한 수준의 모델로 해결해야 하는데, 이제는 좀 더 신중하게 선택해야 되는 가격대 진입 시점인 것 같다는 생각이 들었습니다.
박종현 저도 체감하는 건, 제가 어떻게 말해도 확실히 훨씬 더 잘 알아듣는다. 그래서 일이 잘되는 것 같다. 이런 느낌이 있긴 하네요.
노정석 거기에 맞춰서 저희의 기대도 계속 올라요. 잘하던 걸 조금만 못해도 이젠 짜증이 나죠.
어려운 버그와 빠른 사용량 소진 03:20
최승준 그래서 제가 요새 해보고 있었던 Minecraft 안에서 에이전트를 만드는 게 다른 에이전트를 만드는 데에도 다 전이될 것 같아서 한 달 정도 계속 붙잡고 있었는데, Opus 4.8로 안 되고 Codex로 안 되는 걸 어제저녁에 Fable에 맡긴 다음 놀란 건, 그걸 하는 데 순식간에 20%를 썼거든요. 전체 Fable 사용량 중에서, 한두 문제를 풀었는데요.
노정석 정확히 해결한 작업이 뭐예요? 굉장히 어려운 문제였나요?
최승준 다른 걸로는 해결이 안 돼서 계속 몇 시간씩 헤매는 버그들이 있었는데, 그 버그들을 그동안 다른 모델들은 인지조차 못 했지만 Fable이 리뷰해 내고 몇 개를 해결했습니다. 전체 사용량의 20%를 써버려서 이러면 안 되겠다는 생각이 들 무렵에 Simon Willison이 포스팅을 했어요. AI Engineer에서 Claude Code 팀의 Cat Wu랑 Thariq Shihipar, 요새 이분도 X에서 많이 활동하시는데, 두 분이 fireside chat을 했대요. 그런데 거기서 이런 이야기가 나왔다고 합니다. 이게 Fable에게 준 프롬프트예요. 모든 코딩 작업에 대해 적절한 저성능 모델을 스스로 판단해서 선택하고, 그것을 서브에이전트에서 실행해 줘. 했더니 Sonnet 5로 어떤 일을 하고, 더 작은 일감들은 Haiku한테 줘서 그걸 잘 해냈다.
모델 선택을 맡기는 서브에이전트 04:16
그리고 이걸 Fable이 자기 메모리에 사용자가 이렇게 이야기했다고 적었어요. 이유는 비용과 효율성 때문이다. 구현 작업에는 최상의 모델이 필요한 경우가 드물다. 판단, 리뷰, 종합은 메인 루프에 남겨둔다. Fable이 어떻게 작업해야 하는지 세세하게 지시하기보다는 Fable이 스스로 판단하게 하라는 것이었다고 합니다. 요즘 Anthropic 기술 스태프들에게서 나오는 이야기에 공통적으로 등장하는 내용이거든요. 예전에는 저희가 프롬프트와 명세를, 물론 그 명세 자체도 AI를 시켜서 짜긴 하지만, 꼼꼼하게 짜서 그걸 정확하게 했나 보는 게 하네스잖아요. 그걸 해라, 벗어나지 마라. 그런데 지금 Fable급에서는 스스로 판단하게 하고, 세세하게 지시하지 말라는 거죠. 사실 너보다 AI가 더 잘 디자인하고 계획할 수 있다는 뜻 아닐까요?
판단과 구현의 역할 분담 05:50
노정석 승준님이 방금 읽어주신 이야기가 몇 개월 전, 약 6~7개월 전에 했었던 이야기와 정확하게 동형인 게, Opus가 매우 비싸다고 생각되던 시절 판단은 Opus가 하게 하고 코딩은 Sonnet이 하게 하라고 하던 그때의 방식과 완전히 같거든요. 그러다가 그사이에 Max 요금제 같은 것들이 나오면서 Opus가 체감적으로 조금 싸게 느껴져서 지금은 모든 일을 Opus로 하고 있는 세상이 됐는데, 그런 관점에서 살펴보면 앞으로 Fable의 가격이 사람들에게 부담되는 수준에 계속 머무느냐, 아니면 여기도 프런티어 랩들 사이의 경쟁 혹은 다른 기술적 진보로 인해 떨어지는 토큰 가격 곡선을 타게 되느냐가 눈여겨봐야 할 지점이겠네요.
Anthropic과 OpenAI의 접근 차이 06:45
그러나 그 진보가 일어나는 주기는 비슷하네요. 인상으로 가지고 있는 건, Anthropic과 OpenAI는 살짝 철학이 다른 것 같다는 생각은 들어요. Anthropic은 thinking tokens에 그렇게 큰 비중을 두거나 연구한다든지, 혹은 서비스에서도 thinking tokens를 High로 올리든지 Medium으로 하든지, 거기에 따라 극적으로 뭔가 바뀐다는 느낌보다는 모델 자체가 어떻게 하면 원샷 원킬을 하게 할까 하는 부분에 비중을 두고 있는 듯한 느낌이고, ChatGPT는 여전히 test-time compute에 굉장히 큰 기대를 하고 있는 것 같아요.
GPT-5.5도 그렇고 GPT-5.6도 그렇고, 실험적으로 혹은 검증을 통해 아래에 있는 작은 크기의 모델도 충분히 긴 test-time compute를 투입하면 성능이 굉장히 좋아진다는 부분을 알고 있잖아요. 그럼 걔가 test-time compute를 투입하면서 완만하게 증가하는 곡선의 단위 비용당 성과와 Fable 같은 대형 모델이 원샷 원킬로 짧은 토큰 안에 만들어 놓은 성과, 결국 그사이의 상충 관계에서 저희가 상업적으로 갈림길에 서게 될 것 같은 느낌이거든요.
저는 어차피 10T 모델의 토큰이 돌아오면서 느리게 걸리는 거나, 아니면 저쪽에서 thinking tokens를 많이 쓰는 거나, 저쪽이 더 좋을 수도 있다는 생각도 들거든요. 마치 회사로 치환해 보면 천재 한 명이 일필휘지로 끝내는 작업이 있는 거고, 아니면 적당한 사람 열 명이 있어야 좋은 것도 있고요. 그건 일의 특징에 따라 사장님이 기지를 발휘해야 하는 영역이잖아요. 이 문제와 좀 비슷한 느낌이 되어가는 것 같다는 생각이 있습니다.
최승준 사용자 측면에서는 다양해지면 좋은 것 아닌가요? 이 일에는 이 모델을 쓰고, 저 일에는 저 모델을 쓰면 되니까요.
노정석 거기에 또 중국 모델이라는 선택지까지 생겨나고 있으니까요.
인지 부채와 새로운 병목 08:49
최승준 종현님이 말씀해 주신 게, 생성된 코드를 리뷰할 때 인지 부채가 있는 것 같다는 말씀을 해 주셨잖아요. 그런데 요즘 타임라인에서 보이는 방식들 중 그와 관련된 꽤 재미있는 것들이 있더라고요. 이게 따끈따끈한 이야기긴 한데, 결국 모델 성능이 올라가고 일들은 벌어지고 잘 생산되고 해결되고 있는데, 그걸 내가 알면서 하고 있는 거냐는 거죠. 인간의 인지와 관련된 이슈도 지금 꽤 나오고 있어요.
그래서 아까도 언급됐던 Thariq Shihipar라는 분이, 이게 오늘 새벽이나 어제 나왔던 그림인 것 같습니다. 그래서 ‘나의 미지의 것들을 찾아내기’라고 하면서 Alfred Korzybski의 ‘지도는 영토가 아니다’라는 말을 인용하면서, 내가 이걸 어떻게 알고 일을 해냈는가 하는 쪽으로 이야기를 재미있게 풀어줬어요. 지도와 영토 사이의 차이를 저는 미지의 것들이라고 부릅니다. Claude가 미지의 것을 만나면 제가 무엇을 원하는지에 대한 최선의 추측을 바탕으로 결정을 내려야 합니다. 해야 할 일이 많아질수록 Claude가 틀릴 수 있는 미지의 것도 많아집니다.
지도와 영토 사이의 미지 09:29
그래서 제가 사람 위주로만 말씀드렸는데, 지금 보면 AI에도 똑같이 해당되는 부분이 있긴 하네요. 그래서 Fable의 작업 품질은 제가 그 미지의 것들을 얼마나 얼마나 잘 명확히 하느냐에 의해 병목되는 첫 번째 모델입니다. 그 이해가 새로운 병목이라는, 일맥상통하는 문장인 것 같아요. 이것도 재밌네요. 언제 그것들을 사용해야 하는지에 대한 직관을 기르기 위한 내용이라는 겁니다.
그래서 나의 미지의 것들을 알기. 이게 많이 알려져 있는 4사분면이잖아요. 1950년대에 이미 NASA나 국가 안보 쪽에서 언급되다가 2000년대 초반에 Donald Rumsfeld라는 사람이 써서 유명해졌는데, Donald Rumsfeld 본인은 known knowns, known unknowns, unknown unknowns를 얘기하고 unknown knowns는 안 했다고 하더라고요. 그런데 나중에 이게 철학자에 의해 추가돼서 총 네 개로, 4사분면이 많이 이슈가 됐는데요. 그걸 맥락으로 Claude가 이런 상태에 있었다면 빙산의 밑부분을 드러낼 수 있게 도우라고 하는 식으로, finding your unknowns에 사용하는 방법 같은 것들을 이야기했고요.
박종현 Fable이 나오고 나서부터 이 미지의 것들을 잘 다루는 게 병목이라고 쓰여 있었는데, Fable 이전에도 저는 똑같다고 느끼긴 했거든요. 왜 Fable이 나오고 나서부터 이 미지의 것이 더 병목이 된 건지 궁금합니다.
노정석 생각이 더 깊어졌다는 말을 하고 싶은 것 같아요. 저희가 Fable에 이렇게 호들갑을 떨고 있지만, 또 6개월 뒤에는 Claude Fable^2 가 나올 수도 있는 거잖아요. 다음 세대 20T 모델이 나오고 그럴 수도 있는데, 그때 아마 또 굉장히 동형적인 이런 이야기를 하고 있을 거고요. 이 이야기도 어떻게 보면 지금 Fable 때문에 context가 다시 맞는 거지, 7~8개월 전, 6개월 전의 Opus와 Sonnet 사이의 이야기로 들어가도 그때도 맞긴 하잖아요.
최승준 그러면 지금 벌써 두 번 나왔는데, 이게 패턴이 있다는 거잖아요. 앞의 맥락에서도 패턴이 있었고, 지금 종현님이 딱 꼬집어 주신 부분도 패턴이 있어서 늘 이게 상당히 유통기한이 얼마가 될지는 몰라도 이어질 수 있는 패턴이라고 생각해 볼 수도 있겠네요. 결국에는 도돌이표를 찍어서 다시 돌아오게 되는 부분일 수 있겠다고 생각해 보게 됐고요. 이건 구현 전, 구현 중, 구현 후로 세 단계를 나눠서 뒤에 이야기가 펼쳐지는데, 제가 재밌게 본 것은 구현 후에 퀴즈를 보는 부분이긴 합니다. 한번 쭉 가 볼게요.
구현 전후의 이해 장치 12:37
사각지대에 대한 자각, 내가 지금 인식하지 못하는 것에 대한 인식을 어떻게 할 거냐. 그걸 Fable이 됐든 다른 모델이 됐든 함께 아이디어를 내고 시제품을 만들어 보는 것, 그에 대한 구체적인 프롬프트. 그런데 그래도 미지의 것들이 남아 있을 때는 인터뷰를 받는 거죠. Claude에게 미지의 것이나 모호한 부분에 대해 저를 인터뷰해 달라고 해서 질문받는 용도로 쓰고, 결국 전문가 인터뷰나 CTA 같은 데서 쓰는 Cognitive Task Analysis라는 도메인이 또 있던데, 그런 데서 쓰는 것들을 모델과 하는 느낌이랄까요. 그리고 계획을 세우고 노트를 만들고, 구현 중에 있는 거죠. 구현 노트.
그래서 결국에는 요새 저희가, 다른 분들도 아마 그러실 것 같은데, 무한 압축하면서 쓰시죠. 계속 압축하고, context를 압축하고, 한 세션에서 계속 쓰게 되더라고요. 하다 보니까 인터페이스 자체가 그걸 유도해요. 그래서 어떤 노트 같은 것들을 LLM 위키 형식이 됐든, HTML이 됐든, 확장된 두뇌처럼 모델에게도 그렇게 기록 작업을 하게 하는 패턴들을 소개하고요. 구현 후에는 이렇게 해서 다른 사람도 설득해야 하니까, 또는 다른 모델도 설득해야 하니까 설득 자료를 만드는 그런 것도 하고요.
보고서와 퀴즈를 통한 학습 14:20
제가 제일 마지막에 본 것은 Dwarkesh Podcast 편을 저희가 5월 초에 했을 때도 플래시카드를 만드는 걸 인상적으로 봤었잖아요. 공부한 것을 플래시카드로 만들어서 질문을 스스로 받게 하는 Anki처럼 쓰게 하는 부분이 있었는데, 여기서 Thariq Shihipar도 이렇게 prompting을 했대요. “이 변경에서 일어난 모든 일을 제가 제대로 이해했는지 확인하고 싶습니다. 변경 사항에 대한 HTML 보고서를 만들어 주세요. 제가 읽고 이해할 수 있도록 context, 직관, 수행된 작업 등을 포함하고, 맨 아래에는 제가 반드시 통과해야 하는 퀴즈를 넣어 주세요.”
저는 이 부분을 전체 내용에서 제 관심사로 봤거든요. 이게 지금 중요한 시점이다. 왜냐하면 이런 것들을 결국 사람이 steering하고 orchestration하는 최종 책임자인 상황에서 산출물은 나오지만, 그게 어떻게 나왔는지를 정말 모르고 있어도 되는가에 대한 의문이 계속 있어 왔거든요. 그런데 그게 갑론을박인 것 같아요. 몰라도 잘 작동하면 괜찮은 것 아니냐. 하지만 그렇게 됐을 때는 여기에 빚이 쌓이고 있을 것이라는 진영도 있는데, 예를 들면 Mitchell Hashimoto 같은 사람도 그쪽 진영이죠. 그 부분을 사람의 인지 능력을 높이는 작업과 관련해 다룬 글이 이번 글이기도 하다.
그런데 이걸 개밥 먹기로 Thariq Shihipar가 어떻게 했느냐 하면, Fable를 출시할 때 출시 영상을 이러한 사고의 방법을 통해 만들었다는 겁니다. Thariq Shihipar가 등장하는 영상이 있거든요. FFmpeg 같은 것을 모르는 상태에서 이 영상 편집을 어떻게 했는가. 그래서 이런 것들도 아마 다 AI를 써서 슬라이드를 만들고 ElevenLabs 같은 것을 써서 작업한 거죠. 그다음에 컬러 그레이딩에 대한 것까지, 내가 모르는 것을 Claude에게 가르침을 받아서 알 수 있게 하는 것. Claude에게 컬러 그레이딩에 대해 가르쳐 달라고 요청해 제 미지의 것들을 발견하고 해결했다.
그래서 “지도는 영토가 아니다”라는 말은 지도에 추상적으로 표현된 것이 실제 영토를 어느 정도 반영하지만, 그 자체는 아니라는 거잖아요. 그래서 그걸 더 촘촘하게 맞춰 가는 맥락으로 소개됐던 것 같습니다.
콘텐츠 압축과 놓치는 이해 16:45
박종현 이야기해 주셔서 떠오르는 게, 요새 YouTube에 영상을 업로드하실 때 퀴즈를 같이 올릴 수 있는 것 아시죠? 그게 있는데요.
최승준 그래요? 그건 몰랐습니다.
박종현 YouTube에 올릴 때 퀴즈를 같이 올릴 수 있거든요. 그런데 제가 YouTube를 시청자로서 볼 때, 최근에는 YouTube에 Gemini가 붙어서 내용이 너무 길면 그 버튼을 눌러 요약을 먼저 보고 YouTube 영상을 보거든요. AI와 대화하는 것뿐만 아니라 저희가 소비하는 콘텐츠 자체를 압축해서 제 머리에 넣는 행위를 많이 하게 돼요. 대신 영상을 엄청 많이 봤지만 세부 내용은 놓치는 상황이 벌어지죠.
그래서 그런 맥락에서도 YouTube에서 퀴즈 같은 기능을 제공해 주는 것 같기도 하고요. 이런 기능들이 실제 서비스에도 붙고 있고, 퀴즈를 풀면서 YouTube를 보고 저희가 배우고 싶은 것들을 다 배우지 못하고 놓치는 걸 막아 주는 장치들이 같이 나오는 것 자체가 “이해가 새로운 병목이다”라는 이 텍스트의 문구로 우리 시대를 보여 주고 있는 게 아닌가. 갑자기 YouTube의 퀴즈 기능이 생긴 게 떠올랐습니다.
최승준 맞아요. 그러니까 마찰을 걸어 주는 게 인간 뇌에는 정말 필요하잖아요. 마찰이 안 걸리면 배워지지가 않잖아요. 이게 ‘이해가 새로운 병목이다’라는 트윗이 최근 7월에 또 올라온 게 있는데, 이분이 Notion에 있는 분이더라고요. 상당히 긴 문서입니다. 아까 Thariq Shihipar가 한 얘기의 확장판이라고 해야 될까요? 그래서 이걸 지금 사람이 어떻게 배워 내야 되는가. 그래서 지금 이렇게 수많은 코드에 diff가 생겼는데, 이걸 내가 어떻게 알고서 작업할 거냐. 그래서 교육에서 배우고 예전 코딩 교육에서도 배우고, 다양한 시도를 보면 마이크로월드라는 Seymour Papert의 옛날 개념 같은 것을 이분이 또 MIT CSAIL 출신이더라고요. 그래서 그쪽 역사를 잘 알고 있을 거라고 보는데, 퍼스널 컴퓨터와 관련해서 Explain Diff라는 diff에 대해 설명하는 skill을 이분이 만들어서 공개했어요.
인간의 이해를 돕는 도구 18:00
그런데 그 skill을 써서 Notion 페이지로도 만들 수 있고 HTML로도 만들 수 있는데, 그걸 자기는 인쇄해서 다니더라고요. 항상 가지고 다니면서 그걸 보려고요. 사람의 시간과 뇌를 쓰는 좋은 방법이죠. 메모하면서 하고요. 물론 이것만 하는 게 아니라 여기에 상호작용형 작업을 해서 그 개념을 이해할 수 있게 뭔가를 만드는 걸 직접 개발해 가면서 하고 있어요. Andy Matuschak이랑 Michael Nielsen이 퀀텀 컴퓨팅과 관련된 걸 소개할 때 니모닉 기법을 써서 중간중간 글 안에서 퀴즈를 내는 방식이거든요. 퀴즈가 여기서 등장합니다.
그걸 알고 있는 상태에서 일하게 하는, 이것도 퀴즈를 AI loop의 속도 조절 장치로 설명하는 슬라이드 부분인데, 산출물이 나오면 그게 제대로 가고 있는지를 내가 기존의 감각을 가지고도 판정할 수 있어야겠으나 지금 너무나 많은 일이 일어나 인지 부채가 쌓이다 보니까, 그 인지 부채를 해소해 주는 도구들로 개밥 먹기를 하면서 만들어 가고 있는 시점이라는 인식이 들었습니다. 흥미로운 이야기예요. 퍼스널 컴퓨터와 코딩 교육 쪽의 역사와 관련된 얘기 등이 나오면서 이렇게 대시보드까지 만들고, 그런 얘기들이 쭉 펼쳐졌습니다.
그래서 제목이 “It’s mportant for Humans to Understand How Things Work”예요. 이게 마지막 마무리 쪽인데요. 핵심은 언제나 증강이었다. Alan Kay 얘기도 하면서 이야기가 마무리됐습니다. 그리고 마지막 부분을 읽어 보면, “이 점 때문에 저는 미래에 대해 매우 낙관적입니다. 우리가 올바른 도구를 만든다면, 우리는 그 어느 때보다 세상을 더 깊이 이해할 수 있습니다. 우리는 단지 루프에서 빠져나오기만 할 필요가 없습니다. 오히려 루프 안으로 더 깊이 들어갈 수도 있습니다. 그것은 우리에게 달려 있습니다.”
이게 좀 비튼 거잖아요. 요새 말하는 loop engineering, 그래서 루프를 짜는 하네스를 만들어 놓고 모델이 알아서 척척 해내면 된다. 사람은 루프 바깥에 있으면 된다는 게 아니라, 루프 안에서 바닥에서 일어나는 일을 깊이 이해하고 내 역량을 높이는 데도 지금의 방법론들이 통한다는 그런 인상을 얻었습니다. 그래서 여기까지 한 번 달려 보고, 이건 제 개인적인 경험인데 여기서 이 주제는 좀 얘기하고 갈까요?
반복되는 업무 프레임워크 21:34
노정석 그런데 이런 시대를 조금 분해한다고 해야 될까요? 분해하고 그걸 해석하는 틀을 만드는 시도는 영원히 지속될 흐름 같아요. 저희가 일을 처음 배우는 사회 초년생 시절에는 학교 공부만 마치고 밖에 나오는데, 일을 마주하는데 무언가 아는 게 많이 없다는 생각 때문에 어디 컨설팅 회사에서 만든 프레임워크, 무슨 프레임워크, 어떤 책이 가르쳐 주는 것, 그래서 수도 없이 프레임워크를 익히고 그 템플릿들이 내 PC 안에 잘 정리돼 있는 게 일을 하기 위한 준비라는 생각들을 하게 되잖아요.
그러다가 어느 순간 현실의 문제들을 몇 번 겪고 나면 그런 형식론에서 탈출하기 시작하거든요. 우리가 지금 AI와 어떻게 일을 잘할까, AI는 어떤 특징이 있을까라고 얘기하는 게, 저는 Harvard Business Review 같은 책을 안 본 지 꽤 오래돼서 10년 전까지는 봤던 것 같은데, 그때 “어떻게 기업의 인재를 교육할 건가, 조직 구조를 어떻게 효율화할 건가?”라고 하던 이야기들과 거의 대부분 동형이에요.
그래서 저희도 이 문제들을 가만히 보다 보면, 이 도구들이 쌓이면서 우리가 지금 이야기하고 있는 이 형식들이 통째로 하위 레이어의 형식지로 빠질 가능성이 있다고 보거든요. 그래서 어떻게 보면 고등학생들과 대학 초년생들은 이 방식으로 학습하지 않고 있을 수도 있어요. 걔들이 어떻게 학습하는지 저희가 한 번 더 알아볼 필요는 있다는 생각이 들긴 합니다. 그래서 이런 내용이 잘못됐다, 틀렸다는 얘기는 아니지만, 제가 느끼는 그런 기시감에 대해 한 번 말씀드려 봤습니다.
최승준 무슨 말씀을 하시고 싶은지는 알겠습니다. 소위 정석님이 말해 오셨던 AI 신선들도 이런 방법을 쓰고 있을까? 그래서 지금 우리가 안전장치를 두는 측면에서, 기존에 잘 알려진, 좀 전에 나온 ‘이해가 새로운 병목이다’ 등에서 밝혀진 것들이 그동안 인류가 축적해 왔던 배움의 방법론들인데, 그 방법론들이 계속 유지될 것이냐에 대비한 안전장치인 거죠.
노정석 그러니까 우리는 무언가를 쉽게 이해하고, 문제를 분해해서 아래까지 다 이해해야 한다고, 그게 좋은 거라고 학습받은 세대일 수도 있는데, 저 아래의 새로운 세대는 그걸 그냥 아래 레이어로 밀어 넣고, 저희가 마치 CPU assembler가 최적화되어 있는지를 묻지 않는 것처럼 그냥 밑에다 다 밀어 넣고 “해 줘, 해 줘, 해 줘.”라고 하면서 그냥 다음 레이어에서 그들의 생산성이라든지 새로운 지식 체계가 형성될 가능성이 꽤 높은 것 아닌가 하는 생각이 들어요.
그래서 지금 소셜 미디어 담론을 이끌어 가는 사람들이 거의 대부분 우리 세대들이잖아요. 조금 나이가 들어 있잖아요. 그런데 20대 초반과 10대는 다를 수 있다. 그 부분도 생각해 볼 필요가 있습니다.
AI가 읽는 README와 새로운 세대 24:47
박종현 20대 초반에 해당되시는 분들이 하시는 작품을 보면, 예를 들면 영규님의 Oh My OpenCode였던 것 같아요. 제가 기억하기로 README에 “사람은 읽지 마세요.” 이런 말이 쓰여 있었던 것 같아요. README가 쭉 다 쓰여 있고, 어차피 AI가 읽을 건데, 네가 뭐 하러 읽느냐는 식으로 가정 자체가 다른 거죠. README는 원래 대문에서 빨리 이해하라고 읽으라고 쓰는 거라고 우리가 생각하고 있었는데, 이제는 그건 그냥 AI가 할 일이다. 이렇게 취급하시는 것 같고, 저도 비슷한 고민 지점에 맞닿아 있는데 아마 많은 분이 다 똑같은 것 같아요.
어쨌든 이 AI라는 게 새로 나오고, 저희의 일하는 방식을 지금 많이 바꾸고 있고 저희가 딱 사회 초년생이 된 것 같은 그런 느낌을 저도 받고 있고요. 저는 어떤 생각이 드냐면, AI랑 계속 이렇게 일을 하다 보면 제 이해가 병목이다, 저 말처럼 제 뇌가 좀 부족하다는 생각이 많이 들거든요. 제가 못 따라가서 이걸 더 빨리 못 쓰고 있다. 그래서 저희가 친구들이랑 그런 표현을 항상 쓰는데, 『Cyberpunk 2077』이라는 게임과 그 콘텐츠를 보면 뇌가 타들어가는 cyberpsycho가 되는 설정이 있습니다. 그래서 AI를 쓰다 보니까 거기서도 몸에 기계 증강을 해요. 증강을 하다 보면, 화학적 증강을 하다 보면 뇌가 타들어가서 망가지는 설정이 나오는데, 스스로 좀 그러고 있다고 느끼고 있어요.
이걸 어떻게 하면 잘 활용할 수 있는가, cyberpsycho가 되지 않고 최대한 증강할 수 있는가. 이거 보시는 분들, 저희가 YouTube를 하는 가장 큰 이유 중 하나가 될 것 같은데, 보시는 분들이 그런 팁을 주셨으면 좋겠어요. 저도 엄청 물어보고 다니거든요. 어쨌든 YouTube는 엄청 다수에게 퍼지는 거니까 댓글 주시면
최승준 그렇죠, 그렇죠.
박종현 저도 그런 거 한번 열심히 참고해서 해보고 싶습니다.
최승준 작년에 댓글 달린 것 중에 Neil Gaiman의 『수학자들』이라는 SF에 등장하는 AI에 대해 어떤 분이 추천해 주셔서 세 권을 연속으로 밤새워 가며 읽었던 기억이 납니다. 댓글에서 배울 때가 확실히 있더라고요.
토끼굴을 닫는 판단 기준 26:48
노정석 저는 요새 Fable이 “악의적인 내용이다. Opus 4.8로 돌릴게.”라고 하는 것처럼, 제 머릿속에 이 인지 과부하를 해결할 수 없다는 것에 대한 판단이 좀 생긴 때문인지 토끼굴 gate가 하나 생겼어요. “이거는 알아봐야 내 결과에 도움이 안 돼.” 그러면 그냥 덮고 ‘해 줘, 해 줘’ 모드로 loop를 돌려 버려요. 덮고 ‘해 줘, 해 줘, 해 줘’ 해서, 그 아래에서 이게 왜 이렇게 됐을까 하는 것들은 이제 끝난 layer라는 판단을 하고 있습니다.
최승준 어떤 건 알고 싶고 어떤 건 알고 싶지 않은 거죠?
노정석 아니요, 알고 싶은, 저희 이런 얘기 많이 하잖아요. 저희가 coding을 아무도 안 하는 시대가 됐는데, 6개월 정도 지나서 “software engineer가 끝났네.” 어쩌네, 이런 얘기를 했지만 저희가 6개월이 지난 시점에서 하고 있는 걸 보면 명확하게 engineering이에요. coding만 하지 않을 뿐이지, 한 layer 위로 올라와서 똑같이 logic을 결정하고 의사결정을 하고, 어떤 문제를 어떻게 분산 배치하고, 좋은 문제와 나쁜 문제를 가리는 일을 정확하게 하고 있거든요.
그러한 맥락에서 이게 다음 layer로 계속 비연속적인 jump가 일어나는 거니, 저희는 기저가 저 아래에 있어서 거기서부터 위에까지 다 알아야 아는 것 아닌가 하는 식의 교육을 받아 왔던 사람이죠. 예를 들어 아까와 마찬가지로 우리가 assembler와 그 안에서 CPU opcode가 어떻게 돌아가는지 더 이상 관심을 갖지 않는 것처럼, 그 아래에 있는 framework가 어떻게 돌아가고 무엇이 어떻게 작동하는지 하는 부분들은 그냥 세 번의 gate를 만들거든요.
누가 결과를 내고 나면 이 결과에 대해 “회고해 줘.”라고 하는 게 아니라, “너, 이게 진짜 맞아?”라는 걸 똑같은 model한테 세 번 물어봐요. 나름의 auto research로 푼 건데, 세 번 동안 “맞습니다. 맞습니다. 맞습니다.”라고 하면 그냥 그걸 덮어요. 맞겠지. 그리고 그걸 저희 회사 회계 장부에서도 test해 봤는데, 세 번 정도 돌려서 숫자를 계산하면 원 단위까지 거의 맞아요.
최승준 문득 또 생각나는 게 어떤 만화에서 제가 인상적으로 본 부분인데, 마족이 이런 얘기를 했어요. “인류는 항해술 이전에도 바다에 나갔다. 모르고도 했다. black box로 두고 비행의 원리를 알지 못한 상태에서도 절벽에서 뛰어내리곤 했다. 날아 보려고.” 그런 얘기를 했던 게 잠깐 생각납니다.
노정석 맞아요. 그래서 제 주변에서 요새 사업 아이디어가 괜찮고 좋은 감각을 가진 사람들이 왜 이런 감각이 좋다고 느껴지는 걸까 가만히 질문해 보면, 그 layer 사이에 어느 정도 선을 그어야겠다는 균형 감각을 잘 발휘하는 사람들이에요. “그건 할 필요 없어요.” 그것도 해 봤기 때문에 아는 거거든요. 솔직히 다 삽질해 보고 해 봤기 때문에 “그 정도에서 덮으면 됩니다.”라는 게 생긴 사람들이 있어서, 그걸 저는 재미있게 보고 있습니다.
Claude·Codex·사람의 토론 30:00
최승준 요새는 다른 방법으로도 얼마든지 이렇게 할 수 있긴 하지만, 뭔가 이렇게 할 때 막힌다 싶으면 이건 Claude Code 쪽이고 이건 Codex 쪽이에요. desktop app인데, 파일을 polling해서 토론용 파일을 각자 만들어 놓고 agenda를 올린 다음, 상대방이 내 토론 의견에 대해 다른 의견을 달면 확인해서 그에 대한 답변을 하는 거예요.
문서는 각각 소유해 병렬적으로 진행하지만 합의는 할 수 있게 하는 방식으로 해 봤는데, 저는 여기서 이걸 하면서도 제 성향상 이걸 알고 싶어서 토론 내용에 대해 의견을 내고 design decision 같은 걸 같이 하는 쪽으로 삼위일체 형태로 해 보고 있는 중입니다.
그런데 또 배우는 부분들이 있더라고요.
노정석 Claude, Codex, 최승준의 3인 system이네요.
최승준 그래서 그렇게 얘기하면서 토론을 하는데, 그 토론을 제가 다 주재하려면 어려워요. model들이 주재하고 저는 끼어드는 정도죠. 자, 여기까지 제가 살펴본 내용을 공유드렸고요. 종현님도 다른 관점에서 살펴보신 게 있다고 하셨잖아요.
노정석 그럼 한번 말씀해 보실까요?
Fable의 체감과 평가 지표 31:13
박종현 네, 이어가겠습니다. 오늘 Fable, GPT-5.6 이야기를 했는데, 처음 시작할 때도 저희가 이야기했고 아마 들어오신 분들도, 저를 포함해서 모든 사람이 가장 궁금해할 만한 게 “그래서 Fable 좋아요? 얼마나 좋아요?”라는 질문일 것 같아요. 가격도 가격이지만, 실제로 써 보면 명확하게 체감이 딱 이만큼 좋다 하는 식으로 느껴지지는 않습니다. 체감은 task마다 너무 다르고, 오히려 가격 같은 경우에는 체감이 확확 되는데요.
일단 evaluation 지표를 보려고 하고요. 가장 많이 보시는 게 이 Artificial Analysis 지표일 것 같은데, 이 친구는 “여기 표에 한국 model이 몇 개네.” 이럴 때도 화제가 많이 돼서 아마 거의 대부분 보셨을 거예요. 역시나 여기도 Fable이 1등으로 올라와 있고요. Opus 4.8이랑 GPT-5.5가 거의 비슷하게 일단 값이 나와 있습니다.
참고로 이 지표는 benchmark를 쭉 돌리고 그 점수를 매긴 거거든요. 시험을 풀고, 어떤 정형화된 시험을 풀고 그 점수를 매긴 건데, 그 시험이 꽤 다양하고 계속 업데이트돼서 충분히 괜찮다, 이 정도로 사람들이 신뢰하는 지표라고 보면 될 것 같아요. 사람으로 치면 굳이 따져 수능처럼 정형화된 시험을 풀고 답을 매겼는데, 충분히 어렵다. 이렇게 보면 될 것 같은데, 그럼 이게 좋은 지표냐고 하면 거기에는 조금 회의감이 있습니다.
왜냐하면 benchmark라는 건 문제와 정답이 나와 있기 때문이에요. 안 나온 경우도 있긴 하지만, 그래서 benchmark도 문제가 계속 바뀌게 rolling benchmark로 운영하기도 하거든요. 어쨌든 비슷한 문제나 기출문제가 다 나와 있기 때문에 그렇게까지 어려운 건 아니에요. hacking당할 여지가 꽤 있죠.
LMArena의 인간 선호 평가 33:04
그러면 저희가 또 볼 수 있는 게 LMArena라는 게 있습니다. 어쨌든 A/B test를 하면 “좋아요.”, “싫어요.”, “이게 더 좋습니다.” 같은 응답을 모아 체스의 Elo처럼 계산하는 system인데, LMArena라는 이름이었고 최근에 상업화를 시작했습니다. 원래 비영리 집단이었는데 영리 집단으로 바뀌면서 투자도 엄청 많이 받고, 벌써 돈도 많이 벌기 시작했어요.
여기서 보면 agent라는 게 생겼거든요. agent mode가 돼서 시키면 알아서 tool call하고 이것저것 해서 대답이 나오면, 마지막에 agent가 내놓은 결과가 좋았는지 나빴는지 체크하게 돼 있습니다. 참고로 이건 model이 뭔지 알려 주지 않더라고요. 그래서 똑같이 제가 이 LMArena와 Artificial Analysis의 evaluation에 대해 조사시키고 PPT를 만들게 하는 것들을 한번 시켜 봤습니다.
이렇게 해서 나온 PPT가 여기 바로 떠 있는데, 이걸 그냥 PPT로 받을 수 있습니다. 참고로 이 똑같은 prompt는 제가 Fable에도 똑같이 시켜봤거든요. 그랬는데 디자인이 조금 다르긴 합니다만, 내용이나 조사 결과물이나 PPT에 담겨 있는 내용 자체가 크게 다른 것 같지는 않더라고요. 목차가 있고, 지금은 17억 달러의 valuation으로 최근에 투자를 받았거든요. 그래서 이 정도 valuation의 회사가 되었다. 타임라인도 그려주고 표도 그려주는데, 여기 재미있는 게 여기 보면 중국어가 쓰여 있습니다.
PPT의 이런 걸 토대로 유추하건대, 제가 영어로만 prompt를 입력해 대화했는데 아마 지금 뒤에서 돌아가고 있는 이 테스트 agent mode에서 테스트된 model은 중국 기반의 model이겠거니, 여기서 좋아요를 누르면 ‘중국 model도 충분히 좋아요를 받았구나.’ 이런 evaluation 지표를 수집했겠다. 이런 것들을 저희가 추론해 볼 수 있고요.
그래서 매출이 8개월 만에 1억 달러가 나왔다는 소식을 제가 유튜브에서 한번 보고, 도대체 얘네는 뭘로 사업을 하길래 이 valuation으로 이렇게나 돈을 많이 받을까 궁금해서 시켜봤습니다. 그랬더니 빅테크 회사들이 다 이걸 사더라고요. 사람들이 일을 시키고, 거기에 대해 만족했다, 불만족했다는 것 자체가 굉장히 비싼 서비스구나. 사업적인 부분을 넘어서 쭉 내려볼게요. 쭉 내려보면 어떤 lab들이 비용을 지불하는지 결과가 나와 있고요.
그러면 우리의 첫 번째 질문이 ‘Fable이 그래서 좋아요?’라는 질문이었을 때 뭘 봐야 하느냐, 아니면 실제로 어떠하냐. 그러면 LMArena라는 건 사람의 선호도 같은 것들이 포함된 지표이기 때문에 어떤 시험 점수 결과가 아니라 현실에서 벌어지는 수많은 사람의 선호도가 필요한 task들, 예를 들면 디자인이면 이 디자인이 예쁘다, 나쁘다. 아니면 slide deck이라고 생각해 보면 이 slide deck이 발표 자료로서 괜찮다, 안 괜찮다. 이런 건 정형화해서 맞았다, 틀렸다고 점수를 매기기 어렵잖아요. 그래서 이런 task를 시킬 때는 LMArena 점수를 참고하는 게 좋겠구나, 이런 생각이 들었습니다.
Llama 4와 평가 최적화 36:25
그런데 여기에 사건이 한 번 있었어요. 그 사건이 한 1년 정도 된 것 같아요. LMArena 점수를 예전에는 정말 맹신하면서 ‘이게 여기서 좋은 model이니 좋은 model이지.’ 하다가 더 이상 안 보게 된 계기가 있었는데, 그게 Llama 4가 나올 때였습니다. Llama 4가 나올 때 보통 model들이 나오기 전에 비공개 model을 LMArena에 올려서
노정석 그렇죠.
박종현 미리 테스트를 다 돌립니다. 일주일 정도 점수를 쌓고, 그 점수가 model 공개와 동시에 이름이 갑자기 딱 바뀌면서 ‘짜잔, 이거 사실 Llama 4였습니다.’ 하면서 같이 나오는데, 그때 Llama 4가 1등이었거든요. 1등이었나 2등이었나 그랬어요. 그런데 막상 사람들이 Llama 4를 써보니까 너무 안 좋았던 거죠. ‘이렇게 별론데 어떻게 이게 1등을 할 수 있냐?’ 그러고 나서 알고 보니 Llama 4를 이렇게저렇게 tuning한 다음에 전부 LMArena에 넣고 테스트한 거예요. 그중에 1등 한 것만 남긴 거죠. 그럼 이걸 토대로 우리가 유추해 볼 수 있는 건 인간의 선호도라는 것도 하나의 benchmark이고, LLM을 tuning하면 해킹할 수 있을 정도의 난이도라는 겁니다.
이런 것들을 그 당시에 처음 깨달았던 것 같고, 그래서 LMArena 같은 경우에는 그런 걸 할 수 없게 policy를 강화했다고 합니다. 여러 개를 너무 많이 동시에 올릴 수 없게 한다거나요. 생각해 보면 지금 LLM 중 뭐가 더 좋으냐는 이야기를 떠나서 이 valuation에 대해 생각해 보면, 지금 LLM은 보통 evaluation benchmark를 하나 찍어요. task를 하나 찍어요. coding이라고 하면 특정 coding benchmark, 그러면 그걸 정복하기 위해서 SWE-bench 같은 걸 정복하기 위해서 LLM이 쭉 발전합니다. 그러면 그 SWE-bench의 data 분포에 해당하는 coding task를 잘하게 된 LLM이 되는 거죠. 이런 식으로 evaluation 목표라는 깃발을 꽂고 거기를 하나씩 정복해 나가는 건데, 우리가 보통 생각하는 일을 잘하는 사람과는 조금 괴리가 있는 것 같아요.
들쭉날쭉한 지능과 평가의 깃발 37:50
이게 특정한 깃발만 정복하는 거고, 그 깃발을 정말 우리 세상의 모든 곳에 다 꽂고 나면 소위 말하는 AGI를 달성할 수 있겠다, general intelligence라고 할 수 있겠지만, 지금은 그래서 저희가 jagged intelligence라고 표현하죠. 어떤 건 잘하고 어떤 건 못하고, ‘이걸 이렇게 잘하는데 왜 이건 못하지?’ 수학 같은 경우 IMO의 어려운 수학 문제들을 다 잘 푸는데, 왜 내가 시키는 이런 간단한 task는 못하지? 이런 상황이 발생하게 되는데, 대표적으로 제가 항상 아쉬워하는 게 있어요. 저는 소설 읽는 걸 좋아하거든요. 그런데 소설을 쓰라고 하면 재미가 없어요. 소설 앞뒤가 안 맞고 무너지고, 혹은 개그를 쓰라고 하면 유머 같은 게 하나도 안 웃깁니다. LLM이 개그하는 것, 그런 것들이 다 결국에는 evaluation이 어려워서라고 저는 생각하고 있어요.
그러면 이런 LMArena 같은 데서 사람들이 그런 task를 다 시키고 좋아요, 싫어요 같은 data를 수없이 많이 받게 되면 LLM이 그런 것도 잘하게 될 수 있을까? 이런 것들이 제가 재미있게 지켜보고 있는 지점이고, 결국 많은 회사가 그런 것들을 다 경제적 가치가 큰, 사람의 선호도가 필요한 task를 정복하려고 하기 때문에 LMArena라는 회사가 돈을 많이 벌고 있지 않을까 생각합니다. 이런 데에도 evaluation 사업 기회가 있을 것 같다, 이런 생각을 하고 있습니다.
최승준 아까 Grant Sanderson과 인터뷰하는 거 보셨다고 하셨죠? 저는 아직 못 봤는데 재미있으셨나요? 거기에도 그런 얘기가 나왔다고 얼핏 들었어요.
박종현 네, 맞아요. Dwarkesh Podcast의 최근 에피소드가 3Blue1Brown인데, 아마 많이들 보실 것 같아요. 영상을 보시면 뭔지 바로 아실 텐데, 그 그림체를 보시면요. 그분이 나와서 수학을 점령하는 것, 그런데 그거랑 진짜 LLM이 똑똑한 화이트칼라 일자리를 다 대체하는 것과는 괴리가 있는데 어떻게 생각하는지 대화하거든요.
제가 어젯밤에 한 번 다 봤는데, 이해를 잘 못했습니다. 일단 재미가 있고요. 리만 가설이 어쩌고저쩌고 그런 얘기를 굉장히 많이 하는데, 그건 몇 번 다시 봐야겠다, 이런 생각을 하고 있고요. 일단 3Blue1Brown 채널을 저도 좋아하고 많이 봤기 때문에 그냥 보는 것 자체가, 목소리만 들어도 재미있습니다. 꼭 보시는 걸 추천드립니다.
최승준 그러면 이렇게 evaluation이 어쨌든 큰 사업거리라는 거잖아요. gold diff가 됐든 아니면 선호도가 됐든, 그게 frontier lab들을 먹여 주는 큰 사업거리다. 아까 Irregular의 경우에도 조금 다르긴 하지만, 어쨌든 테스트해 주는 게 큰 사업이 되고 있다. 그런 친연성이 있는 것 같다는 느낌이 들긴 했습니다. 사 줄 데가 빅테크다.
도메인 모델과 경계 설계 41:21
노정석 지금 dataset도 그렇고 evaluation도 그렇고, 거의 대부분 빅테크들이 돈을 제일 많이 쓰고 있죠. 코드도 여전히 돈 내고 사고 있고, 전문가들을 초빙해서 굉장히 전문적인 dataset을 만드는 것도 활발하게 하고 있는 걸로 알고 있습니다. 그게 차별점이 되고 model의 능력 차이가 되는 세상이잖아요.
최승준 빅테크처럼 하려면 그걸 똑같이 해야 하는 거잖아요.
노정석 그러나 모든 영역을 포괄하는 general intelligence가 목표가 아니고 각각의 domain에서 사업만 포괄해야겠다고 하면 훨씬 적은 노력으로 할 수 있죠. 30B, 지난번에도 한번 말씀드린 것 같은데, 대부분의 consensus가 30B 이상은 돼야 거기에 뭘 먹여도 쓸 만하다는 건 있는 것 같아요. 그래서 거기에 본인 회사의 logic을 잘 먹이면 꽤 괜찮은 게 되지 않을까요? Engram 같은 회사는 아예 그걸 전문으로 하겠다고 나온 회사도 있잖아요.
최승준 아, 그런 회사가 있군요. 전체적인 orchestration이나 판정은 큰 model에 맡기더라도 작은 model이 많은 걸 포괄할 수 있게 하는 전략이 필요할 수 있겠네요.
노정석 model이 서비스 그 자체라는 것에 대한 이견은 없는 것 같아요. 그런데 그걸 뒤의 tool과 memory까지 model에 완전히 학습시켜 버릴 건지, 아니면 계속 context를 관리해 줄 건지, 이런 것들이 한 2~3년 전까지만 하더라도 상당히 큰 산업 영역이었잖아요. 그런데 model 가격이 너무 싸지면서 그 흐름이 수그러들었는데, 요새 그 흐름이 다시 나올 때가 된 것 같아요.
최승준 비싸지다 보니까요. 그리고 model이 정적인 도구를 개발할 수 있게 token을 써서 일단 정적인 도구를 개발한 다음에 그걸 쓸 수 있게 하는 전략과 작은 model을 orchestration하는 전략의 공통점은 경계 짓기인 것 같아요. 어느 선에서 뭘 누가 어떻게 할 거냐, 경계를 만드는 것에 대한 engineering이 생기는 것 같습니다.
노정석 그러니까요. 균형 감각이라고 저는 표현하는데, 그걸 어떤 식으로 할지 거기서 또다시 engineering 문제예요, 전부.
최승준 기승전 engineering이네요.
오디오·로보틱스의 평가 기회 43:36
박종현 마지막으로 dataset과 evaluation 얘기로 돌아와서 조금만 더 펼쳐 나가 보면, LLM에 대해서만 오늘 얘기했는데 LLM을 넘어서 저희는 다른 modality에도 관심이 많다 보니 최근에는 audio에 관심이 많고, 아니면 robotics에도 관심이 많았어서 VLA 같은 것들을 보다 보면 evaluation이 훨씬 더 어렵거든요.
그리고 data도 많이 부족하고, data 자체가 굉장히 비싸요. 거기에 사업 기회가 굉장히 많다고 생각하고요. YC batch 같은 것도 보면 물리 환경의 data를 모아서 어떻게 하겠다는 회사들이 많이 생겨나고 있는 것 같고, 아니면 evaluation 자체를 model로 만들려는 곳도 많은 것 같아요.
예전에 GPT가 human feedback으로 RLHF를 할 때 PPO에 들어가는, ‘인간은 이런 걸 좋아할 거야.’ 하는 model들을 많이 만들었던 걸로 알고 있는데,
최승준 surrogate model 같은 걸 만드는 거죠.
박종현 그런 게 있었는데, 특히 audio나 물리 환경에서는 어떤 눈으로 이 영상을 보고 지금 잘하고 있나, 예를 들어 커피를 내리라고 했으면 커피를 잘 갈았는지 이렇게 subtask로 분리해서 그 subtask 화면에서 지금 동작을 잘하고 있다, 아니다, 이런 점수를 잘 매겨야 하는데 그것도 결국 evaluation이죠. 그래서 범용 reward로 점수를 매길 수 있는 model에 사람들이 많이 관심을 가지고 있는 것 같습니다.
최승준 그러게요. 어쨌든 scalar 하나가 떨어져야
노정석 목표가 생겨요. 목표가 생기면 그 목표를 향해서 뭐든 만들게 되니까요. 그러면 저희가 오늘 Fable 이야기로 시작해서 다양한 이야깃거리를 나눴는데, 뉴스나 이런 데서 너무 많은 소식이 나오기 때문에 관점을 잡고 무언가를 하는 데 조금 부담이 걸리는 시점이긴 한데, 보시는 분들께서도 다양한 feedback을 주시면 저희가 많이 참고하도록 하겠습니다.
이번 주의 정리와 다음 이야기 45:17
최승준 종현님이 새로 참여해 주셔서 새로운 관점으로 평소에 다뤄보지 않았던 이야기를 오늘 살펴보게 돼서 재미있었습니다.
노정석 미토스를 출발로 Fable, 또 GPT-5.6까지 정신없이 달리던 사이클에 미 정부가 개입하면서 스토리라인이 조금 꼬이고 있는 것 같은데요. 그래도 발전의 방향이나 이런 방향성은 거스를 수 없는 것 같습니다. 관련해서 예전에 나왔던 것들도 저희가 한 번씩 다시 살펴보게 되는 것 같고, 했었던 이야기들이 다시 등장하는 그런 기시감도 많이 느끼는 것 같습니다.
이번 주에는 서울에서 아마 ICML이 있을 거라서 서울에서 굉장히 재미있는 분들을 많이 만나게 될 것 같은데, 그 소식들도 다음 에피소드에 한 번 전달할 수 있으면 좋을 것 같고, 또 오늘 종현님 모시고 두 번째 에피소드 했는데, 앞으로도 계속 좋은 내용 많이 부탁드리겠습니다. 그럼 오늘은 이 정도로 마무리하도록 하겠습니다.
최승준 수고하셨습니다.
노정석 수고하셨습니다.