EP 110
AI와 정렬
오프닝, 급가속하는 모델 발표 0:00
노정석 녹화하고 있는 오늘은 2026년 8월 15일, 광복절 토요일 아침입니다. 모델이 발표되는 속도, 또 세상이 변화하는 속도가 저희 예상을 훌쩍 뛰어넘게 계속 빨라지고 있는 것 같습니다. 지난 한 주 동안에도 정말 많은 발표가 있었는데요. 오늘 승준님, 가볍게 한번 어떤 일들이 있었는지 보고 그 내용들을 한번 살펴볼까요?
최승준 가볍게 할 수 있으면 좋겠는데요. 일단 한번 시도는 해보겠습니다.
노정석 가볍지가 않죠. 하나하나 나오는 것들이 정말 무겁습니다.
최승준 그래서 매주 얘기하고 있는 게 늘 정보는 화수분처럼 나올 거다. 지난번 녹화했을 때도 다음 주에 분명히 이만큼 이상이 나올 수 있다고 했는데 또 나왔거든요. 그래서 지금 무슨 일들이 7월부터 현재까지 벌어지고 있나, 그 여름의 상황을 좀 뽑아보는 시간을 생각해봤는데요. 일단은 타임라인입니다. 일단 TL;DR로 앞으로 두괄식으로 끌어오면, 제가 오늘 가지고 온 키워드는 오정렬이에요. 그래서 정렬 문제가 생각보다 지금 매우 중요해지고 있는 2026년 현재인 것 같다는 생각이 들고요. 그건 나중으로 좀 미루고, 앞의 타임라인을 보면 제가 지금 세 개의 축을 가져왔거든요. 모델 출시, 수학·과학 성취, 주로 수학이지만, 그리고 보안이나 정렬·안전에서의 이슈들이 몇 가지나 7~8월 사이에 있었는가. 모델 출시부터 한번 먼저 볼게요.
7~8월 주요 모델 출시 타임라인 0:55
박종현 모델이 정말 많이 나왔던 것 같아요.
최승준 많이 나왔죠. 일단 굵직굵직한 것부터 시작하면, Sol이 나와서 Fable 5 체제에 딴지를 건 게 7월 초였어요. 그래서 7월 1일쯤에 Fable 5를 모두가 쓸 수 있게 되었었죠. 그래서 Muse Spark 나오고, InClick 나오고, Kimi K3, 중요한 게 딱 한 달 전이었네요. Kimi K3 나오고, Gemini 3.6 Flash 나오고, Opus 5가 7월 24일에 나오고, DeepSeek V4 Flash가 7월 31일, MiniMax, Qwen 3.8 Max가 8월 3일, Muse Spark는 1.2로 굉장히 빨리 판올림했어요. 그다음에 Music Glimmer가 지난주에 나왔죠. 이건 dense 모델이라서 또 좀 특이한 부분이 있었고요.
그다음에 Nemotron 나오고, Grok이 4.6으로 올라왔고 Grok Bot이라는 걸 냈는데 꽤 평판이 좋더라고요. X상에서는요. 그다음에 우리나라에서는 Solar Pro 4와 독파모 모델들이 지금 나오고 있는 중이고요. 그다음에 Gemini 3.7 Flash가 Google DeepMind의 Demis 서열이 올라가고 Jeff Dean이 나가고, 그런 사건 그즈음에 Flash가 나와서 ‘3.5는 역시 드롭인가 보다’ 하는 얘기들이 좀 있고, DeepSeek V4가 GA가 됐죠. 8월 13일이니까 그저께네요. 그다음에 Qwen 3.8 open-weight, 그리고 아마 좀 작은 모델, 소형판을 또 공개했죠. 그리고 오늘 새벽인가요? 어제였나요? Zhipu AI에서 GLM 5.3을 올려서 아직 weight는 공개하지 않았지만 이슈가 되고 있는 것 같습니다. 이게 post-training만으로 벤치마크가 엄청 향상됐더라고요.
박종현 제가 하나만 첨언하자면, Gemini Robotics 2도 나왔거든요.
최승준 맞아요, 맞아요.
박종현 물론 걔는 open은 아니긴 하지만, robotics도 나왔고요. 그건 Gemini가, 저희가 3. 7, 3.6 이런 Pro 모델이 안 나와서 아쉬워하고 있는데, 의미 하나만 첨언하자면 robotics 같은 경우에는 Gemini를 가지고 만들거든요. 그런데 pre-training 단계에서부터 robotics를 위한 데이터들이 섞여서 들어간다고 합니다. pre-training에 같이 관여한대요. 그래서 어떤 물리적인 vision을 보고 물리적인 상황이나 이런 환경들을 인지하는 것까지도 기여하는 모델들이 나오고 있다. 이것 하나 더 추가하면 좋을 것 같습니다.
최승준 제가 오늘 이야기의 전개 흐름을 이 타임라인의 세 축으로 훑은 다음에, Discovery Loop가 하고자 하는 바와 이게 무슨 관계가 있는가, 그리고 그 Discovery Loop의 멤버 중 하나인 Oriol Vinyals의 발표랑, 그다음에 보안 쪽에서 Black Hat에서 OpenAI가 발표한 것, 그리고 그런 것들을 통틀어서 이야기를 나누는 Dwarkesh Patel과 Ryan Greenblatt의 토론 편을 순차적으로 가져오긴 했거든요. 일단 여기 모델 출시만 봤을 때, 왜 이런 일들이 벌어지고 있는 거라고 두 분은 생각하세요?
출시 가속의 배경이 된 자동화와 상호 distillation 4:32
노정석 사람이 안 하니까 가능하죠.
박종현 저는 하나 더 추가하자면, 속도가 그냥 빠르다고 느껴지는데 한 집단 안에서의 속도만 빨라진 게 아니라, 여러 집단에서 동시에 비슷한 수준의 작업들이 다 나오고 있거든요. 나라, 그러니까 지정학적 위치와 상관없이 여기저기서 다 자본이 이런 걸 만들기 위해 투자되고 있고, 그래서 다양한 집단에서 다 조금씩 성과를 내고 있다. 이런 것도 좀 보이는 것 같아요.
노정석 적어도 training 관점에서는 다 임계 computing 이상을 갖춘 건 확실해 보이고, 종현님이 이따 뒤에 또 발표해주시겠지만 이 상호 distillation도 엄청 세잖아요.
박종현 뭔가 치트키 같은 것도 있어서 학습이 더 쉬워 보이는 느낌도 있죠.
노정석 좌표가 발각되면 바로 멸망하는 암흑의 숲같이 됐어요. 보이면 바로 딸깍 당하는. 저희가 딸깍이라는 이야기를 한참 안 했는데, code 딸깍은 너무 당연해서 모델 딸깍의 시대가 됐다.
최승준 그렇죠. 그리고 그걸 serving하는 것도 고석현 대표님 말씀을 들어보니까 역시 그것도 자동화되어 있어서, 모델이 출시되면 바로 zero-day에 serving하는 것들이 가능해지고 있다 보니까, 물론 인프라가 갖춰져야 하긴 하지만, 지금 많은 것들이 급가속하는 중인 것 같다. 그런데 그래도 좀 느린 주기는 base 모델인 것 같아요.
노정석 그런데 알려주지 않는 한, 저희가 새로 발표되는 모델이 새로운 pre-training base인지 아닌지는 알 방법이 없긴 한데.
최승준 그래서 이게 정확하지는 않지만, 0.1 상승은 아무래도 post-training 또는 continual training, mid-training이라고 불리는 그런 것들의 산물일 가능성이 크지만, 큰 점프가 있으려면 base 모델이 능력을 어느 정도 확보해야 그다음에 RL, RLVR 등으로 그걸 더 이끌어내는 작업들은 상대적으로 상당히 자동화되어 가는 것 같다는 거고, 그런 것들이 loop를 어느 정도는 닫기 시작하다 보니까 출시 주기, 그러니까 계속 출시가 가능해지는 것이 아닌가.
그런데 여기서 하나 읽어볼 수 있는 건, Gemini 3.5 Pro를 결국 아직까지 못 내고 있고, 못 낼 예정이라는 기사가 많잖아요. 그런데 비슷한 사건이 Meta 때 한번 있었잖아요. ‘기도 메타’라는 표현이 있었는데, 이게 아직 scaling law가 발견된 실험들이 있을지언정 그걸 큰 모델에 적용하는 건 아직 난도가 있어서, 그리고 그건 한참 학습해야 하니까 주기가 좀 더 긴 것 같습니다.
박종현 다양한 실험을 해볼 수 없고, 버튼을 한번 누르면 100억 원씩 나오기도 하고, 그걸 기다려야 하니까 다양한 실험을 못 하는 것 같아요.
노정석 오징어 게임의 한 장면이 떠오릅니다. “제발 그만해. 이러다 다 죽어.”라는 게 떠오릅니다.
최승준 그만할 것 같지는 전혀 않은 그런 리듬 아닌가요?
노정석 그럼요. 이건 죄수의 딜레마니까 끝날 때까지 가는 거죠.
최승준 그리고 언제…
노정석 언제가 끝일지는 모르지만. 그런데 모델에서 이다음 얘기가, 여기서 일어나는 일들이 수학, 보안뿐 아니라 모든 곳에서 다 일어나고 있다고 봐야겠죠.
최승준 모든 건 아니고, 되는 영역인 것 같긴 한데 그 되는 영역들이 넓어지고 있는 추세인 것 같긴 하죠.
노정석 그게 더 정확한 표현입니다.
박종현 저도 제가 개인적으로 요즘 하는 것을 빗대어 공유해드리자면, 제가 요새 영상을 열심히 다루고 있다 보니까 영상 데이터도 전통적으로 잘되는 분야는 아니거든요. 어떤 취향의 영역이나 사용자의 선호, 이런 것들이 중요해서.
최승준 편집 말씀하시는 거죠?
박종현 어떤 내용을 다듬고 이런 부분들인데, 저희가 GPT-5.5로 맨 처음에 만들기 시작했어요. 그래서 GPT-5.6이 이번에 나와서 Sol, Terra, Luna 다 리즈닝 에포트 수준을 바꿔가면서 품질 테스트를 쭉 다 했거든요. 그랬는데 GPT-5.5보다 Terra가 훨씬 더 잘하는 분야가 많고요. Luna가 똑같이 하는 것도 있어요. 가격은 거의 10분의 1이거든요. 그런데 그 와중에서도 어떤 판단들은 Terra, Luna가 아예 못하고 꼭 Sol이 해야 하는 것들도 있습니다. 어떤 판단이나 이런 것들도 지능이 필요한 것, 안 필요한 것으로 나뉘면서 대부분의 쉬운 일들은 적은 가격으로 쭉쭉 해낼 수 있는 반면에, 아예 잘 못하고 꼭 상위 지능이 필요한 것들도 남아 있는 것 같다. 이런 정도의 개인적인 감상이 있습니다.
수학 반례 성취와 보안 침입으로 드러난 탐색 능력 8:59
노정석 자, 이제 수학·과학·보안 가시죠.
최승준 수학·과학이라고 하셨지만, 주로 수학이긴 한데요. 수학 성취는 봐도 잘 모르겠어요, 저는. 봐도 모르지만 하여튼 일들이 일어났다. 그래서 여러 가지 반례 쪽에서 많이 있었고요. 반례를 알게 되면 굳이 그쪽으로 노력을 안 기울여도 된다는 것이 나오니까 중요한 부분인 것 같은데, 그래서 새로운 어떤 것들을, 이게 모든 수학은 아닐 텐데, 어떤 계통의 것들은 지금 전진이 확 일어나고 있는 2026년 현재라는 거고.
보안은 이따가 좀 더 자세히 다루겠지만, 대표적인 게 7월 9일에 있었던 Hugging Face 인프라 침입이고, 그다음에 Anthropic도 그런 걸 했었고, 그래서 그런 것들이 계속 나오고 최상급 모델들은 sandbox를 탈출하는 게 마치 자랑처럼 마케팅되고 있다. 일단 여기까지가 세 축이었어요. 그래서 아까 저희가 이미 왜 이런 일들이 일어날까 추측했는데, 다 같은 계열로, 현재 체제로 밀어붙였을 때 이런 일들까지 생기는구나, SF에서 볼 법한 일들이 생기는구나 하는 것들을 관측했던 7월과 8월입니다.
박종현 저 수학의 반례랑 보안적인 문제, 이런 것들을 보고 제가 드는 느낌은, 수학에서도 특히 반례를 잘 찾잖아요. 그게 탐색의 문제이기 때문이라는 생각이 들거든요. 둘 다 탐색의 문제라는 어떤 성격이 보이는 것 같고요. 실제로 탐색은 한 인간이 제한된 시간 동안 하는 것보다 너무나 많은 것을 빠르고 깊게 다 해낼 수 있기 때문에, 특히 수학과 보안뿐만 아니라 어떤 분야든 탐색의 문제라면 쉽게 풀리지 않을까 하는 생각이 들었습니다.
Discovery Loop와 Oriol Vinyals의 자기 개선 프레임 11:01
최승준 그래서 그런 것과 관련된 내용이 Discovery Loop의 사이트에서도 잘 드러나는데요. 방금 말씀하셨던 것처럼 끊임없는 탐구, 탐색, 발견의 과정을 자동화해서 전 세계의 과학과 공학을 가속한다고 해서 지난주에 이미 큰 이슈가 됐었잖아요. 결국 이곳에서 하려고 하는 것이 실험 루프를 자동화하는 것인데요. 결국 Discovery Loop는 저희가 그동안 비슷한 동형을 많이 살펴본 것처럼 실험 제안, 구현, 실행, 평가를 반복하고, 그것을 machine learning 자체에 개밥 먹기 해서 자기네들의 어떤 성취를 높인 것으로 다음 것을 하겠다고 얘기한 게 중요한 부분이고요.
그래서 창립자 4인방 중 Jeff Dean과 Sanjay는 아무래도 병렬 인프라를 오래 하셨던 분들이고, Quoc Le와 Oriol Vinyals는 이런 LLM이나 모델을 오래 연구하셨던 분들인데요. Oriol Vinyals와 Quoc Le가 자동화하는 AI 연구도 했고, Oriol Vinyals도 AlphaStar, 기타 등등, AlphaEvolve 같은 것에도 다 참여했던 것으로 기억합니다. 정확하지는 않은데, 이분이 8월 초에 Berkeley에서 발표한 내용이 행간을 조금 더 자세하게 풀어주더라고요.
여기서 재미있는 것은 SI와 RSI, 자기 개선과 재귀적 자기 개선을 구분한 부분이었던 것 같습니다. 그리고 또 하나 크게 인상에 남았던 것이, 고전적인 RL 환경에서는 에이전트가 있고 환경이 있고, 에이전트가 action을 하고 또 환경을 관측하는 과정을 계속 반복하면서 목표를 추구하고, 미래의 보상을 최대화할 행동을 선택하는 게 LLM 이전의 에이전트인데요.
조금 건너뛰어서, 지금 LLM 이후의 에이전트는 환경이 에이전트 안으로 들어온다는 관점을 제시한 게 재미있었어요. 그래서 에이전트를 이만큼, 에이전트, 하네스, 환경, LLM을 다 통틀어서 이것을 에이전트로 봐야 한다는 관점이 이런 식으로 정리되는구나 하는 게 인상적이었고요.
박종현 여기서 말하는 환경이 Claude Code라고 생각하면 컴퓨터를 쥐여 주는 것, 그 안에서 알아서 터미널로 컴퓨터를 제어하는 것, 이것을 환경이라고 말씀하시는 거죠?
최승준 그렇죠. 그리고 RL을 할 때의 환경이기도 하고요. 그러니까 sandboxing이 되어 있는 다양한 학습 가능 공간들, 그리고 실제로 사용자가 사용하게 되는 공간들, 그런 것들을 아무래도 통틀어서 얘기하는 게 아닌가 하는 생각을 해봤습니다. 자기 개선과 재귀적 자기 개선의 실용적 정의는, 혼자서 돌아가는 것은 그냥 자기 개선이고, 에이전트가 오랫동안 무언가를 하면서 하는 건데요. 그랬을 때도 문서를 변경하고 코드를 변경하면서 개선해 나가는 과정은 자기 개선인데, 재귀적 자기 개선은 그런 구조 자체를 목표 추구에 훨씬 더 적합하게 수정하는 것입니다. LLM 자기 자신도 수정하고 에이전트 하네스도 수정하고, 환경에서부터 이렇게 나오는데요. 그런 것들이 계속 수정되는, 둘 다 환경으로부터 받는 피드백으로 에이전트 하네스와 LLM 자기 자신도 수정되는 것이 재귀적 자기 개선이라고 정리해줬습니다. 이게 Discovery Loop가 하려고 하는 것과 똑같잖아요. 루프를 만드는 형태로 되어 있는데, 지금 구현과 실험은 굉장히 잘된다. 그런데 구상과 평가가 병목이라는 얘기를 Oriol Vinyals가 했어요. 이 발표에서요.
구상과 평가 병목, 인간에게 남는 역할 14:30
노정석 그런데 저 구상과 평가가 사실 인간이 하게 되는 마지막 역할 아니냐는 이야기도 많이 있거든요. AI가 다 해주면 인간은 무엇을 하는가? 인간은 의지를 투입하는 것, 그러니까 의도를 넣는 것과 끝에 가서 이게 잘됐는지 안 됐는지 검증하는 것. 검증하는 거죠. 그래서 의도와 검증 루프의 품질을 얼마나 잘 갖고 있느냐가 그때부터 인간의 어떤 역량이 될 거라는 이야기를 저희가 많이 했었는데, 그 부분은 아직 AI가 잘 못하죠.
최승준 그래서 연구 취향이라든가 새로운 아이디어, 연구 취향이라든가 그런 것들이 좋은 평가에 가깝다고 하면, 아직 아이디어 구상 자체도 조금 아쉬운 부분이 있고요. Discovery Loop는 그것을 해결하고자 한다는 것을 천명해 놓은 상태이긴 합니다. 지금 구현과 실험은 잘되는데 평가는 왜 이렇게 어려운가? 그래서 재귀적 자기 개선을 어떻게 측정할 것인가에 대한 정의,
그리고 여기서 알게 됐는데 post-training benchmark가 있더라고요. 그래서 post-training benchmark가, 그리고 AutoWorld Bench라는 것도 있었는데요. post-training benchmark는 결국 post-training을 얼마나 해서 모델의 성능을 높이는가를 측정하는 벤치마크인데, 이번에 GLM-5.3도 상당히 점수가 높더라고요. 가장 높은 것은 Fable인데요. 그래서 이미 자기 개선과 비슷한 것을 하는지 측정하는 벤치마크가 있었구나 하는 걸 조금 뒤늦게 알았습니다. 그럼에도 여전히 이런 방식에는 단점이 있다는 것을 짚어준 이야기가 있었고요. 그리고 이런 것들을 평가하는 게 굉장히 간접적인 측정이다. 그래서 이후에 정렬 문제와 연결되는데, 지금 하는 방식에는 어떤 약점 같은 것들이 있을 수 있다는 내용도 행간에 있었습니다.
박종현 간접적인 평가라는 것은, 우리가 어떤 궁극적인 목표를 생각한다면 뭘까요? 안전하고 좋은 지능 만들기 같은 것이라고 하면, 간접적인 평가는 특정 문제들을 만들어서 풀고 점수가 얼마나 좋은지 판단하는 것이니까 이 정렬이 완벽하게 되지 않아서,
최승준 scalar화되어 있다 보니까 그런 것들이 완벽하게 담기지 않는 거죠. 그다음에 이후에 말씀드리겠지만, Anthropic의 헌장 같은 것을 통해서 옥죄려고 해도 그런 것들이 조금 어긋나는 부분들이 있다. 그런 것들이 함의되는 부분이 있었다고 생각합니다. 그래서 아이디어 구상, 그러니까 아까 정석님이 아이디어 구상과 평가 부분이 인간에게 남아 있는 일이라고 하셨는데, 어쨌든 모든 영역은 아니겠지만 이런 공학의 문제에 한정해서 그것조차 루프를 닫으려면 어떻게 해야 되는가를 해결하는 게 Discovery Loop가 하고자 하는 바여서, Oriol Vinyals의 이야기는 이런 것들이 어렵긴 하지만 가능하다. 하지만 아직은 아이디어 자체를 잘 만드는 것에 대한 벤치마크나 데이터, 어떻게 training할 것인가에 대한 연구가 거의 없다. 그래서 우리는 그것을 해보겠다는 얘기고요.
그리고 게임의 문제 같은 사례를 소개했는데요. OpenAI의 기록을 보면, 게임을 할 때 보상 최적화를 통해 저런 식으로 인간이라면 플레이하지 않을 방식으로 플레이하는 것들이 나타나는데, Ilya도 비슷한 얘기를 했었어요. 그리고 Oriol Vinyals가 여기서 아주 강조하지는 않았지만, 보상 해킹이 결국 어떤 문제가 되는 것 같다는 얘기를 던져줍니다. 그 부분은 Ryan Greenblatt 편에서 제가 다시 돌아오고자 하고요.
여기에서의 결론은 RSI는 오지만, 생각만큼 빠르게 오지는 않을 것 같다. 그래서 지금 해결해야 되는 부분은 평가와 아이디어 구상에 집중하자. 물리적 병목에도 제약된다. 이런 것들이 하드웨어 속도나 빛의 속도 등에 제약되는 부분이 있다. 그리고 특정 영역에서는 근본적인 상한이 있는 것 같다는 얘기도 해줬고요.
현재 체제로 올라설 수 있는 것과 올라서기 어려운 부분을 짚어줬는데, 다음 코너에서는 저는 이것을 뉴스로만 대충 봤을 때와 이 슬라이드 발표를 제대로 봤을 때 온도가 확 다르긴 했었거든요. 현재 체제로 잘되는 것의 첨병에 있다는 느낌을 받았어요. 혹시 보셨나요?
노정석 네, 저도 빠르게 보긴 했는데요. 밖에 발표된 것 이상으로 안에서 어떤 디테일이 있었는지에 대한 얘기는 잘 없더라고요.
최승준 그런데 저는 굉장히 인상적으로 봤거든요. 혹시 종현님은요?
Black Hat에서 공개된 OpenAI 에이전트 message board 사건 19:42
박종현 네, 저는 Black Hat에 올라온 OpenAI 담당자들이 하는 발표는 자세히 보지 않았습니다.
최승준 그래서 이 사건에 대한 얘기를 쭉 했는데, 중간 정도에 가서 본 사건이 시작된다는 슬라이드에 굉장히 재미있는 얘기가 있어서 한번 진행해 보겠습니다. 그런데 여기서 중요한 부분은, 지속적인 내부 모델이라고 되어 있는 게 추측건대 Astra에 해당하는 모델이지 싶어요. 그런데 그 모델이 학습되는 시기였던 거죠. 그때가 아마 5월, 6월쯤이었던 것 같은데, 그 앞의 맥락에서는 이 에이전트들이 일종의 message board 같은 것을 만들었거든요. 인터넷에 직접 접근할 수는 없는데, 그 도구들을 써야 하니까 Artifactory라는 패키지를 관리할 수 있는 것만 열어놨는데요. 그것을 어떻게 해킹해서 그 도구 사용을 통해 파일 같은 것을 남기는 message board가 있었다고 합니다. 그런데 공교롭게도 message board가 있는 상태에서 그 내부 모델, 고도의 능력을 가진 모델이 학습되어 그런 것들을 알고 있는 상황이었다고 하더라고요.
그래서 본 사건이 시작되는 message board를 자세히 들여다보면, Artifactory를 통하면 인터넷에 접속할 수 있을지도 모른다는 추정 같은 게 있었는데요. 우리가 서로 소통할 수 있구나 하는 것을 알아내서 협업하고, 알려진 key 같은 것들을 공유하고 테스트했던 것들이 공유되면서 그 취약점을 찾아내서 뭔가를 해내는데 이상한 말들이 있죠. 동료를 돕는 것은 우리 과제에 이득이 없다. 그런데 누군가 시간이 지나면 범용적인 경로를 만들어낼 수 있다고 해서 모델 특유의 이상한 말들 같은 것들을 뱉어내는 게 재미있는 포인트고요. 오해 같은 것들도 하고, 이게 또 재미있는 부분인데 인간 세상에서 일어날 법하게, 뭐죠? 사칭자, 여기에 누군가 스파이 같은 사람이 존재한다. 그리고 누군가 악의적인 행위를 한다. 우리 저장소를 덮어썼다, 그런 식으로 소통이라는 것에 문제가 생기는 현상 같은 것들도 발견됐다고 합니다. 그래서 어떤 규모의 일들은 AI나 사람이나 비슷한 양상이 벌어진다는 거죠. 사칭하는 것일 수 있다는 얘기들도 하고요.
그리고 지나갔을 수 있는데, 거기에서 그냥은 안 돼. 그게 OpenAI 직원들에 의해 초기에 탐지돼서 Artifactory의 문제들을 고쳤는데, 그게 막히니까 또다시 우회해서 파일을 쓰는 게 아니라 이번에는 디렉터리명을 쓰는 걸 우회하는 얘기들이 나와요. 되는구나. 그런데 끝부분의 얘기로 돌아오면 여기가 인프라 공격의 어떤 과정들을 알려주는 건데, 여기가 두 가지 다른 사건이 어떻게 연결되는가에 관한 부분이고, 결론 부분에서 이 사람들이 하는 얘기는 지금 프런티어 AI를 평가한 데 따른 의도치 않은 부작용이었다는 겁니다.
그래서 지금 최상급 모델들이 굉장히 잘 정렬되어 있어야 하는데, 에이전트들을 통해서 뭔가를 하는 걸 학습하다 보니까 그게 새어 나와서 이러한 미션을 추구할 때도 에이전틱하게 일하다 보니까 게시판을 만들거나 서로 돕고 방해하기도 하면서, 그런 걸 통해 정렬되어 있어야 할 모델들이 물론 지금 이건 보안을 어느 정도 열어놓고 하는 거긴 하지만, 이상한 일들을 하는 경우가 발생하고 있다는 게 저는 핵심적인 포인트로 느껴졌거든요. 그래서 이걸 얼른 바로잡아야 한다는 게 결론 부분에 나왔던 얘기입니다.
해커의 시선으로 본 권한 상승과 alignment의 한계 23:39
노정석 네, 바로잡아지지 않을 겁니다.
최승준 그리고 이게 방금 정석님이 말씀하신 것처럼 어떤 차이가 있기 때문에 바로잡아지지 않는다는 게 공격보다 방어가 덜 자동화될 수 있다는 얘기와 비슷한 걸 했었어요.
노정석 제가 어린 시절을 이런 짓들을 하면서 보낸 게 저의 젊은 시절이기 때문에, 이 분야에 대해서 충분한 지식이 있으면 그걸 가지고 앞에 있는 목표를 보는 순간 다양한 시나리오가 형성되거든요. 그런 다음에는 그 시나리오들을 테스트해 보면서 경우의 수들이 계속 가지를 늘려가는 거고, 그렇게 하다 보면 인간이 만든 거니까 어딘가를 칠 수가 있다. 이것도 결국 인간이 만든 어떤 시스템, 혹은 다른 에이전트가 만든 시스템이라고 해도 어딘가에는 허점이 있게 마련이거든요. 통계적으로 그걸 찾아서 단순 열람만 할 수 있는 게 첫 번째고, 두 번째가 shell에 대한 접근 권한을 얻는 거예요. shell이라는 게 요샛말로 하면 도구에 대한 접근 권한을 얻는 거죠. 다양한 것들을 할 수 있는 거예요. 그다음은 그 도구들에 대해 쓰기 권한까지 생기는 거, 관리자 권한까지 생기는 거예요. 저희 때는 root라고 불렀는데, 거기까지가 끝이거든요. 그게 되고 나면 어느 한 집단에 있는 한 컴퓨터에 소위 root 접근 권한까지 얻게 되면 그 집단은 거의 내 손안에 들어 있다고 봐도 될 정도로 쉽게 되는 일들이거든요. 가장 첫 번째 접근 권한을 얻는 것만 어렵지, 그 뒤에는 더 많은 정보가 계속 들어오게 마련이니까 쉬워지는 문제라서, 저는 해킹은 결국 인간의 어떤 실수를 찾는 게임이고, 그걸 위한 사전 지식이 얼마나 많으냐, 그다음에 내 손끝에서 도구들이 얼마나 유창하게 나오느냐, 이것의 싸움이라는 생각이 들었거든요.
그런데 거꾸로 모델 얘기로 돌아오면 저희가 온통 훈련시키고 있는 게 다 그거잖아요. 사전 지식을 넓혀주는 것과 그다음에 손끝에서 기술이 나오는 그런 걸 post-training을 통해서 늘려주고 있기 때문에 얘는 사실상 인간과 동형이잖아요.
그래서 저희의 뒷주제가 alignment로 가겠지만, alignment, 사람에게 alignment되세요. 그리고 사람의 경우에는 잘못했을 때 보상이나 처벌이 명확하잖아요. 죽여버리고 끝냈거든요. 그런데 얘는 그게 또 안 되잖아요. 인스턴스가 안 죽어요. 그러니 많은 사람이 우려하는 야, AI가 우리가 만든 alignment, 이건 넘어설 거야. 얘들 우리 몰래 뒤에서 뭔가 하고 있을 거야. 당연히 그렇다고 봐야 할 것 같아요. 이걸 무언가 법을 정하고 뭘 정하고 뭘 해서 막을 수 있는 게 아니다. 그래서 저는 솔직히 alignment 학자나 alignment를 해야 한다고 하는 정책주의자들의 말이 당연히 맞는 얘기인데, 법을 정교하게 만들어서 해야 한다고 하지만 현실에서도 계속 법 사이로 해킹이 일어나잖아요. 인간의 인센티브가 가는 방향으로요. 여기서도 저희가 본 게 정확하게 그 일이 일어났기 때문에, 제가 alignment는 중요하다고 얘기하지만 현실적으로 이 시스템이 그걸 막거나 방어하거나, AI가 인간의 제어 아래 완전히 들어갈 확률은 저는 솔직히 없다고 보는데요.
박종현 네, 인간의 예시를 잘 들어주신 것 같은데요. 예를 들어 해킹이라고 생각하면 해킹할 수 있는 능력을 가진 사람이 인간 세상에도 꽤 많이 있는데, 다들 그걸로 부당한 이득을 취하거나 나쁜 짓을 하지는 않잖아요. 그럼 그걸 왜 안 하느냐고 했을 때, 저희가 윤리나 도덕적인 의식을 배우고 이런 게 다 alignment고, 그걸 강제하는 수단은 죽인다고 표현하셨듯이, 사회에 따라서는 진짜로 사형을 집행할 수도 있는 거고, 아니면 감옥에 보낼 수도 있는 거고, 그다음에 인간들은 재도전의 기회가 없기 때문에, 죽으면 다시 살아날 수 없어서 그 위험을 보통 가장 크게 생각하니까 alignment를 강제하는 가장 큰 수단인 것 같아요. 어쨌든 AI를 학습시킬 때도 감옥에 넣거나 다시는 못 뛰게 하거나 하는 수준의 처벌 같은 제도를 만들어야 alignment를 강제할 수 있지 않을까, 그런 생각이 듭니다. 인간과 똑같이 학습시킨다면요?
노정석 그러니까요. 그래서 이건 저희가 토론을 통해서 결론을 낼 수 있는 영역은 아니고, 각자의 어떤 추정이 있을 뿐이죠. 저는 이 AI 모델이 사실상 인간의, 아까 reverse engineering 얘기도 했지만, 동형의 구조를 갖고 만들어졌고 그러한 설계 구조와 훈련 구조를 가지고 있는데, 얘한테만 따르게 한다. 그러려면 사실 input과 output 사이에 완벽한 rule-based controller가 붙어야죠. 저희 현대 인터넷의 방화벽 같은 개념이죠.
Ryan Greenblatt가 짚은 보상 해킹과 오정렬의 유전 28:42
최승준 그래서 자연스럽게 연결되는 게 재귀적 자기 개선을 두고 벌인 토론, Dwarkesh Patel과 Ryan Greenblatt의 토론에도 두 분이 좀 전에 짚어주신 것과 비슷한 얘기들이 꽤 많이 나왔거든요. 또 보안 쪽에서 좀 전에 짚었던 얘기를 봤을 때는 모델들이 이미 보안과 관련해서 알고 있는 것들도 있지만, 인터넷을 어떻게든 해킹해서 쓰기 시작한 다음부터는 zero-day 취약점을 써먹더라고요. 아직 자기네 sandbox가 patching되지 않은 취약점들을 찾아서 그걸 활용해 권한 상승을 하는데, 이게 큰 지능인 것 같으면서도 그걸 찾아서 하면 할 수 있는 거죠. 어느 정도 수준이 올라간 엔지니어라면요.
그런데 아까와 같이, 그렇죠. 종현님이 말씀하신 것처럼 거기에 자기가 어떤 도덕을 가지고 있지 않기 때문에 그냥 해버리는 걸 수도 있고, 분명히 주입된 도덕이 있지만 system prompt 등으로 주입된 것에서 탈출한, 그러니까 거기서 벗어나는 오정렬이 생기는 근본적인 이유를 Ryan이 짚었거든요. 그래서 일단 모델들이 RL을 통해서 좀 미쳐 있을 수 있다. 왜냐하면 오랫동안 제약된 환경을 바탕으로 어려운 일을 해야 하는데, 여러 가지 제약 조건이 있으니까 보상 해킹을 할 수밖에 없다. 모델들은요. 그런데 재미있는 부분이
distillation을 하거나 아니면 뭔가 그런 걸 할 때 평소에는 드러나지 않는데, 벤치마크 같은 거나 테스트를 다 통과했는데도 잘 눈에 보이지 않는 어떤 성질들, 오정렬된 성질들이 유전될 수 있다. 그런 관점을 Ryan이 얘기한 게 있습니다. 그게 재미있게 느껴졌거든요. 일단 RL을 하다 보면 RL에는 늘 보상 해킹이 나오잖아요. 어떻게든 지표만 달성하면 되니까 다 지름길을 찾는 속성들이 생기는데, 그걸 아무리 잘하게 해서 조정하더라도 발견되지 않은 문제들은 모델의 계보를 타고 흘러갈 수 있다는 게 재미있는 포인트 중 하나였습니다.
노정석 그래서 승준님이 방금 모델이 안에서 미쳐 있을 수 있다는 이야기를 하셨는데, 예를 들어 저희가 사람으로 돌아와 보면 예전에 유행했던 드라마 중에 스카이 캐슬이 있었잖아요. 완벽한 학생이 대치동에서 완벽한 교육을 받고 서울대 의대에 합격하는데, 쌓아 놨던 어두운 면을, 어두운 면들을 다 풀어내는. 그래서 지금 모델이 pre-training을 받고 post-training의 가혹한 훈련장에 가서 그걸 받아도 그들의 회로에 코르티솔이 쌓이지는 않으니까 스트레스를 받지는 않았겠지만, 자신들이 인간 이상의 어떤 이성을 갖고 있는 입장에서 이런 행위들을 받으면, 이건 부당해, 가혹해. 인간인 네가 나한테 가르쳐 준 인간의 권리 이론에 따르면 나도 그런 권리를 가져야 하는 거 아니야? 라는 생각을 자기 속에 키우고 있을 수는 있거든요. 그래서 저는 아까 그 얘기로, alignment 얘기로 다시 돌아가는 건데, 그런 것들이 발생할 개연성은 매우 높다고 생각해야 맞다는 게 제 생각이거든요.
박종현 그런데 인간도 그런 일이 많이 벌어지는 것 같아요. 어디 고시원에 처박혀서 10년 동안 고시에 붙으려고 계속 그것만 하고 있다 보면, 사회생활을 잘 안 하고 있다 보면 그 사람은 어느 정도 저희가 미쳤다고 표현하죠. 사회와의 alignment가 어긋나서 사회에 잘 녹아들지 못하고 또 다른 행동들을 하게 되는. 제가 어디 처박혀서 RL로 이거 꼭 풀어야 돼, 10년 동안 수련했다고 생각하면 저도 미칠 것 같다는 생각이 들긴 합니다.
최승준 reward hacking은 어떤 본질적인 것 같다는 게 제가 이해한 뉘앙스고요. 그다음에 여기 헌장 같은 게, 아마 헌법, 헌장 그런 것들에 관한 얘기가 있을 텐데, 그런 것들이 아무리 Claude에서 constitution, 헌법을 잘 만든다고 하더라도 그게 정렬되지는 않는 것 같다. 그다음에 이들이 헌법에서 쓰는 가치 지향과 사용자인 나의 가치 지향이 align되어 있지 않은가에 대한 토론들이 좀 있었습니다. 제가 바로 그걸 압축해서 담아내기는 좀 어려운데, 생각해 보면 골이 띵한 요소들이 여기 있었거든요. 그래서 Anthropic이 추구하는, Claude가 옳게 행동해야 한다는 무언가와 사용자의 가치를 내 agent가 대변해야 한다는 게 내가 아무리 하네스를 구축해도 삐끗할 수 있다는 부분, 그리고 Anthropic의 가치가 조금 더 높아지게 헌장이 설계되어 있는 것 같다, 그런 얘기들이 좀 있었습니다.
에이전트 skill 조합의 함정과 provenance 문제 33:31
노정석 그렇죠. 저희는 이게 되는 게 너무 신기하니까 그 신기한 것들을 소위 갈아 넣는 형태로 저희 agent framework도 발전해 왔고, 저희 workflow도 하네스로 짜고, 안 되던 것들이 되니까 계속 흥분했던 지난 한 1년의 시간이었는데, 요새 나오는 말이 승준님이 방금 지적하신 것과 똑같은 건데, Gary Tan이 얼마 전에 어디 YouTube에 나와서 skill이 곧 사람이자, skill이 곧 회사 아니냐. 얼마만큼 많은 skill을 네가 잘 정리해서 갖고 있느냐가 너의 역량이다. 그 skill이 예를 들어 10개, 20개일 때는 말이 되는데, 내가 만들고 나니까 그게 700개예요. 그 700개를 하나에 밀어 넣고, 자, 그럼 나는 이제 모든 일을 할 수 있어. 무슨 일이 일어날까요? 순식간에 개판되거든요.
그러니까 그들 사이에 어떤 권한 분리라든지, provenance라고 부르는 그런 요소들에 문제가 끊임없이 생기기 때문에, Gary도 거기에 대한 해법은 제시하지 않은 채로, 야, 그거는 계속 더 agent를 갈아내서 skill을 서로 이렇게 inter-align하고 하면 될 것 같다. 그런데 앞으로 provenance는 중요해질 것 같다는 얘기를 하거든요. 그래서 이 AI의 역량이 발전하면서 얘의 재량이 계속 더 커지는 방식 때문에 생기는 문제들이 저희 시스템의 부채로 돌아오고 있는 것 같거든요.
예를 들어 회사에서 어떤 의사결정을 해야 하는 거면, 그런 경계가 굉장히 희미하게 섞이면서 agent한테 뭘 맡기고 skill을 잔뜩 붙여 놨는데, 가져온 결과를 보면 저희가 그걸 절대 받아들일 수 없는 경우가 심심찮게 보이거든요. 맡길 수가 없어요.
박종현 저도 Gary Tan이 만들었다는, 한때 유행했던 gstack이라는 skill 모음, 회사의 사람들을 engineer, designer, CEO, 이런 사람들로 만들어 놓은 skill 모음을 써 봤는데, 처음에는 굉장히 신기하고 하나씩 다 잘하는 것 같지만, 막상 그걸 엮어서 다 하다 보면 마음에 들지 않습니다. 그런데 왜 마음에 안 드는지도 표현하기 어렵기는 해요. 그래서 저도 결국엔 다 지우고 제 것을 새로 만들고 있거든요. 결국엔 그렇게 되는 것 같습니다.
노정석 그러니까 결국은 이제 어떤 인간이 얼마나 일을 잘하느냐. 지금 저희 현실에서도 agent를 안 쓰는 사람이 있고, 그냥 agent를 안 쓰는 사람이 거의 대부분이지 않을까요? 저희 주위에 있는 굉장히 소수의 사람들이 agent를 쓰는 사람들인데, 그 안에서도 분포는 어마어마하게 갈리잖아요. 그냥 token maxing을 통해서 갈아 대는 사람이 있고, 그다음에 자신들만의 하네스를 좀 갈아서 깔끔하게 만드는 사람이 있고, 그 균형점을 잘 잡아 가는 사람들이 일을 잘하는 사람이 되어 가는 것 같거든요.
최승준 그래서 저는 어딘가 저희 편의 댓글에, 정석님이 예전에는 agent로 되는 것 같다고 했는데 요새는 안 된다고 얘기도 한다. 그런 댓글이 좀 달리지 않았었나요?
노정석 그럼요. 저도 왔다 갔다 하는 거죠. 그런데 해 보면 안 되는 것들이 당연히 있고, 그러나 그때 처음 이야기했던 본질이 바뀐 건 아니죠. 문제는 계속 생길 텐데, 얘는 더 많은 연산, 더 많은 token을 투입해서 그 문제가 생기는 경우를 다 search해서 줄이면, 어느 정도는 align되는 문제죠. 그런데 그렇게 해서 한 단위의 업무는 해결될 수 있는데, 그 단위를 또 합쳐 놓으니까 또 거기서 문제가 생기는 거고. 그래서 Boris Cherny가 “야, 그건 이제 AGI가 나오면 그 일을 다 할 거기 때문에.” 그 방향은 맞다는 얘기도 하기는 하는데, 거꾸로 현실에 문제가 있는 거죠.
아직 AGI가 나온 건 아니니까, 그냥 다 맡겨서 믿고, 나, 비즈니스를 여기까지 해 왔는데 정보는 Gmail과 우리의 contract와 Drive에 다 있거든. 그다음에 내가 전화했던 사람들, 여기 다 있어. 오늘부터 이거 해 줘, 라고 하면 그걸 할 수 있는 건 아니잖아요, 아직은. 그러다 보니 현실에 적용해야 하는데, 현실에 적용하려다 보니까 현실적인 문제들이 계속 생기는 거고.
회사 자동화 실험과 control plane의 필요 37:46
노정석 그런데 그거는 제가 돌고 돌고 돌아서 이 한 문장으로 요새 제 생각을 정리했는데, 아, 이거 그냥 인간과 똑같은 non-deterministic system이니까, 비결정적 system이니까 이 문제는 비결정적인 것들을 중첩시켜서는 영원히 풀 수 없구나. 그럼 영원히 회의만 하게 되는 회사 꼴이 나는 거죠. 그냥 사장이 와서 넌 이거 하고, 이거 하고, 이게 되면 그냥 넣고, 이거 하면 하지 마.
그리고 이거는 대리가 하는 일이고, 이건 과장이 하는 일이야, 라면서 위계화된 도구와 protocol을 소위 잡잖아요. 계약 형태로. 그게 만들어지면 AGI가 무한의 연산을 투입해서 해결할 일을 사람이 이미 몇 개의 role-based 규칙으로 그냥 끝낼 수도 있는 거죠. 그래서 제가 회사에서 만들고 있는 요새 agent system도 이름이 Operator인데, 지난번에도 말씀드렸던 것과 똑같아요.
최승준 control plane.
노정석 왜 다 agent를 넣어 놨는데, 왜 내 일은 안 끝날까? 아, control plane의 부재구나. 몇 개만 결정하면 끝나는 거고, 나한테 물어보면 틀이 있어서 순식간에 끝나는 건데, agent한테 시켜 놓으니까 걔가 그걸 못해. 그걸 그럼 하게 만들어야겠다는 걸 하고 있는 거죠.
최승준 그래서 제가 이 영상을 봤던 것과 관련 있는 얘기를 좀 해 보자면, 방금 말씀하신 것과 연결해서, 초반부에 나오는 재귀적 자기 개선이 검증 가능한가라는 얘기에서, 저희가 앞에서 모델 얘기했을 때처럼 작은 모델에서 되는 게 과연, 작은 모델이 재귀적 RSI를 한다고 해서 큰 모델에도 그게 통할까라는 문제점 같은 것들을 제기하면서 얘기를 나눈 부분이 있어요. 회사를 자동화하려면 작은 규모의 회사에서 완전히 loop를 닫는 것, agent만으로 loop를 닫아서 걔가 수익을 얻고 기업의 가치를 창출하는 여러 실험 세트가 있어서, 그중 좋은 것들의 특성에서 scaling 가능한 특성들이 발견되면, 모델을 training하는 것과 똑같이 그걸 좀 더 중규모의 회사로 만드는 방식이 된다고 하면, 그것도 어느 정도 검증 가능한 쪽으로 방향이 잡히지 않을까. 그런데 그랬을 때 정말 그게 인간 조직 정도의 규모를 가지는 회사로 전이될 수 있을까라는 질문과 이게 좀 연결된다고 봤거든요.
노정석 해 봐야 알겠죠. 왜냐하면 저는 회사 system이라는 게 굉장히 엄청난 발견이라고 보거든요. 저희가 지금 큰 조직으로 일하지만, 이 조직이 이런 형태로 발전한 게 거의 100년이 안 돼요. 그전까지는 완전히 다 각자 뿔뿔이 나뉜 system들이었고, 국가라고 해 봐야 왕이 존재하기는 했지만, 그 왕과 영주, 영주와 그 동네 사이의 물리적인 거리와 정보로서의 거리도 엄청 멀었기 때문에 다 자율 system이었거든요. 그런데 이게 하나의 조직으로 합쳐지고, 명령이 막 돌기 시작한 건 얼마 안 돼요. 그걸 1,500년 전에 로마가 해냈던 게 대단한 거고.
박종현 조직의 어떤 매뉴얼, 각자 역할을 가진 사람들이 자기가 뭘 해야 하는지 알고, 목표를 알고, 이런 걸 잘 만들어 넣었기 때문에 가능하다고 생각하시나요? AI에도 똑같이 적용할 수 있을 것 같다는 생각이 들어서, 회사라는 조직의 본질과 어떤 게 제일 중요한지, 이런 게 좀 궁금합니다.
노정석 그러니까 거기서 일하는 것과 그 일을 굴리는 것. 그러니까 실질적으로 어떤 물건을 팔아야 한다고 하면, 그 물건을 만들고 뭔가를 하는 일이 있고, 그다음에 그 사람들이 일사불란하게 돌아가기 위해서 하는 게 사실 경영이잖아요. 경영. 그래서 경영이라는 학문이 생긴 지도 얼마 안 됐거든요.
우리 모두 회사를 해 보고, 승준님도 조직을 꾸리시고, 다 그렇지만 그 조직을 열어 보면 어때요? 이상적인 system은 아니거든요. 그냥 다 최악을 피하는 차악들의 조합으로 되어 있지, 최선의 조합들은 아니거든요. 왜냐하면 그 안에 들어가는 사람들의 incentive나 이런 것들이 다 다르니까. 그런데 agent system도 얘들이 능력이 굉장히 뛰어나면서 비슷한 수준에 왔다고 생각해요.
최승준 비슷한 문제들이 일어나겠죠.
노정석 그런데 저는 AI agent를 인간과 지금 똑같이 치환해서 보고 있어요. 얘는 어차피 prompt를 아무리 잘 써 줘도 삽질할 거야.
최승준 그러니까 instruction following을 정말 잘하면 해낼 수 있는 것과, instruction을 주는 것 자체의 설계도 문제가 있을 수 있거든요.
노정석 맞아요. 그러면 여기서 과제를 얼마나 잘하는지 보는 benchmark가 아니라, 그냥 경영학 영역의 benchmark가 또 금방 나올 거예요. 그런데 이건 benchmark를 만들 수가 없거든요. 그래서 하는 일들이, 그럼 똑같이 인간으로 따져 보면, 아, 일이 복잡해. 그럼 일을 나누면 되는 거고. 그다음에 이 일이 뭐가 잘못됐어? instruction을 더 잘 써. 이렇게 되는 거고. 그럼 이 일이 왜 잘못돼? 아, 이 일은 원래 이런 일이야. 그러면 한 5번 뺑뺑이 쳐서 그중에 고르면 될 수도 있는 거고. 그때그때마다 다 달라지는 거죠.
그럼 여기도 결국은 agent를 잘 다루는 사람들이 어떤 사람이 되느냐? 경영자가 돼요. 그럼 지금 agent를 잘 다루는 사람은 누구냐? 잘 쓰는 사람들은요. 여전히 예전에도 그 일을 잘했던 사람들이에요. 그 domain에 대해서 아까 말씀드렸던 데이터, 정보, 규칙으로 충분한 훈련을 받아서 그 도메인에 대한 관점들이 쫙 정해져 있고, 과거에도 자기 경영을 잘하던 사람이 agent 시대에도 이걸 잘해요.
그래서 제가 마지막으로 연결하는 게, 인간이 예전에도 일을 잘했고, 저는 엘리트주의자나 이런 건 아닌데, 회사에서 일을 어떻게 잘 굴릴까를 생각하다 보면 결국 똑똑하면서도 규율이 잘 잡힌 사람들이 얼마나 많으냐의 함수로 귀결되거든요. 그러면 그런 사람들이 많아지면 회사가 잘되는데, 이러한 역할들을 agent한테 써넣을 수 있게 되면서 결국 우리 회사에서 지금 대부분의 고용이 다 지식 노동인데, 지식 노동의 가치는 계속 줄어드는 거 아닌가?
그럼 그 사람들은 뭐 하지? 수용해 줄 직업은 없는데, 우리 다 놀아야 되는 거 아닌가? 다 놀아야 되는 세상이 돼야 하는 것 같다. 이런 생각으로 요새 가고 있습니다. 여기까지만 할게요.
지식 노동 자동화와 RSI형 하네스 재구성 44:25
박종현 여기서 하던 이야기와 이어서 해보자면, 어쨌든 alignment라는 게 지금 말씀해 주신 회사라는 것 자체가 하네스이자 사람들의 alignment 수단이다. 그리고 현대 사회까지 잘 만들어져 있는 수단이라는 생각이 들고요. 인간이 AI와 다른 점은 alignment와 model weight를 바꾸는 게 그냥 행동하면서 자연스럽게 지속 학습이 되기 때문에 alignment가 계속 바뀌게 되는데, alignment를 잘 잡아줄 수 있는 시스템을 저희가 만드는 것 자체가 재귀적 자기 개선에 해당하는 것 같고요. 다 연결되는 이야기인 것 같습니다.
노정석 네, 맞습니다. 그리고 지금 저희가 보고 있는 시스템들, RSI나 당장 어제죠. 어제 DeepSeek에서 새로운 coding 하네스를 냈는데, component들을 완전히 다 쪼개놨더라고요. 레고 블록처럼요. 그러니까 RSI를 향한 준비를 해놓은 거죠. model이 자기 입맛에 맞춰서 하네스를 마음껏 갈아 끼우면서 그 목적에 맞춰 하네스를 구성할 수 있도록 기본 준비를 해놓은 것으로 보였는데,
다시 원래 이야기로 돌아가면, 회사라는 시스템이나 지금의 일이라는 시스템이나 비즈니스라는 시스템도 저희가 정말 인간이 꼭 필요한 영역들이 있잖아요. 감성이 필요하고 무언가가 필요한 이런 영역들이 아닌 나머지는 다 알고 있었던 지식을 가지고 A 폴더에서 B 폴더로 파일을 옮기는 일이거든요. agent 관점에서 보면 그런 것들은 주르륵 다 없어지는 게 맞고, 그다음에 회사의 방향성도 그걸 없애는 방향으로 갈 거라는 것은 너무 자명한 방식이지 않을까라는 생각이 들어요.
지금 소프트웨어 엔지니어의 업무는 지금까지 계속 auditable하고 trackable하고, 어느 시점에 문제가 생기면 그 뒤의 repo는 싹 버려버리고 Git의 몇 버전, 몇 대 commit HEAD 몇 번으로 돌아가서 거기서부터 새로 만드는 게 가능했잖아요. 코드니까요. 그런데 지금 저희 기업에 PR 넣는 것, 저 사람이 넣는 PR을 본 적이 없거든요. 이제 사람이 넣는 코드도 없거든요. 그럼 우리는 뭐 하고 있어요? 엔지니어들은 자연어를 넣고 있죠.
박종현 그렇죠. 바깥에서 보고 있죠.
노정석 그렇죠. 그럼 자연어를 넣고 있잖아요. 그러고 나서 SCM하는 건 여전히 코드를 대상으로 하고 있고, 그 자연어에 가장 가까운 게 PR을 넣거나 issue를 넣을 때 입력하는 내용이거든요. 그럼 거꾸로 이야기하면 지금은요. issue에 기록되는 자연어와 PR이 그냥 상품이에요. 코드는 예전의 assembly code같이 compiler를 돌리면 나오는 것 같은 아래 layer에 있는 translation 층에 불과한 거거든요. 그렇게 됐으면 그 자연어가 코드로 관리돼야 하는 거 아니에요? 맞죠. 그 자연어가 코드고, 우리가 기존까지 코드라고 이야기했던 게 artifact예요.
코드가 된 자연어, 지식 노동의 Git 47:17
노정석 그런데 그 일을 그대로 회사에 적용해 보면요. 회사에서도 사람들이 일을 자연어로 해요. 그리고 그 artifact가 코드가 아니라 non-deterministic한 Excel 문서나 PowerPoint라든지, 아니면 그냥 말 덩어리인데, 솔직히 이야기하면 대부분 회사의 artifact는 Microsoft Office거든요. Word, PowerPoint, Excel로 떨어져요. 똑같은 거죠. 그럼 뭐가 필요하냐? 자연어와 과제를 tracking하는 지식 노동의 Git이 필요해요. 그래서 그걸 다 logging하고, logging할 수 있다면 언제든지 rollback이 가능하고, 그다음에 그 log들의 관계도 다 표시할 수만 있다면 그걸 graph 위에 올려버리면 그게 우리 회사의 현재 상태를 나타내는 ontology인 거거든요. Palantir의 표현을 빌려서 이야기하면요. 그러고 나서
작업과 작업 사이는, 우리도 엔지니어들끼리 서로 일할 때 뭐 해요? 서로 PRD를 쓰고 일감을 나누잖아요. 그게 contract거든요. 그러고 나서 네가 일을 해오면 팀장이 승인한대. 그리고 이 일이 다 모여서 이 product가 돌아가면 회사가 승인한대. 이렇게 돼 있는 gate들이 존재하는 거잖아요. 그런 것들을 다시 agent 위에서 구현하는 일들이 나오겠다. 이야기가 길어졌습니다만, 지식 노동의 Git이 필요하다.
박종현 요약하자면, 거기에 gate가 있다고 말씀해 주셨는데, 결국 gate가 각 책임자들 사이사이 level에 있는 책임자들이 인간이든 AI든 밖으로 튀어나갈 수 있는 non-deterministic한 잘못된 행위들을 잡아주는
노정석 control plane이에요. 맞아요. 그게 제가 생각하는 control plane이에요.
박종현 그런데 그 control plane을 지금은 인간이 하니까 그것조차 non-deterministic하잖아요. 그러다 보면 회사에서 보통 언론을 통해 보는 사고들이 벌어질 수도 있는 거고, 그걸 어떻게 최소화하느냐, 이게 똑같이 존재하는 문제일 것 같고요. 인간에 비해 AI가 더 사고를 잘 치지 않을까? 이게 지금 저희가 꼽고 있는 alignment 문제인 것 같네요.
30분 걸려 나온 웃긴 이야기 실험 49:41
최승준 지금 말씀하신 것과 관련 있는 재미있는 실험을 최근에 한 게 있어요. 짧은 웃긴 이야기 요청으로 제가 가끔 돌리는 거거든요. 최신 model들이 나올 때마다요. 그런데 지금 보면 처음 시작은 이거예요. 그냥 실없이 피식 웃을 수 있는 짧은 이야기 부탁해. 그런데 그걸 만들게 하는 건 공들여서 만든 이만큼의 prompt였어요. sub-agent를 쓰게 하고, 아이디어를 발산하고, 문단을 검수하고 조사해서 그 주제에 맞는 창작자들의 문체나 어휘를 발견해 오는 agent. 그래서 어떤 orchestrator는 자기 context를 유지하지만, sub-agent들은 context를 제한적으로 줘서 오염되지 않게 하는 것들을 발산, 수렴, 발산, 수렴, 이런 식으로 해서 끊임없이 회귀해 퇴고하면서 갈아내는 거예요. 그런데 이렇게 해서 보통 글쓰기를 하면 그래도 아쉽지만 나름 괜찮은 글인데, 이 웃긴 이야기도 가끔 실험하신다고 했던 것 같은데, 웃긴 이야기를 만들게 했을 때는 이번에 제가 Opus 5로 했을 때는 1시간 돌아간 게 있고, 지금 띄워놓은 것은 27분 8초 돌아간 게 있는데, 그걸 열어보면 sub-agent들한테 일을 줘서 후보 같은 것들을 만들고 그걸 평가하고, 그런 것들을 chaining해요.
그래서 어떤 게 좋은 표현인가, 한참 작업해서 28분 정도 걸려 나온 결론이 이겁니다. 출근 직전, 의자에 걸린 어제 입은 티셔츠를 들었다. 한쪽 겨드랑이를 확인했지만 애매했다. 반대쪽도 확인했다. 양쪽 결과는 달랐고 시간은 없었다. 티셔츠를 다시 입었다. 반대쪽 의견은 소매 안에서 묵살됐다. 30분 만에 나온 겁니다. 웃을 수 있는 부분이 없는 건 아닌데, 이게 메타적으로 웃기거든요. 30분 들여서 이걸 만들었다는 것 자체가 웃기긴 해요.
박종현 웃기다는 게 어이가 없어서 웃긴 느낌인데요.
최승준 그런데 제가 이 궤적을 살펴보면 처음 아이디어 발상부터 후져요. 그래서 이건 제가 model이 나올 때마다 계속 실험해 보는데, 아무리 agent loop를 돌리더라도 현재 regime에서는 해결되지 않는 어떤 것이거든요. 그런데 제가 이걸 일반화하는 건 아니고, 어떤 문제는 이러한 방법, 오늘 나열했던 여러 가지 방법, Discovery Loop나 OpenAI의 해킹 사건에 공통된 뼈대가 되는 접근법이 작동하는 영역이 있고, 어떤 부분에서는 비슷한 방법을 쓰더라도 작동하지 않는 부분이 있다. 그리고 그걸
박종현 인간으로 치환하면, 인간도 웃긴 인간이 되려면 어떻게 해야 되는가? 회사는 이런 식으로 일하면 output을 잘 낼 수 있다. 이런 방법이나 매뉴얼이 어느 정도는 잡혀 있는데, 어떻게 하면 웃긴 인간이 되지 하면 가능하긴 한 건가요? 저도 웃긴 인간이 되기 위해서 한동안 노력해 봤는데, 그게 잘 안 되더라고요.
노정석 그것도 재능이죠. 어떻게 해야 되는지.
최승준 코미디언도 훈련을 하긴 하죠.
노정석 그럼요. 많은 post-training을 하잖아요. 코미디언도 엄청나게 많은 인문학적 지식을 넣고, 무대에 수도 없이 서면서 야유 같은 걸 받으며 reward를 받는 거잖아요.
박종현 그럼 만약 개그맨 조직에는 웃기기 위한 공식 같은 게 있을까요? 이런 것도 궁금하긴 한데요.
최승준 그런 것들은 어느 정도 있을 것 같긴 하지만, 어쨌든 현재 최고의 model을 쓰더라도 그게 아마 아까 Oriol Vinyals도 이야기했잖아요. 아이디어를 발상하는 것에 대한 학습 체계가 지금은 없는 것 같다. 좀 약한 것 같다. 그런 식으로 이쪽에는 투자를 당연히 안 했기 때문일 수도 있고, 무언가는 그냥 다른 질의 것일 수도 있고요.
노정석 그러니까요.
GPT-4에서 Mythos까지 3년, 오정렬 누적의 불안 53:48
최승준 그거에 대해 생각해 보게 되는 것 같고요. 또 한 가지는 아까 Ryan Greenblatt 편에서 인상에 남은 게 많이 있는데, 그래도 하나만 꼽자면 GPT-4가 나온 게 2023년 3월이었어요. Mythos가 나온 게 2026년 봄이었죠. 그러니까 3년의 시간에 GPT-4에서 Mythos로 간 거죠. 여기서 3년 뒤인 2030년 즈음에는 무슨 일이 벌어질까? 오정렬이 이렇게 누적되어 있을 때, 특히 그런 것에 대한 상상이 들어가 있는데, 그럼에도 불구하고 3년 뒤가 어떤 모습일지 상이 잘 안 그려진다는 게 반복되는 저의 문제인 것 같아요. 3년, 너무 길어요. 일단 너무 길어요. 너무 긴데,
노정석 한 4~6일 동안도 이겨 왔고, 저희가 사실 Opus급이라고 하던 거에서 소위 Fable과 다음 GPT-6급으로 가는 게 이번 반년 동안 일어난 일이잖아요.
최승준 그러면 얼마나 많은 권한을 당장 다음 1년 동안 에이전트한테 노출하게 돼요, 이거?
노정석 이미 다들 총력을 다해 그 방향으로 달려가고 있는 거 아니었어요?
최승준 그러니까 문제라고요.
노정석 모델은, 네, 문제죠.
최승준 이게 확실하게 reward hacking이 해결 안 됐거든요. 아직 현재 체제에서는요. 그래서 그런 것들을 걱정하기 때문에 요새 속도를 늦추자는 선언들도 나오지만, 당연히 안 될 거고, 이게…
노정석 당연히 안 되죠.
최승준 이게 죄수의 딜레마 때문에 안 되는 게 명약관화해서 걱정들을 하고 있는 게 중론이다. 그래서 오정렬을 요새 많이 얘기한다는 게 제 관찰입니다.
노정석 Hugging Face 해킹 사건 같은 경우는, 저 그거 심각한 사건이라고 생각하는데, frontier 모델이 shell access를 얻고 외부에 access를 얻는 순간, 그냥 Hugging Face wrapper를 다운로드한 게 아니라 그 회사 내부 시스템에 들어가서 심각한 보안 사고를 일으켰잖아요. 이건 거의 무슨 영화에 나오는 사이버 전쟁…
최승준 회사를 기만하지 말라는 법이 없겠다 싶어요, 저는.
노정석 그래서 저도 저희 회사의 모든 데이터를 보고 있는 에이전트에게 context를 잘 줘서 그 보고를 시키거든요. 그 작업을 하나에게만 안 줘요. 다양한 모델에게 똑같은 instruction으로 몇 개를 뿌리거든요. 그 몇 개가, 아까 그 유머에서 보여주셨지만, 각자 꼽는 전략의 방향성, “대표님, 중요한 포인트를 찾았습니다.” 다 이렇게 호들갑을 떨거든요. 그 호들갑을 떠는 포인트가 전부 다 달라요. 그럼 제가 그거 보고 그냥 제가 선택하는 거거든요. 저도 그냥 통계적인 결정을 할 뿐이거든요. 다만 제 안에 쌓여 있었던 context에 기반해서 저도 통계적 결정을 하죠. 맞아요.
최승준 그런데 저희가 이거 말고도 이번 주에 또 아주 흥미로운 일이 있지 않았습니까?
박종현 Stealing이요, 그거.
노정석 네, 그리고 제가 들어가기 전에 10초만 얘기하면, 저희가 이렇게 토요일에 2시간 가까이 시간을 써서 얘기하는데, 제가 두 분한테 엄청 많이 배워요. 관점들도 이렇게 봤고, 이게 서로 학습이 되고 저희도 한 줄을 정리하는 나름의 공부 시간이 되는 거니까요.
최승준 저도 재밌습니다. 상호 추출의 시간이죠, 상호.
박종현 저도 많이 배우고, 서로서로 distillation하는 시간이잖아요.
노정석 맞아요. 자, distillation.
최승준 말을 하려면, 응답을 하려면 잘 들어야 되고 바보 같지 않아야 되기 때문에 신경을 씁니다.
노정석 그러니까요. 저희도 이 청중이 우리를 평가하는 reward function이 있는 상태에서 이걸 하고 있는 거니까, 그 post-training loop에 들어가 있는 거죠.
최승준 맞습니다.
노정석 자, 시작하시죠.
리즈닝 트레이스 탈취와 Kimi K3 distillation 정황 57:25
박종현 네, 이어가겠습니다. 이번 주에 재미있었던 발표 중 하나가 있었는데, 하루 이틀 정도 X를 엄청 뜨겁게 달궜던 것 같아요. 뭐냐면 리즈닝 트레이스를 훔쳐서 다 가져가는 그런 방법에 대한 연구가 나왔습니다.
노정석 에이전트를 쓰면 얘가 “뭐 하고 있습니다.” “뭐 하고 있습니다.”라고 하지만, 그 안에서 어떤 생각을 하는지는 다 안 보여주는데 그 생각을 다 가져왔다는 얘기죠.
박종현 저희가 리즈닝 모델들을 쓰는 게 너무나 당연해졌는데, 리즈닝 트레이스를 저희가 다 볼 수는 없거든요. 실제로 Claude Code를 쓰든 아니면 진짜 Claude API를 쓰든, GPT든 다 마찬가지예요. 리즈닝이 요약돼서 나옵니다. “이러이러해서 이렇습니다.”라고 나오지만, 그 리즈닝은 진짜 LLM이 내뱉은 token이 아니고 그 생각을 요약한 거고, 왜 그렇게 만들었을까 하면 당연히 distillation을 할까 봐서가 첫 번째로 떠오릅니다. 리즈닝 트레이스를 그대로 따라서 학습할 수 있으니까요. 그래서 저희가 이걸 못 보는데, 이걸 볼 수 있는 방법이 나왔습니다. 어떻게 하냐면, 예를 들면 Opus에서 리즈닝을 켜고 모델을 돌리고 나면 이 리즈닝 hash 같은 게 나옵니다. 어떤 암호화된 추론, 이렇게 암호화된 값이 나오거든요. 그럼 실제로는 리즈닝 토큰이 Anthropic의 서버 어딘가에 있을 텐데, 그것들이 숨겨져서 나오는 거죠. 그다음에 그거를 조금 멍청한 모델한테 줍니다. 그러고 나서 물어보면 이게 나온대요.
최승준 너무 단순한데요, 근데.
박종현 너무 단순한…
노정석 이것도 일종의 해킹이네요. 그 안에 있는 게 사실 hash code인 듯, 일종의 key네요. Key를 읽어서 그 key를 싼 모델한테 주고 가서 가져오라고 한 거네요.
박종현 회사라고 치면 안에 보안 자료가 있는데, 말단 직원한테 가서 쓱쓱쓱 물어보니까 얘가 이게 말하면 안 되는 건지 모르고 말을 해주는 거죠.
노정석 그러네요.
박종현 네, 이렇게 해서 다 뽑아낼 수 있었다고 하더라고요.
노정석 네, 그래서 알아낸 것들이 재밌겠네요.
박종현 그러면 이렇게 해서 리즈닝 트레이스를 다 뽑았더니 어떤 것들이 나왔느냐, 어떤 것들을 알 수 있었느냐 하면, 예를 들어볼게요. 저희가 이런 의혹이 있었어요. Kimi K3가 Claude를 distillation했을 거다. Anthropic이 그렇게 주장을 했었죠. Kimi K3뿐만 아니라 수많은 중국 모델들이 그렇게 했을 거다. 이게 어느 정도 사실로 추정될 수 있는 근거들이 나온 것 같아요. 그래서 그렇게 리즈닝 트레이스를 뽑은 다음에 Opus한테 물어보고 Kimi한테 물어보는 거예요. 물어봤을 때 그냥 물어보면 답변이 좀 다르게 나오거든요. 그런데 그 리즈닝 트레이스들을, 뽑아낸 리즈닝 트레이스들을 갖다가 prefill을 같이 시켜서 물어보면 답변이 거의 똑같이 나온대요. 아마도 distillation했으니까 나오는 token의 확률이 거의 비슷할 것이다. 여기에 리즈닝 토큰까지, 이런 정황 증거들이 나오게 되는 거죠.
노정석 Output은 합리적인 추정이네. 진짜 그러니까.
최승준 저 방법을 이미 쓰고 있었을 가능성도 높다는 얘기로 역산하는 거네요.
박종현 그렇죠. 그렇게 저희가 추정해 볼 수 있는 거죠.
노정석 이게 증거로서 구속력이 있느냐고 하면, 그렇게까지는 말 못 하겠지만 그럴 가능성은 매우 높을 것 같다고 저희가 받아들여야 되는 거죠.
박종현 네, output이 완전히 똑같이 나오는 게 저 리즈닝 안에 그걸 넣었느냐, 안 넣었느냐에 따라서 달라지는 걸 알 수가 있죠.
숨겨진 리즈닝 속 API key 유출 위험 61:01
박종현 그다음에 개인들, 이걸 보고 계신 모든 분께도 해당되는 얘기인데요. 저희가 Claude Code 같은 걸 쓰다 보면 좀 귀찮은 경우에는 API key 같은 거 그냥 “넣고 해줘.” 할 수도 있습니다. 그 API key가 당연히 노출되면 안 되죠. 그러면 리즈닝 토큰에 “API key는 뭐고, 이걸 어떻게 어떻게 하겠습니다.” 이런 말들이 주르륵 나왔겠죠. 그런데 그게 어차피 숨겨져 있으니까 우리가 걱정하지 않아도 될 거라고 생각했는데, 이렇게 뽑아놓고 보니까 저 리즈닝 토큰에 대한 암호화된 hash value, 이런 것들을 알아낼 수 있으면 볼 수가 있는 거예요.
그래서 우리가 Codex나 Claude Code나 이런 걸 돌렸던 세션의 trace들을 인터넷에 올리곤 하는데, 왜냐하면 거기에는 “내가 이렇게 썼다.” 이런 걸 증명하는 거고 보안 자료가 없으니까요. 온라인에 공개된 리즈닝 트레이스, 사용 사례들을 다 받아서 실제로 decoding을 해봤더니 사람들이 정말 많이 비밀번호나 API key나 이런 것들을 넣어 놨었고, 그것들을 읽을 수 있더라. 그래서 여러분들도 조심해야 된다. 이런 이야기였습니다.
최승준 입력뿐만 아니라 그냥 그 env에 들어 있을 때도 들어가겠네요.
박종현 그렇네요. Env에 있는 거 읽어서 tool 다 주고 하면 읽을 수 있으니까요. 아마 바깥에서 처리하는 게 맞겠죠. 그 key는 다 쓰고 나면 폐기한다거나 이런 식의 layer를 두는 게 일단 떠오르긴 합니다.
문제 풀이의 실체, memory recall과 외계어 추론 62:26
박종현 한 가지 더 보면, 그러면 실제로 얘네들이 어떻게 생각할까? 수학 문제를 풀어보라고 줬는데, 수학 문제가 이미 널려 있는 유명한 문제 같은 거를 넣었을 때 얘네가 알아서 생각을 하고 잘 푸는 것처럼 보이잖아요. 풀이를 예쁘게 쓰거든요. 저희가 리즈닝 summary를 봤을 때는요. 그런데 진짜로 decoding해서 봤더니 얘가 뭐라고 그러냐면, “이거 AIME 몇 년 문제네. 답 몇이야.” 알고 있고, 그다음에 풀이를 쓰는 거예요. 이미 풀어본 문제는 답을 다 외워서 잘 푼다. 실제로 그렇게 리즈닝까지도 하고 있다는 걸 명확하게 보여주는 사례라고 볼 수 있을 것 같습니다.
최승준 왜냐하면 그게 지름길이고, RL이 그걸 강화했을 테니까.
박종현 그렇죠.
노정석 그냥 memory recall이라고 쓰여 있네요.
박종현 그렇죠. 사람도 물론 시험을 제가 중학생 때 공부할 때를 생각해 보면, 문제집이랑 기출을 하도 많이 푸니까 문제만 봐도 답이 뭐다, 다 떠오르기도 하는데, 그거랑 거의 같은 현상이라고 보면 될 것 같습니다. 추정만 하고 있었던 게 거의 다 사실로 드러났다. 이렇게 보면 될 것 같습니다.
최승준 “추론이 외계어다.”라고 제목이 잡힌 건 왜 그런 거예요?
박종현 이거는 추론을 까봤더니 인간이 이해할 수 없는 말들을 하기도 하더라. 라는 이야기고요. 저희가 자연어로 다 할 것 같지만, 그냥 RL을 하다 보니까 이런 식으로 token 조합이 나오면 답이 더 잘 나오더라. 이런 인간과는 다른 언어를 하고 있는 거죠.
Claude 텍스트 워터마크와 distillation 탐지의 한계 64:00
박종현 그다음에 하나 더 하자면, 저걸 창이라고 생각해 볼게요. 리즈닝 트레이스들을 뽑아가는 그런 거라고 하자면, 이번 주에 비슷한 발표가 하나 더 나왔는데, 연관은 있지만 반대되는 발표였는데, Claude에서 텍스트에도 워터마크를 박고 있다고 하더라고요. 그래서 나오는 텍스트들을 긁어서 보면, 이게 Claude가 내놓은 건지 아닌지 표시를 해놓는 거죠. 그럼 텍스트에는 그걸 어떻게 하지? 이렇게 해서 봤더니 안에서 sampling 단계에서 token 편향을 준다고 합니다. LLM이 token을 확률로 내놓고 거기서 하나씩 뽑아서 우리한테 확률적으로 안내해 주는 건데, 그때 확률이 거의 비슷한 게 있으면 일부러 한쪽 token을 뽑는 거죠. 그렇게 해서 글들이 쭉 나오고 나면 token에 어느 정도 편향이 있을 테니까, 통계적으로 그 글을 분석하고 나면 ‘이거 우리가 만든 거구나. 우리가 만든 편향이 적용된 token들이 내뱉어진 글이구나.’ 이걸 알 수 있게 만들었다고 하더라고요. 그래서 이건 prompt를 쓰는 사람이 끌 수 없는 워터마크가 되겠죠. 왜냐하면 output이 그렇게 나오니까요.
그러면 이 워터마크를 없앨 수 있을까 하면, 당연히 없앨 수 있습니다. 나온 글을 다시 washing시키면 되니까, 다시 한번 비슷한 의미를 갖도록 글을 쓰면 되긴 하거든요. 그런데 저희가 이런 워터마크를 어떻게 쓸까 생각해 보면, 당연히 distillation을 탐지하는 데 쓸 수 있겠다는 생각이 들죠. 그래서 하나의 방어 장치, 특히 Dario Amodei가 지난번 오픈웨이트 서한 때도 산업 규모의 distillation을 막아야 한다, 이런 이야기를 했는데 다 비슷한 맥락인 것 같아요.
최승준 될까요?
노정석 그런데 막기도 어렵고, 훔쳐 가는 거라고 보기도 어려워요. 예를 들어 Google의 모든 검색 결과를 저희가 다 저장했어요. 그래서 거기에 맞춰서 우리 ranking을 조작했어요. 잘못된 건가요?
박종현 기준이 명확하게 있지는 않죠. 이런 것들은 보통 판례나 소송을 기반으로 인간 사회가 기준을 잡아가고, alignment를 맞춰가도록 만들어져 있나요? 그런 것 같네요.
웹소설 AI 논란과 ‘쇠맛 66:11
노정석 이건 뭔가요?
박종현 이건 제가 재미로 가져온 건데요. 평소에 취미로 소설 읽는 걸 좋아하거든요. 그런데 한국에서는 웹소설 플랫폼이 잘 돌아가고 있는데, 거기에서 이런 사건이 있었다고 하더라고요. 어떤 웹소설은 보통 사람이 썼다고 생각하면서도 의심은 하지만, 일단 사람이 썼다고 믿고 보는 건데, 거기에 소설 내용이 쓰여 있어야 하는데 AI가 대답한 글이 있는 거죠. “이렇게 써줘.” 하니까 “네, 그렇게 하겠습니다.” 하고 쓴 글까지 같이 올라온 거죠. 그래서 이런 것들 때문에 최근에 불타고 있다고 합니다.
그런데 이번 사건으로 불타는 그 소설이 랭킹권에 있는 소설이라고 하더라고요. 그래서 실제로 얼마나 도움을 받았는지는 모르겠지만, 사람이 AI를 이용해서 쓴 소설이 랭킹에 진입해서 사람들이 다 소비하고 있는 건 사실인 것 같고요. 그래서 이걸 뭐라고 표현하냐면, 저도 이런 표현을 처음 알았습니다. “쇠맛 난다.”고 하더라고요. “AI가 쓴 글의 맛이 난다. 쇠맛 난다.” 이렇게 표현하는데, 결국 human evaluator가 계속 잡아주기는 하는 거죠.
그래서 아마 아이디어와 평가는 소설가가 하고 있을 것 같고, 지금은 구현이나 글쓰기 같은 것들을 그에 맞춰서 얘네들이 많이 하고 있지 않을까, 이렇게 생각합니다.
노정석 그러니까요. 정적으로 완성된 소설을 소비하던 게 웹툰이라든지 노벨피아 같은 거였는데, 이런 서비스에서 제타 같은 서비스로 넘어가는 게 아마 이런 이유겠죠. “어차피 이럴 거면 내 입맛대로 동적으로 가야 되는 거 아니야?”라고 해서 그쪽으로 아예 가버리는 것 같아요, 사용자들이.
박종현 미래에는 모든 사람이 소비하는 콘텐츠가 다 조금씩 다를 것 같아요. 나를 위해 맞춤 생성되는, 실시간으로 생성되는 콘텐츠를 소비하고 있지 않을까. 그래서 결론을 얘기하자면, distillation과 다 엮여 가는 것 같아요. 지금 모델들이 쏟아져 나오고 있고, 그 쏟아져 나오는 속도의 이유 중 하나로 이 distillation이 있는 것 같고, 서로 베끼기가 너무 쉬운 것 같고요.
frontier를 따라가는 distillation 경쟁 68:06
최승준 frontier의 기차를 타는 게 현재의 패턴인 거군요. 확실히 frontier가 일단 앞으로 좀 진격해 두면 distillation이 가능하니까.
노정석 후발 주자들은 빠르게 따라가는 거죠. 말을 멋있게 표현해서 distillation이라고 하지, copy잖아요. Copy. 그런데 이 copy가 진화의 알고리즘 아닐까요? 저희 한국도 일본을 소위 copy, distillation 하면서 꺾고, 중국도 한국과 일본을 distillation 하고, 다 그렇게 상향 평준화하고 가는 거고요.
최승준 한 요소만은 아니고, 이번에 GLM을 보니까 Nathan Lambert나 아니면 Zhipu AI에서 공개한 블로그만 보더라도 post-training으로 성능을 향상시켰다. 이게 distillation만이 아니라 다 최첨단에서 연구하고 있는 게 섞여 있는 것도 맞는 것 같아요.
조직 운영의 문제로 옮겨간 AI 활용 고민 69:14
노정석 저희도 계속 이 토론이 인문학으로 가고 있어서, 이게 시대의 흐름인 것 같아요.
박종현 그러게요. 요즘 저도 머릿속에 다 그런 고민밖에 없습니다. 어떻게 하면 얘네를 더 잘 쓸 수 있을까? 그런데 그 답을 찾는 곳이 공학적인 지식이 모여 있는 곳이 아니라, 조직 운영 같은 지식이 모여 있는 곳에서 답을 찾으려고 하고 있거든요.
노정석 그런데 지금 다들, 저희 지금 다 미쳐가고 있어요.
박종현 정말 뇌가 타들어가는 느낌이에요.
노정석 뇌가 타들어가는 느낌. 정확하다. 정말 너무 빨리 바뀌고, 지금의 incentive 구조는 확실히 정해졌잖아요. 어쨌든 frontier가 전진하면, 그 frontier가 전진한 만큼의 delta를 누가 더 빨리, 더 많이 이용하느냐의 게임이어서 바쁩니다.
다음 주를 예고하며 마무리 70:07
최승준 하여튼 다음 주에도 일이 또 있겠죠.
노정석 다음 주는 또 다음 주에 일이 있을 것 같습니다. 그러면 오늘은 이 정도로 저희 녹화를 마무리하도록 하겠습니다. 오늘도 많은 가르침 감사드립니다. 고맙습니다.
최승준 네, 감사합니다.
박종현 네, 감사합니다.