EP 119
코드로 재생하는 AI | Video as Code와 생성형 오독
샌프란시스코 마지막 밤의 녹화와 오프닝 00:00
최승준 녹화하고 있는 오늘은 10월 18일 저녁쯤인데요. 종현님이 샌프란시스코에서의 마지막 밤에 또 녹화를 함께하고 계시는데, 최근에 아주 흥미로운 이벤트를 여셨다고 들었어요. 그리고 요새 일어나고 있는, 코드를 가지고 모션 그래픽이나 영상을, 인터랙션이 가능한 영상을 만드는 실험들을 어떻게 보면 최전선에서 경험하신 것 같은데, 한번 소개해 주실 수 있을까요?
박종현 제가 여기 샌프란시스코에서 지내면서
Video as Code를 주제로 연 샌프란시스코 이벤트 00:26
박종현 이벤트들을 상당히 많이 다녔는데, 그중에서 제가 관심 있는 주제에 대해 이벤트를 호스팅했습니다. 그 이벤트 참가자는 저희가 100명 정도 승인했는데, 실제로는 공간이 그만큼 크지 않아서 한 40명 정도 참가해서 이 주제에 대해 이야기했고요. 저희가 얘기한 주제는 Video as Code. 요즘은 이 용어가 좀 통일되지 않은 것 같아요. Code as Video라고 부르기도 하고, Video as Code라고 부르기도 하는데, 어쨌든 비디오를 만드는 행위인데 비디오 생성 모델을 이용해서, Seedance나 이런 모델들이 유명하죠. 픽셀을 바로 생성하는 그런 모델 말고, LLM이 애니메이션 코드를 짠다거나 Blender 앱을 쓴다거나 이런 것들을 사용해서 비디오를 만드는 방식의 접근에 대해 한번 이야기해 봤습니다. 그래서 이 주제에 대해 샌프란시스코에서도 관심이 상당히 많은 것 같고, 저희가 이 주제로 이벤트를 열기로 했는데, 이게 Luma라는 이벤트 호스팅 서비스에서 ‘Featured in San Francisco’, 그러니까 이 도시의 홈 화면에 뜨는 그런 개념이거든요. 사람들이 이 주제에 대해 관심을 많이 가지고 있더라고요.
공동 호스트 Sina가 코드로 만든 설명 영상 01:51
박종현 이 이벤트는 저 혼자 한 건 아니고, 제가 같이 지내고 있는 터키 출신의 다른 창업자 친구와 같이 이벤트를 호스팅했고요. 이 친구가 너무 잘하고 있어서 친구 작품을 한번 보여드리고 싶어서 먼저 소개해 드리도록 하겠습니다. 이게 하나의 예시인데요. AI로 코드를 만들어서 코드가 생성한 비디오예요. 기본적으로 이 친구는 교육에 관심이 많아서 개념을 설명하는 영상이고요. 영상을 켜 보면. 이런 식으로 개념과 오디오, 음악 이런 게 다 코드로 생성된 거예요. 이건 neural network, 학습을 RL로 어떻게 했다, 이런 내용은 아니고요. 가장 기본적인 neural network를 만들어서 주행을 어떻게 해낼 수 있는가, 어떻게 동작하는가, 이런 AI를 설명해 주는 영상입니다. 이런 설명 영상을 만들었는데, 이 영상은 조회수가 75만 회가 나왔어요. 그리고 다양한 주제에 대해 설명 영상을 만들어서 하나씩 올렸는데, 어떤 건 96만 회도 나오고. 영상이 지금 10개밖에 없거든요. 하루에 하나씩 설명하고 싶은 주제를 정해서 영상을 만들고 올리더라고요. 이 ray tracing을 설명하는 영상부터 조회수가 잘 나오기 시작하면서 10일 동안 영상을 올렸더니 100만 회도 나오고 해서 이렇게 팔로워를 벌써 확보했습니다.
Manim에서 출발한 ManimGX와 교육에 대한 꿈 03:49
박종현 이게 같이 이벤트를 호스팅한 Sina라는 친구가 만든 작업이고요. 이 친구는 이 작업을 상당히 오래전부터 했어요. 한 18개월 전부터 시작했다고 하더라고요.
최승준 18개월이면 오래된 거군요.
박종현 지금 기준에서는 그렇죠. 18개월 전부터, 3Blue1Brown 채널 영상을 아마 많이들 보셨을 텐데, Grant Sanderson도 그 채널의 영상을 만들기 위해서 Manim이라는 라이브러리를 만들고 그 Python 라이브러리를 이용해서 그래픽을 만들어 설명하잖아요. 그걸 좀 더 잘하고 싶어서 ManimGX라는 업그레이드 버전을 자체적으로 만들고 그걸 이용해서 이 영상을 직접 만들고 있는 그런 작품들입니다. 이런 걸 왜 하냐고 물어봤는데, 어려운 개념을 이해하는 게 모든 사람에게 쉽지 않기 때문에 그걸 시각화를 잘해서 쉽게 이해할 수 있게 해주면 모두가 개념을 잘 이해하고 공부하는 걸 좋아하게 되고, 교육이 발전할 거다. 이런 생각을 가지고 작업하고 있더라고요.
최승준 저는 3Blue1Brown 영상을 보면 항상 놀랍고, 볼 때는 뭔가 이해한 것 같지만 실제로는 이해하지 못했다고 느끼는 경우가 꽤 있거든요.
박종현 그 얘기도 했습니다.
박종현 그런 것에 대해서 저도 생각을 물어봤거든요. 진짜로 잘 이해시키는 게 당연히 궁극적인 목적이고, 본인 생각에는 3Blue1Brown이 그 길에 있어서 정말 잘 이해시키려고 최대한 노력한 상태이고요. 그런데 세상에 교육 콘텐츠가 유튜브에도 그렇고 엄청 많이 있는데, 대부분의 영상은 사실 조회수가 목적이기 때문에 볼 때는 안 것 같지만 실제로 깊게 이해하지는 못하는 그런 겉핥기식 영상이 많다고 하더라고요. 그런데 그게 만들기 어렵기 때문이기도 하고, 그런 영상이 나올 수밖에 없는 거죠. 그래서 AI가 그런 것들을 잘 도와줘서 정말 어려운 개념을 더 단순하고 직관적으로 이해할 수 있게 도와줄 수 있다. 이렇게 설명하더라고요.
최승준 분명히 가능성은 있는 것 같긴 한데,
최승준 인터넷 강의가 그러하듯이 영상을 보는 것과 내 머릿속에 들어가는 것 사이에는 약간의 차이가 있는 것 같긴 하다.
박종현 네, 그것도 맞는 말 같습니다. 저도 정말 필요해서 볼 때는 끝까지 이해하려고 두 번, 세 번 보게 되지만, 가볍게 봤을 때는 한 번에 완벽하게 이해되진 않다 보니까. 그래도 도움이 되는 것만은 확실한 것 같아요. 저도 비슷한 일을 하고 있다 보니까 그 자리에서
원본 footage에서 출발한 Kurzgesagt 스타일 실험 06:21
박종현 Sina가 발표 세션을 하나 하고, 저도 발표 세션을 하나 했는데, 저는 비디오를 편집하는 것에서부터 시작했거든요. 앞서 보여준 예시는 정말 바닥에서부터 시작한 거예요. 무에서 유를 만든 영상인데, 저는 원본 footage, 저희가 지금 녹화하고 있는 것처럼 이러한 원본 footage가 있다고 했을 때 거기서 비디오를 어떻게 하면 더 잘 만들 수 있을까? 이런 것에서 시작했고, 저도 비슷한 생성을 한번 시도해 봤는데, 이것도 예시로 보여드리자면. 컴퓨터의 계산 원리에 대한 영상을 저희 공동 창업자가 한번 만들어 보았는데, 유명한 스타일이죠. Kurzgesagt 스타일인데, 이런 영상들을 제가 쭉 봤을 때 꽤 괜찮더라고요. 그래서 이런 영상을 어떻게 만들 수 있었는가, 이런 이야기를 한번 해보려고 합니다. 일단 제가 이런 일들을
부업 유튜버의 편집 부담과 AI가 99% 편집하는 채널 07:41
박종현 왜 시작했는지부터 얘기해 보자면, 보고 계시지만 저희가 유튜버죠. 이 채널도 제가 공동 진행하고 있고, 저는 sudoremove라는 채널에서도 진행하고 있고요. 그다음에 사실 제가 밝히진 않았지만, 이보다 더 오래전부터 운영하고 있는 채널이 하나 더 있습니다. 이런 채널들을 운영하고 있는데, 다 제 본업은 아니고 부업으로 하고 있어요. 저희도 주말에 시간을 내서 촬영하고 있는데요. 일단 제 채널의 경우에는 처음에는 편집을 다 직접 했었기 때문에, 편집이 생각보다 시간이 엄청 오래 걸립니다. 녹화한 영상이 그렇게 완벽하진 않아요. 저희 sudoremove 채널은 라이브도 하게 되는데, 라이브 영상이 완벽하진 않거든요. 그래서 편집하면 당연히 더 좋은 콘텐츠로 만들 수가 있습니다. 설명도 더 잘하고, 실수했던 것도 보완하고, 추가 설명 영상을 덧붙일 수도 있고, 추가 자료를 올릴 수도 있고요. 그런데 한 에피소드당 최소 20시간 이상 들더라고요. 직접 해보면요. 사람마다 편차는 있을 것 같아요. 그래서 첫 번째 시작은 AI가 내 편집을 대신 해줄 수 있지 않을까? 이런 생각을 가지고 시작한 프로젝트고요. 실제로 그 작업을 몇 달 동안 해서 sudoremove 채널은 지금 AI가 다 편집해서 올리고 있습니다. 그렇게 올리기 시작한 지가 지금 두세 달 됐거든요. 처음에는 반반 섞어서 올리다가
박종현 조회수가 비슷하게 나오고, 직접 알고 계신 구독자분들한테도 물어봤을 때 “그거 AI가 한 줄 몰랐다. 품질이 괜찮은 것 같다.” 이렇게 많이 얘기해 주셔서 지금은 99% AI로 편집돼서 올라가고 있거든요. 그러고 나서 실제로 조회수도 많이 나왔어요. AI가 편집했기 때문에 조회수가 더 잘 나온 건 아니고요. AI가 편집했기 때문에 영상을 더 많이 올릴 수 있어서 총 조회수는 더 많이 나오게 되었는데, 어쨌든 저희 생각에는 전이랑 비슷합니다. 사람이 편집한 것과요.
최승준 저 빨간색 화살표가 그 기점인가 보네요.
박종현 네, 저 때쯤부터 저희가 이걸 적용하기 시작했어요.
박종현 실험적으로 적용하기 시작했다는 거고요. 그래서 이걸 가지고 실험을 조금 더 해봤습니다.
운동선수 인플루언서 팬 채널로 비교한 AI 편집 성과 10:02
박종현 사람 편집자와 비교했을 때 AI가 더 잘할까? 시청자들이 만족하는 영상을 만들 수 있을까? 그렇게 해서 제가 알고 있는 다른 인플루언서분의 채널에서, 한 만 명 정도 되는 채널인데, 그분도 라이브를 하세요. 그러면 편집본을 올리시는데, 허락을 받고 그 라이브 소스를 가지고 저희도 편집해서 팬 채널을 한번 운영해 보겠다고 했어요. 더 많이 퍼지니까 좋을 것 같다고 말씀드려 허락을 받고, AI가 편집한 영상을 올려봤어요. 그랬는데 조회수가 더 잘 나오더라고요.
최승준 그래요?
최승준 그래요?
박종현 네, 이건 사실 명확한 이유가 있어요. 왜냐하면 이분이 원래 영상 제작자가 아니세요. 저희도 당연히 원래 영상 제작자가 아니라서 저희 채널도 제가 편집한 영상은 전문 제작자가 만든 영상에 비해서 당연히 편집 기술이 훨씬 부족하거든요. 이분도 본업이 있으시고, 본업은 사실 운동선수세요. 운동선수분이 부업으로 이런 걸 편집해서 올리시다 보니까 전문 제작자가 아니셔서 당연히 그럴 수 있는데, 어쨌든 AI가 편집한 걸 새 채널을 만들어서 구독자가 0명인 상태로 올렸는데도 조회수가 더 잘 나오더라고요. 이런 걸 보니까 확실히 AI가 비전문 편집자보다는 잘하는 상태가 된 것 같다.
최승준 탁월하진 않지만,
최승준 평균 정도 또는 그 이상도 할 수 있을 수도 있겠다는 거네요.
박종현 그래서 어떻게 됐냐면, 그분께서 영상이 너무 좋다며
박종현 우리 메인 채널에 올려달라고 하셔서 거기에 올려드리고 있습니다. 그랬더니 조회수가 눈에 띄게 올랐어요. 물론 아직 표본이 그렇게 많지 않기 때문에 편집을 잘해서 조회수가 확 올랐다고 단정 지을 수는 없습니다. 그렇지만 어쨌든 이런 정도의 긍정적인 결과를 보고 있다. 편집이라는 분야에서도 AI가 꽤 잘하고 있다. 이렇게 볼 수 있을 것 같아요.
SudoCut 출시와 쇼츠 클리핑, 영어 자동 더빙 12:11
박종현 그래서 저는 SudoCut이라는 서비스를 만들어서 출시해 많은 분들이 쓰실 수 있게 공개했고요. 그럼 편집 다음에 뭘 해야 될까? 그다음에 시작한 게 클리핑이에요. 쇼츠 만들기. 클리핑이라고 하면, 이건 제가 최근에 저희가 한 라이브 한 2시간, 3시간 이렇게 라이브를 했거든요. 편집을 하면 1시간, 2시간 되는 이 라이브 영상이 롱폼 편집본 영상으로 나옵니다. 거기서 하이라이트 부분들, 사람들이 좋아할 만한 부분들을 탁 잘라서 클리핑해서 쇼츠로 만들어주는 거예요. 왜냐하면 요즘에는 이런 콘텐츠들을 많은 분들이 워낙 좋아하시다 보니까, 짧게 짧게. 어쨌든 좋은 순간들을 잘라낸 영상들, 이런 것들을 쭉 뽑아내서 올리기도 하고 있었고요. 그래서 처음에는 어떻게 됐냐면, 그냥 구간만 잘 뽑아내는 거예요. 그래서 아무런 꾸밈이 없습니다. 사람들이 궁금해할 법한 내용들을 이야기하게 되고 그다음에는 모션 그래픽에 도전하게 되죠. 여기서부터 지금 주제인 Video as Code, 그러니까 LLM이 모션 그래픽을 만들기 위한 코드를 만들어서 이 클립된 쇼츠의 내용에 어울리는 그래픽을 만들게 되는 거예요. 참고로 이거는 영어로 더빙까지 한 콘텐츠인데, 한번 들어보면.
최승준 느낌이 많이 다른데요. 종현님 목소리랑.
최승준 느낌이 많이 다른데요. 종현님 목소리랑.
박종현 저 목소리는 원래 저희가 한국어 라이브를 했기 때문에 영어로 자동 더빙을 한 거라서 좀 어울리진 않습니다. 근데 한국어 버전으로 할 수도 있겠죠. 원래 소리에 맞게. 그래서 이렇게 어쨌든 내용에 맞는 어울리는 모션 그래픽 만들기. 이거를 제가 한 2주 전부터 시도해 보고 있었고요.
Opus 5.5가 불붙인 Video as Code와 도구 비교 14:16
박종현 결정적인 계기는 언제 시작했냐면, Opus 5.5. 이게 너무나 잘 된다는 걸 모두가 알았잖아요.
최승준 그렇죠.
최승준 그렇죠.
박종현 그래서 이 Video as Code 혹은 Code as Video, 이 컨셉이라는 게 Opus 5.5부터 딱 떠오르기 시작했는데 제가 그래서 이거를 테스트해 봤죠. Opus 5.5의 medium, xhigh, GPT-6.1 Sol, GPT-6 Astra 이렇게 다 해서 한번 모션 그래픽을 비교해 봤어요. 다 똑같이 시킨 다음에. 이런 식으로 모션 그래픽이 나오게 되는데, Opus 5.5가 진짜 잘합니다. 근데 GPT-6도 잘해요. 그러니까 요즘 모델들은 이런 거를 다 나쁘지 않게 한다. 이런 결론에 도달했고, 그다음에 실험을 하나 더 했는데. 결국 LLM한테 우리가 도구를 쥐여줘야 되잖아요. 그래서 이 도구를 몇 가지 쥐여줘 봤습니다. ManimGX, 이게 아까 저희 같이 지냈던 Sina라는 친구가 만든 Manim을 업그레이드한 라이브러리예요. 그래서 이거는 Manim이랑 완전히 일대일로 compatible하기 때문에 Manim을 줬다고 보면 될 것 같고요. Manim 주고 Python으로 모션 그래픽 만들어봐라. 그다음에 아무것도 안 주고 그냥 네가 알아서 해봐라. 그다음에 이런 프로젝트들이 지금 꽤 있거든요. 이미 GitHub에. Remotion이나 HyperFrames라고 해서 어떤 라이브러리들이 있습니다. 이런 그래픽들을 만들기 위한. 그래서 이런 것들을 하나씩 다 줘보고, 이걸 써서 만들어봐라 했을 때도 이렇게 영상들이 다 각자 다양한 그래픽으로 나오게 되는데, 좀 달라요, 다르기는.
박종현 그런데 뭐가 정말 좋은 거냐 하면 좀 고르기가 어렵습니다. 제가 큐레이션을 그렇게 잘하지는 못하겠더라고요. 근데 어쨌든 중요한 거는 어떤 도구를 쥐여주든지 간에 준수하게 한다. 심지어 도구가 아무것도 없이 vanilla로 이 모션 그래픽 코드를 짜서 그림을 그려도 나쁘지 않다. 이런 결론에 도달하게 되었고요. 그다음 맨 처음에 보여드렸던
유료 강의를 학습한 Codex의 Kurzgesagt 스타일 애니메이션 16:40
박종현 그걸 어떻게 하면 더 잘 만들 수 있을까? 이런 고민을 하다가 Kurzgesagt 스타일, 그 애니메이션을 그럼 어떻게 만들었을까 하면 진짜 간단합니다. 저런 걸 원래 어떻게 만드는지에 대한 유료 강의가 있더라고요. 그래서 저희 공동 창업자 친구가 이걸 구매해서 Codex를 연 다음에 그냥 그거를 보라고 그랬어요. 강의 열심히 한번 봐봐. 그러고 어떻게 모션 그래픽 만드는지 잘 공부해 봐. 그러고 만든 거예요. 그다음에 영상을 만들어봐, 하면서 물론 반복 작업을 좀 했습니다. 이렇게 해봐라, 저렇게 해봐라. 이게 좀 별로인 것 같으니까 어떻게 해봐라. 이런 걸 하다 보니까 이런 수준의 이게 버전 3, 버전 4 이렇게 바꿔가면서 올라가고 있는, 이런 수준의 영상이 나오더라고요. 그래서 정말 잘한다. 그래서 설명 영상. 네.
최승준 Craft Pass라고 쓰여 있는 부분이 뭐죠?
박종현 이거는 개발 과정에서 저희가 넣은 별칭이고요. 이건 제가 직접 한 게 아니라서 어떻게 한 건지 모르겠네요. 무언가 마음에 안 드는 과정을 하나 고쳤는데 그걸 그냥 Craft Pass라고 별칭을 붙여준 것 같아요.
최승준 근데 그거를 사람이 평가한 게 아닐 수도 있는 거죠?
최승준 근데 그거를 사람이 평가한 게 아닐 수도 있는 거죠?
박종현 이건 사람이 한 거긴 합니다. 그래서 이 자리를 빌려 저희 공동 창업자인 지호님한테 감사의 말씀 전하고요. 너무 잘 만들어주셨어요. 양지호님입니다.
최승준 잘 만들었네요.
박종현 그래서 언뜻 보기에 영상이 괜찮거든요.
그럴듯한 영상은 slop인가 좋은 콘텐츠인가 18:21
박종현 쓱 봐보면. 그럼 다음 질문은, 그래도 그럴듯한 게 나왔는데 이게 slop이 아니고 진짜로 좋은 콘텐츠냐, 이거에 대해서 좀 의문이 들어요. 왜냐하면 그게 진짜 어려운 문제거든요. 맨 처음에 Claude Code 딱 나오고 frontend 너무 잘 만들어지고 이럴 때도 우리가 와, 진짜 잘 만든다 이렇게 생각했지만 우리가 그때 작품들을 보면, 그런 웹페이지들을 보면 slop이다, 이렇게 얘기를 많이 하잖아요. 그러니까 그때 AI가 딱 웹페이지를 잘 만들기 시작했을 때 만들어진 그 웹페이지는 우리가 지금 기준으로 봤을 때는 엄청 좋은 페이지라고 생각하진 않아요. 그냥 안 되던 게 돼서 신기했을 뿐이지. 지금 이 영상 쪽도 그런 단계이지 않을까? 그래서 이게 정말 좋은 콘텐츠인가? 이런 질문을 똑같이 한번 해보게 되는 거죠. 그래서 이 질문에 답하기 위해서 제가 어떤 걸 해봤냐면,
여러 카테고리 채널로 검증한 시청자 반응 19:13
박종현 유튜브 채널들을 쭉 만들어서 한번 제가 생각하기에 괜찮은 영상들을 올려봤어요. 그래서 일단 제가 다양한 카테고리의 채널들을 만들어봤거든요. Vtuber, 정치, 팟캐스트, 스포츠, 테크 리뷰 이렇게 영상들. 이건 그냥 예시일 뿐이고요. 실제로 제가 이렇게 한 건 아니고. 이런 느낌으로 다양한 카테고리의 영상들을 가지고 편집해서 저작권이나 이런 문제가 없게 허락을 받고, 아니면 원래 허락이 있는 영상들, 제 거 마음껏 쓰세요, 이런 영상들이 있거든요. 그런 영상들을 가지고 편집해서 한번 올려봤습니다. 그래서 모션 그래픽도 추가해서 이렇게 잘 만들어서 올려봤어요. 만약에 진짜로 시청자들이 이 영상을 보고 좋아하고 선플도 달리고 좋아요도 많이 달리면 좋은 영상이죠. 그럴 거다. 결국 판단은 시청자들이 하는 거다. 이렇게 가정하고 그거를 확인하고 싶어서 올려봤는데, 놀랍게도 한 20% 정도의 카테고리의 영상들은 사람들이 정말로 좋아해 주더라고요. 그래서 저희가 이 실험을 시작한 지 한 달 정도 됐거든요. 그래서 한 달 전에 초기에 딱 올렸던 영상들은 당연히 조금 품질이 모자란데 저희도 이걸 계속 개선하면서 영상을 올리다 보니까 그래서일 수도 있고요. 어떠한 이유로든 점점 조회수가 나오고 구독자가 늘고 댓글도 많이 달리고 그러더라고요. 근데 놀라운 거는 제가 댓글을 이미 1,000개 이상 받았거든요.
박종현 이 모든 채널과 영상들에서. 근데 제가 세보진 않았는데 몇천 개일 것 같아요. 아마도. 아무튼 볼 수 있는 만큼 쭉 다 봐봤는데 “이거 AI로 한 건가요?”라는 댓글은 없었어요. 그러니까 감지는 안 되는 수준에 온 것 같고요. 그게 정말 좋은 콘텐츠냐 하면, 어떤 건 좋은 콘텐츠였고 어떤 건 좋은 콘텐츠가 아니었어요. 그래서 이거는 앞으로 제가 좀 더 풀어나가야 할 숙제인 것 같고. 어쨌든 AI가 편집이든 모션 그래픽이든 어떤 B-roll이든, 어떤 추가 설명이나 자료를 넣어주든 어떤 방면으로든 좋은 콘텐츠를 만드는 데 기여하는 것은 맞는 것 같고 앞으로도 더 그렇게 될 거라는 게 지금의 결론입니다. 그래서 저는 이걸 계속할 거고요. 어쨌든 지금도 저희가 유튜브를 찍고 있지만 결국 좋은 콘텐츠를 만들어서 시청자분들한테 내보내는 게 지금 당장의 목표이기 때문에 그걸 위해서 AI를 잘 써서 좋은 콘텐츠를 만들어보겠다. 이게 제 목표입니다. 그래서 저랑 같이 한번 이런 프로젝트들을 해보실 크리에이터분들을 모집하고 있거든요. 그래서 나는 이러한 이야기, 가치 있는 이야기를 가지고 있는데 편집이 장벽이어서 이런 걸 못하고 있으신 분들이 분명히 많이 계실 거예요. 그래서 그런 분들을 도와드려서 같이 좋은 콘텐츠를 만들어보면, 어떻게 하면 AI를 더 잘 쓸 수 있고 어떻게 하면 많은 분들이 자기가 가진 가치 있는 지식이나 인사이트나 이야기들을 잘 내보일 수 있을까.
박종현 도움 필요하신 분들은 저한테 연락을 주시면 좋을 것 같습니다.
최승준 그러면 현지에서 이거를 발표하셨을 때 반응은 어땠나요?
현지 반응과 카테고리마다 달라지는 편집 기준 22:41
박종현 현지에서는 대부분 뭘 궁금해했냐면요.
박종현 첫 번째는 제가 이 안의 기술적인 내용들을 설명하진 않았거든요. 이거를 진짜로 어떻게 잘 만들었는지, 그 과정들을. 그거를 정말 궁금해들 하셨고요. 기본적으로는 제 편집 스타일을 따라 하도록 AI를 가르치는 방식으로 만들었습니다. 그래서 그거는 모델을 fine-tuning하거나. 아무래도 샌프란시스코에서 열었다 보니까 그런 것들에 관심이 많으셨던 것 같고.
최승준 근데 fine-tuning도 하셨어요?
박종현 모델 fine-tuning은 안 했습니다.
박종현 fine-tuning을 해야만 더 좋아지겠다는 생각이 명확하게 든 지점들이 있긴 있어요. 그래서 아마도 할 수도 있을
최승준 같아요. 그렇군요.
박종현 그러고 사람들이 어떤 걸 궁금해했냐면 제가 일부러 다양한 카테고리의 영상들을 실험해 봤거든요. 왜냐하면 지금 저희 AI 프론티어 채널도 AI에 대한 내용을 말하는 팟캐스트고 제가 따로 운영하고 있는 sudoremove 채널도 비슷한 경향의 채널이다 보니까 다른 종류의 채널은 완전히 좀 다를 거라고 생각했어요. 사람들이 그 콘텐츠를 보는 이유도 다를 거고. 그러면 그 시청자들을 만족시키기 위한 편집 방식, 예를 들어서 예능이다, 그러면 편집 방식이 완전히 달라져야겠죠. 그런 생각을 했는데 다들 그런 걸 궁금해하더라고요. 아니, 그거 당연히 다 다를 텐데. 어떤 공통 기준 같은 게 찾아지더냐? 이런 것들을 많이 궁금해하셨던 것 같고. 그거는 정답이 당연히 카테고리마다 달라져야 된다. 모션 그래픽의 스타일도 달라져야 될 것 같고. 그게 제가 지금까지 찾은 거고. 그거는 시간을 더 들여서 제가 다양한 시도를 하면서 이런 카테고리에서는 이렇게 하는 게 좋은 콘텐츠다, 이런 것들을 찾아내고 AI가 그렇게 할 수 있게 만들어주고 더 좋은 콘텐츠를 발행할 수 있는 게 아마 미래의 작업이 될 것 같습니다.
콘텐츠의 진짜 가치인 원본 스토리텔링 24:38
최승준 그래도 완전히 자동으로 생성하는 게 아니라 기본적으로 창작한 내용이 바탕이 돼서 클립을 만들든 편집을 하든 그런 방향성을 추구하고 계신 거네요.
박종현 그래서 이거는 제 개인적인 의견이자 이 작업의 시작이 되는 가설이에요. 지금 저희가 녹화를 하고 있잖아요. 실제로 녹화된 이 원본 영상이 편집이 돼서 혹은 모션 그래픽을 추가하거나 설명 영상들을 만들어서 더 추가한다 한들 시청자분들은 다른 걸 보고 계실 거예요. 왜냐하면 이 원본 영상을 저희가 발행하진 않으니까요. 그런데 편집본을 볼 때, 편집된 영상에서 이 영상을 왜 보냐 하면 가장 큰 가치는 사실 이 원본 영상에 다 있다. 결국 이걸 좀 보강해서 조금 더 좋게 만들어주는 게 편집이고 모션 그래픽이고 설명 영상이 첨부되는 거지. 시청자분들이 이 영상을 보는 이유는 아마 저나 승준님이나 오늘은 바쁘셔서 못 오셨지만 정석님이 하는 이야기와 생각들, 혹은 저희가 전달하는 정보들, 이런 것들을 원해서 보는 거다. 그게 가장 큰 가치이다. 그래서 정말 0에서부터 AI로 생성해서 만드는 콘텐츠보다는 원래 실제 사람이 말하고 있는 원본 스토리텔링, 그걸 좀 더 좋게 만들어주는 거. 여기에 저는 집중하고 있습니다.
최승준 중요한 부분인 것 같아요. 지금 갈라지는 시점들이 좀 있어 보이는데 어디에 가치를 두고 또는 베팅을 하느냐, 그런 데서 방향이 달라지는 시절인 것 같아요.
박종현 물론 이런 원본 영상이 없어도
박종현 좋은 콘텐츠를 아까 Sina 친구가 만든 것처럼 만들 수 있을 것 같아요. 저는 그게 더 어려운 길이라고 생각해서요.
최승준 인간인 이상 인간적인 매력에 영향을 받는 건
최승준 어쩔 수 없어 보이긴 하지만 또 그걸 섣불리 단정하지 못하는 시절인 것 같아서요. 어쨌든 재밌게 잘 봤습니다. 준비도 많이 하시고요.
발표 덱 디자인으로 본 Claude와 GPT의 스타일 차이 26:49
최승준 그런데 제 추측으로는 이 덱의 디자인은 Claude인가요? 지금 발표 자료요.
박종현 이 덱은 아니요. 이 덱은 GPT-6.1 Sol로 만든 겁니다. 그런데 좀 섞여 있어요. 이게 무에서 그냥 탁 나온 덱이 아니라 제가 이미 디자인 문서, 무드보드, 여러 가지 디자인 시스템을 다 만들어놨거든요. 그런데 그걸 과거에 만들 때는 아마 Claude랑 했을 것 같은데요.
최승준 그러면 그게 계승됐을 수 있어요.
최승준 그러면 그게 계승됐을 수 있어요.
박종현 여러 모델을 섞어가면서 제가 마음에 들 때까지 한 거라서 아마 섞여 있을 것 같습니다.
최승준 제가 Claude로 추정했던 것은 GPT 기본 디자인에서의 행간은 조금 더 좁거든요. 그리고 크림색을 좋아하는 게 Claude의 특성인 것 같은데요.
백남준을 기억하는 집에서 선보인 퍼포먼스 ‘생성형 오독’ 27:39
최승준 자, 그러면 여기서 제가 한번 이어가 볼게요. 그래서 오늘은 종현님의 비디오 편집에서 시작해서 저도 창작에 관련된 것들을 조금 준비해 봤는데요. 일단 어제 퍼포먼스를 오랜만에 지인 작가분들하고 해봤습니다. 그 지인 작가분들 중에 PROTOROOM이라고 후니다 킴, 김승범 두 분 작가님이 같이 하시는 게 있고, 저랑 신승백 작가님이라는 분하고 10여 년 동안 만남을 이어오고 있어서 올해 초에도 ‘Uneven Futures’라는 화두로 모였었는데, 이번에 ‘백남준을 기억하는 집’이라고 동묘에 있는 공간에서 원래 전시가 진행 중이고 가끔 퍼포먼스를 하시기도 하는데 저도 초청 작가로 같이 했던 작업이 방금 화면에 띄워놨던 ‘생성형 오독’이라는 작업이에요. 그래서 아까 그 영상을 잠깐 보면. 소리. 여기 보면 아까 그 bytebeat라는 shift 연산자와 숫자가 있는 코드를 가지고 연주하는데, 장치를 실제로 만들어서 그걸 공연 형식으로 하시기도 하고 전시도 하고 있어요. 그래서 제가 맡았던 부분은
Viznut의 bytebeat 코드와 진화 알고리즘으로 탐색하는 소리 28:59
최승준 여기 보이는 코드를 가지고 원래 하시던 작업을 다르게 읽어, 오독하는 거예요. 요새 이슈가 되는 게 misalignment가 있잖아요. 오정렬. 그리고 마법에서는 misdirection이라는 표현이 있고요. 이거는 굳이 영어로 번역하면 misreading이 될 것 같은데, 생성형으로 잘못 읽는 건 과연 뭘까, 그런 질문을 던져보는 작업을 했습니다. 기본적으로 여기 보이는 t 곱하기 8에 OR 표시하고 t를 오른쪽으로 8비트 shift한 게 사실 Viznut이라는 사람이 발견한 코드인데, 여기서 t는 시간이거든요. 시간에 따라 계산한 값을 음악으로 바꾸면, 소리로 바꾸면 음악처럼 들린다는 거예요. 이 부분은 제가 한번 다듬은 거예요. 원래는 사람에 따라 훨씬 더 듣기 힘든 소리거든요. 지금 이 부분은 코드들을 진화 알고리즘으로 다양한 조합을 탐색하는 거예요. 그중에 하나를 들어보면, 소리가 좀 시끄러울 수 있습니다. 이렇게 pulse가 있죠. 이런 게 조금 낮은 음이면 드럼처럼 울릴 수도 있고, 다양한 소리의 공간을 탐색할 수 있어요. 그래서 저는 이 부분에서 두 분의 작업을 잘 읽어보려고 시작했는데, 아까 보면 여기 n1이나 n2 같은 상수가 들어갈 수 있는 부분이 있는데 그걸 자동으로 탐색하는 거예요. 여기 누르면 그 소리가 나오고 저기 누르면 저 소리가 나오는 걸 빠르게 해볼 수 있게 작업했어요. 여기까지는 그냥 잘 읽어보는 건데,
최승준 사실 이 bytebeat 코드 자체가 원래 소리를 내려고 만든 게 아닌데 음악처럼 들릴 수 있는 부분이 있다는 게 발견된 것처럼, 코드를 잘못 읽어서 된 거잖아요. 그래서 이게 계속 잘못 읽는 것과 관련된 이야기입니다.
박종현 y는 t 어쩌고저쩌고 하는 저 공식에 해당하는 사인파처럼,
박종현 사인파는 아니겠죠, shift니까요. 그 파형을 만들어서 그냥 재생한 거죠?
최승준 그렇죠.
최승준 기본적으로는 그런 것들을 바꿔서 할 수 있어요. 작가님들이 연주하셨던 샘플들이 있어요. 거기에서 한 12개의 샘플을 제가 받았는데, 3번이 좀 재밌었던 것 같아요. 3번도 재밌고 9번도 좀 재밌었던 것 같고요. 이런 걸 하나만 연주하는 게 아니라 여러 채널로 하면 다양한 악기가 나오는 것처럼 들릴 수 있거든요. 지금 이거는 UMAP을 돌려서 제가 따로 코딩하지 않았습니다. latent를 좀 살펴본 거였고, 여기까지는 잘 읽어본 거였는데
소리를 이미지와 이모지로 다시 읽는 오독 32:03
최승준 그다음 제 시도는 아까 같은 3번을 봤을 때 그걸 이미지로 보는 거예요. 잠깐 들어볼게요. 이런 식으로 신기한 이미지가 나오게 되는 건데, 원래 코드였던 걸 소리로 바꾸고 그걸 지금 이미지로 바꿨잖아요. 그런데 코딩을 오랫동안 하다 보면 이름이 임의적이라는 걸 알게 되잖아요. 기호학에서도 그렇고, 기표와 기의처럼 제가 최승준이라고 불리는 건 저의 원자 구조를 대표하는 게 아니라 임의적인 관계잖아요. 그렇죠. 변수도 그렇고요. 그래서 이름을 다룰 수 있는 게 프로그래밍에서는 굉장히 중요하고, 이름을 붙이니까 그걸 조절할 수 있게 돼서 마법사같이, 실제로 Ursula Le Guin이라는 사람이 『어스시 연대기』라는 훌륭한 환상 소설을 쓰신 분인데, 거기에서도 이름을 알면 개입할 수 있다, 명령할 수 있다는 얘기들이 나와요. 그래서 이름을 알면 사실 코드로 뭔가를 조작할 수 있게 되고요. 그런데 그게 실제로 물리 세계의 빛이나 모터 같은 걸로 작동하게 되니까 현상에 개입하는 언어라는 심상이 저한텐 있었는데, 그걸 원래 의도하지 않은 방식으로 읽어보는 작업을 했던 거죠. 그래서 조금 전에 보여드린 것들도 잠깐 재생해 볼게요. 지금 여기에 나와 있는 부분이 곰으로 읽힌 건데, 이거는 회귀를 돌려서 이 부분의 픽셀이랑 비슷한 이모지를 찾은 거예요. 사실 관계는 전혀 없는데, 우리가 구름을 볼 때 구름 안에서 얼굴을 보는 것처럼 pareidolia 같은 개념이 있는데, 그런 식으로 억지로 읽어보게 한 거였죠.
최승준 그런데 억지로 읽어보게 하니까 그다음에는 곰이라는 의미가 생기고 여기에는 별똥별이라는 의미가 생기는 거잖아요. 여기 나와 있는 건 이 구조를 일종의 수학적인 매듭으로 표현하고 그 궤적을 또 생성해 본 건데, 이것도 그냥 임의적인 거죠. 그래서 어떻게 읽어볼까 하는 거였습니다.
박종현 어쨌든 소리를 코드로 디자인하고
박종현 나온 소리를 이미지로 표현한 다음에 그 이미지를 비슷한 것끼리 매칭해서 이모지로 만들고 별칭을 붙이듯이, 결국 이모지가 별칭이 된 거네요.
최승준 그렇죠. 원래는 그런 이름이 전혀 없었는데, 이모지에는 사물의 이름만이 아니라 개념의 이름도 있잖아요. 그런 것으로 이번에는 또다시 억지로 읽어보는 거죠. 잘못 읽어보려는 시도를 계속해서, 제 의도는 처음의 bytebeat 코드로부터 얼마나 멀리까지 갈 수 있느냐였어요.
박종현 그러면 하나만 질문드리자면, 그 코드로 소리를 만드셨는데 그건 여러 작가분들이
코드만 보고 소리를 예측할 수 있는가와 verifiability 문제 35:14
박종현 디자인하신 거잖아요. 저 말고도 아마 모든 분이 비슷하게 생각할 텐데, 저 코드를 보고 어떤 소리가 날지 전혀 예상이 안 되잖아요.
최승준 많이 하면 됩니다.
최승준 많이 해보면 되는데, 보통 처음에는 알 수 없죠. 그리고 전체를 완벽하게 예측하기는 어려워요. t가 예를 들어 만 정도 됐을 때 어떤 값이 될지까지 예상하긴 어렵죠. 실제로 그건 계산해 봐야 아는 건데, 대강 어떤 느낌일까 하는 직관은 생길 수 있긴 해요. 많이 해보면요.
박종현 그러면 저 작가분들이 저 수식을 디자인하실 때
박종현 느낌을 가지고 수식을 디자인해서 들어본 다음에 좀 별로면 수식을 바꿔서 다시 들어보고, 이런 식으로 하는 건가요?
최승준 네. 그걸 tinkering할 수 있는 인터페이스가
최승준 A, B 같은 슬라이더로 실제 하드웨어에 있거든요. 그런데 그건 상수를 바꾸는 거고요. 코드의 구조를 바꾸는 건 여러 번 시행착오를 거쳐야죠. 그런데 제가 아까 한 것처럼 진화 알고리즘을 쓰면 가능성의 공간 자체에서 연산자들이 어떤 식으로 조합될지를 미리 탐색시키는 건 가능하지만, 제가 해봤을 때는 사람이 고생해서 만든 것보다 품질이 훨씬 안 좋긴 했어요.
박종현 결국 이것도 verifiable하냐의 문제로,
박종현 그런 궁금증이 계속 떠오르는데요. 진화 알고리즘도 그렇고요. 소리를 듣고 이게 괜찮은지 아닌지 판단하는 건 결국 지금 사람이 개입해서 하고 있는 거잖아요.
최승준 그렇죠. 사실 이 실험 말고
최승준 다른 실험에서는 Opus나 이런 모델들이 작곡을 할 수 있는지 궁금해서 들을 수 있는지를 알아보려고 했어요. 그런데 ChatGPT도 그렇고 Opus도 그렇고 자기들이 얘기할 때는 우리는 아직 들을 수는 없다. 하지만 spectrogram을 그려서 이미지를 보는 건 가능하다. spectrogram이 소리의 형상을 주파수 분석만이 아니라 다른 식으로도 보여줄 수 있거든요. FFT가 아닌 spectrogram으로 그려서, 예를 들면 어떤 악기를 모사할 때 그거에 대한 회귀 같은 거나 최적화를 하는 건 또 가능하거든요. 그래서 좋은 음악의 어떤 느낌이 있고, 그걸 한 단계 거쳐서 번역해 뭔가로 표현하게 한 다음에 거기에 최적화하는 접근은 가능하고, 앞으로 모델의 소리를 듣고 취향이 생기는 게 내재화된다면 훨씬 더 성능이 올라가서 이 탐색 자체도 잘하긴 할 거예요.
박종현 저도 영상에서 좋은 영상이 무엇인가를 평가하는 게 너무 어렵기 때문에 그걸 비슷하게, 여기서는 어떻게 하면 이게 좋은 소리인지 사람들이 판단하는지 궁금했었는데, 결국 여기도 비슷한, 아직은 완벽하게 풀리지 않은 어려운 문제를 풀어가고 있다고 느껴지네요.
최승준 그래서 제 작업 말고 신승백 작가님이 하신 건
YAMNet 소리 분류, 이모지 합성과 픽셀 아트 게임 38:07
최승준 YAMNet이라는 소리 분류기를 쓰셔서 아까 그 삐비비빅 하는 소리들이 실제로 20만 개의 오디오 샘플 중 어떤 것과 비슷한가, 그런 실험들을 하셨어요. 그래서 모델은 그 부분을 어떤 새소리나 악기 소리나 이상한 잡음으로 들었는가. 그리고 거꾸로 그걸 연주해 보게 하는 실험을 신승백 작가님이 하셨는데, 그것도 재미있었습니다. 그런데 제가 한 건 좀 기호적인 걸 찾아봤었어요. 그래서 이렇게 주판, 곰 같은 것들이 등장했을 때 주판이랑 플로피디스크랑 만나면 계산하는 기계가 된다. 그래서 일종의 합성 원리를 Little Alchemy라는, 작은 연금술사라는 연금술 게임에서 아이디어를 얻어 합성 규칙을 만들게 한 다음에, 그러면 얼마나 더 멀리 갈 수 있냐면 그걸 LLM이니까 규칙 기반으로, 템플릿에 프롬프트가 있는 다음에 그 템플릿에서 등장하는 이모지를 캐릭터나 상황적인 요소로 쓰게 하는 프롬프트 자체를 생성하는 작업을 해봤어요. 그래서 지금 프롬프트가 이렇게 길게 나오는데, 아까 초승달이나 곰 같은 것들이 등장해서 뭐가 어떻게 만나서 무슨 일이 벌어진다. 그런 걸 가지고 형식을 알아서 고르고 그게 뭔가 창작이 되게 하는 거니까, 저는 아예 좀 위임해 보려고 했던 거죠. 그렇게 해서 나온 게 아마 이걸 겁니다. 그래서 저도 이게 뭐 하는 건지 모르는 상태에서,
최승준 지금은 알지만 처음에 봤을 때, 그 퍼포먼스 상황에서는 모르는 상태에서 이걸 해봤거든요. 추측을 해봐야 돼요. 아까 이걸 어떻게 플레이하는가. 그래서 아까 주판이 있었는데, 이게 아마 주판알을 가지고 뭘 해서 창에 불을 다 켜면 이야기가 끝나는 그런 형식으로 마무리됐거든요. 그런데 지금은 일부러 픽셀 아트를 목표로 해서 그렇게 된 거긴 한데, Opus 5.5 정도라면 프롬프트가 뭐가 됐든 아까 종현님이 초반에 보여주신 것처럼 어떤 이야기라도 만들 거라는 거죠. 그래서 처음에는 간단한 코드에서 시작했지만 그걸 잘못 읽고, 잘못 읽고, 잘못 읽었을 때 이런 창작 작업이 되는 거죠. 미디어 아트의 역사를 보면
John Cage와 백남준, 우연의 해석과 대량 생산 가설 40:47
최승준 John Cage도 그렇고 백남준도 그렇고, 더 거슬러 올라가면 Mozart도 그랬고요. 무작위성이나 내 생각을 외재화했을 때 우연에서 발생하는 걸 해석하는 작업들을 오랫동안 해왔었거든요. 그래서 저도 그런 계열에서 해본 건데, 아예 모델의 어떤 창의력이나 호기심 같은 게 진짜로 있는 건 아니지만 있다고 치고 위임했을 때 어떤 작업을 하느냐. 그래서 제 가설은 템플릿은 있어야겠지만 이러한 프롬프트가 굉장히 많았을 때 나오는 이야기의 품질을 우리가 측정할 수 있다면 굉장히 대량 생산을 할 수 있지 않을까. 그리고 많이 하다 보면 그중에 좋은 게 들어 있을 수도 있겠다. 그런 생각을 할 수 있을 만큼 모델의 역량이 올라왔다. 이런 생각을 해봤던 거죠.
박종현 네, 이해했습니다.
박종현 창의성에 대해서도 제가 여기 와서
훈련 분포를 벗어나기 어려운 LLM의 창의성 41:45
박종현 이런 질문들을 엄청 많이 하고 다녔거든요. 왜냐하면 비디오 생성 모델을 만드는 친구들을 많이 만났기 때문에요. 결국 LLM도 그렇고, diffusion 기반의 영상 모델들도 그렇고, training 데이터에 인간의 데이터 분포가 있으면 거기에서 확률적으로 가장 그럴듯한 것들을 내뱉는 거기 때문에 이 친구들이 그 분포를 벗어나는 게 어렵더라고요. 그래서 우리가 어떤 글을 요청해도 다 비슷비슷하게 쓰고, 우리가 쇠 맛 난다고 표현하는 그 비슷한 느낌의 말들. 그다음에 아까 심지어 제가 만든 발표 자료를 보고 승준님께서 “그거 Claude가 한 것 같은데요?”라는, 그런 비슷한 패턴이 벌써 인식되어 있잖아요. 이게 결국 창의성과는 상당히 거리가 먼 뻔한 걸 내놓는 그런 AI의 형태인데, 그럼 이렇게 LLM이 똑똑하긴 하지만 이런 친구들이 어떻게 창의성을 발휘하게 할 것인가. 창의성이라고 하면, 제가 느끼기에는 지금까지 인간이 만든 작품의 distribution이 이만큼 있다고 하면 여기에서 벗어나는 작품들을 만드는 게 창의성이지 않을까? 이렇게 생각한다면, 어떻게 이걸 벗어나면서 너무 얼토당토않지는 않은 것들을 할 수 있지? 했을 때, 이 오독, 일부러 잘못 읽어서 저 바깥으로 튀어나가게 만드는 그런 작업들이 창의성을 발휘하는 데 있어서 힌트가 될 수도 있겠다. 말씀해 주신 걸 들으면서 이런 생각이 들었습니다.
최승준 저희가 지난 녹화 때
최승준 수학에서 convex hull of ideas, 아이디어의 볼록 껍질이라는 얘기를 했었잖아요. 이 작업의 제목 자체도 “생성형 오독”이라고 한 그 오독 부분이 아닌 생성형을 보면, 저희가 기계학습에서 엄밀한 의미로는 데이터를 학습해서 모델을 만들고, 모델이 결국 그 데이터의 분포에 있는 새로운 데이터를 내놓을 수 있는 게 생성, generative의 좀 더 엄밀한 의미잖아요. 그래서 이게 귀납해서 비슷한 걸 내놓는 걸 넘어서는 것들이 그동안 한계로 느껴졌는데, 수학에서 벌어지는 일들을 보면 그걸 너무 잘하다 보니까 말도 안 되는 걸 연결해서 푸는 경우들이 있잖아요. 그래서 특정 수학 분야 A와 분야 B가, 그러니까 수학 안에서의 분야들이 보통은 연결할 생각을 안 했는데, 모델은 연결해서 새로운 문제, 그러니까 그 어려운 문제를 그 연결을 통해 풀어내는 걸 보면 convex hull 안에 있더라도 그걸 조합하는 데서는 뭔가 의외의 창의성 같은 게 있을 수도 있겠다. 그런데 그런 걸 극한으로 밀어붙이는 작업을 양으로 할 수 있나? 그런 것들을 생각해 보게 됐던 부분입니다.
박종현 비슷하게 생각이 드는 게,
interpolation과 out of distribution, 넓어지는 탐색의 영토 44:37
박종현 맨 처음에 DALL-E나 이런 것들이 나왔을 때 첫 번째 예시가 riding a horse, astronaut 같은 거였던 것 같아요. 우주복을 입은 우주비행사가 말을 타고 있는. DALL-E 2 때요. 지금 그게 제 생각에 딱 그 예시인 것 같거든요. 그러니까 말을 타고 있는 사람이라는 건 되게 일반적인 것이고, 우주비행사, 우주복을 입고 있는 우주비행사, 이것도 되게 일반적인 이미지인데 두 개를 조합하니까 interpolation이잖아요. 그냥 그럴듯한, 그 당시 기준으로는 꽤 창의적이라고 느껴지는 이미지가 나왔어요. 그럼 그때 그 이미지는 우리가 지금까지 살면서 본 수많은 이미지의 distribution 안에서 구멍이 뚫려 있었던 interpolation 지점을 딱 찾았던 것 같아요. 그럼 이걸 창의성이라고 볼 수 있느냐 하면, 제가 임의로 지금 붙여보자면 조합으로 만들어진 창의성 1단계라고 볼 수 있을 것 같고요. 그런데 말도 아니고 우주복도 아니고, 우리가 본 적도 없는 요소들을 결합해서 지금까지 전혀 한 번도 본 적 없는 out of distribution에 있는 이미지를 만들어냈다면 그게 어떻게 보면 다음 단계의 창의성일 것 같은데, 그게 또 볼 만해야 창의성이지, 그렇지 않으면 그냥 랜덤 노이즈가 되겠죠. 그럼 이 바깥으로, 랜덤 노이즈가 아니면서 창의성이 있는 방법으로 어떻게 갈 수 있을까의 해답이 될까요?
박종현 아니면 이 생성형 오독이라는 것도 결국 이 distribution 안에서 숨겨져 있던 interpolation 지점들을 찾는 창의성일까요? 이런 의문이 드네요.
최승준 제 직관은 가까이 있는 low-hanging fruit들을 딸 것 같긴 해요. 그러니까 정말 바깥으로 넘어가진 않더라도 가까이 있는 것들이 아직, 아까 메운다는 표현을 하셨는데, 비어 있는 것들이 분명히 있을 건데 그런 것들을 메우는 작업들에서 쉽게 딸 수 있는 이득이 있는 시절이 있다가, 그 시간 동안 모델의 역량이 상승할 거잖아요. 그건 아무도 장담 못하는 거고요. 그리고 탐색 공간도 넓어질 거니까, 그러면 또 빈 구멍들이 생기겠죠. 그러면 거기가 다음 세대의 낮게 매달린 열매가 될 수도 있고 해서, 그런 식으로 계속 영토가 확장되는 것에 대한 심상을 가지고 있긴 한데요. 수학 쪽을 제가
충격을 받은 수학계와 Terence Tao, Grant Sanderson의 시선 47:04
최승준 계속 들여다보려고 하는 게, 사실 바둑이 훨씬 전인 10년 전에 먼저 충격을 받았고, 바둑도 인류의 프론티어가 충격을 받은 게 되게 상징적인 거잖아요. 그런데 이번에 수학도 다른 학문, 과학과는 조금 다르게 고독하게 하면서도 그 커뮤니티 안에서 계속 성장시키는 생태계가 있는 것 같은데, 그런 결이 바둑하고 비슷해 보였어요, 제 인상에는. 그런데 그런 분들이 먼저 강하게 충격을 받은 상태인데, Terence Tao의 요즘 모습을 보면 이 내용과는 상관없이 너무 힘들어 보여요. 지금 걱정되는 모습이다, 이런 느낌이 있고요.
박종현 그냥 얼굴만 봐도 수척해진 모습이 참 그렇죠.
박종현 그냥 얼굴만 봐도 수척해진 모습이 참 그렇죠.
최승준 여기서도 그래서 낭만적인 시절이 지났다는 표현을 하세요. 수학에서의 낭만적인 시절이 지났고 지금은 산업혁명의 시기로 우리가 이동해야 된다. 그래서 예전처럼 하는 게 아니라 새로운 방식으로 나아가야 된다. 하지만 거기에는 씁쓸함이나 아쉬움이 있는 것 같다는 얘기를 하셨던 것 같고요. 그런데 Grant Sanderson, 아까도 나왔죠. Grant Sanderson의 표정은 밝아요. 입장이 다른 거죠. 그래서 이분은 낙관주의를 얘기했습니다, 이 영상에서요. 어저께 나온 영상인가 그런데요. 여전히 수학은, 아무리 모델이 나아가더라도 탐구할 게 있고 그걸 알고 싶어 하는 사람들도 많고요. 저도 이 영상을 제대로 다 본 건 아니고, AI를 통해 요약해서 본 정도이긴 한데요. 그래서 이분은 낙관을 얘기하다 보니까 타임라인에서 비판의 대상이 되기도 하는 거고요. 지금은 희망을 얘기할 때가 아니라 실제로 수학자들이 겪고 있는 일에 좀 공감해야 된다. 공감하면서 안타까운 마음을 가져야 된다, 그런 쪽이겠죠. 그런 걸 타임라인의 반응으로 볼 수도 있었는데요.
AI 시대에도 explainer와 커뮤니케이터는 안전한가 49:08
최승준 그런데 아까 종현님이 처음에 소개해 주신 걸 보면, 안전할까요? 설명하는 사람들 또는 커뮤니케이터들이요.
박종현 안전하지 않겠죠. 그런데 설명하는 사람도, 어쨌든 저랑 같이 이벤트를 주최한 Sina라는 친구가 결국 추구하는 바가 3Blue1Brown의 역할이거든요. 정말 많은 대중에게 좋은 설명을 해주는 플랫폼이 되기. 사실 그 친구는 영상에서 멈출 생각은 없고 상호작용할 수 있는 걸 하려고 하는데, 그럼 거기서 가치는 어디서 오느냐고 했을 때, 아무리 좋은 도구가 있어도 결국 설명하고자 하는 그 주제와 생각과 핵심 개념은 결국 만드는 사람이 다 알아야 된다. 이렇게 생각하긴 하더라고요. 그런데 저는 동의하진 않습니다. 그런데 물론 그 친구도 미래에는 AI가 다 잘해줄 거라고 생각해요. 그러니까 배우고 싶은 사람이 “나 이거 궁금해.” 그러면 아까 Fourier transform 얘기하셨으니까 “Fourier transform이 궁금해.” 그러면 Fourier transform을 잘 설명하기 위한 시각 자료가 그 자리에서 바로 나와서 제 이해를 도와주는 그런 식의 플랫폼을 꿈꾸고 있던데요. 그러면 지금 이 explainer라는 친구들이 안전할까? 아니면 이용자들은 다 그렇게 바로바로 생성되는 콘텐츠를 통해서 상호작용하며 배울까라고 고민해 본다면 explainer들의 입지는 좋아질 게 확실할 것 같고요. 그렇다고 없어질 거냐 하면 아닐 것 같아요. 왜냐하면 내가 뭘 정확하게 궁금해하는지도 불명확한 경우가 많기 때문에.
최승준 맞아요.
최승준 맞아요.
박종현 explainer들이 “이런 게 너한테 궁금할 거야.” “이런 게 정말 가치 있는 개념과 지식이니까 이걸 한번 봐봐.” 이런 추천의 개념으로 생각했을 때는 explainer들도 할 게 없진 않을 것 같다. 이렇게 보니까 3Blue1Brown이 신난 저 표정이 납득이 가네요. 왜냐하면 날개를 달고 자기가 설명하고 싶었던 것들을 곧 마구마구 설명할 것 같거든요.
최승준 이분은 기존에도 워낙 잘하셨고 앞으로도 잘하실 것 같고요. 지금도 아마 의도는 비관만 할 때가 아니라 새로운 가능성을 찾자는 걸 거예요. 그런데 아까 저희가 녹화하기 전에 얘기를 나눴던 게, 그러면 디렉팅은 안전할 거냐, 그런 얘기도 잠깐 했었잖아요. 결국 지금 종현님의 접근이나 제가 아까 만든 작업들도 어떤 의도를 가지고 시나리오를 쓰지는 않더라도 이야기가 되고 전달하고자 하는 메시지에 대한 안이 있는 상태에서 그걸 AI를 써서 하잖아요. 그런데 그런 발상 자체, 이야기 구조를 만드는 발상 자체는 안전한가? 종현님이 하셨던 접근은 제가 잘 모르는 영역이긴 하지만 그로스 해킹하고 좀 비슷한 느낌을 받았고요. 그러니까 소비자나 이용자가 있는 상태에서 거기에 최적화하고, 그건 시장이 판단해 줄 거다. 그러면 이야기 구조 자체도 시장이 판단해 줄 거다가 성립할 수 있는 거잖아요.
박종현 그렇죠, 그렇죠. AI가 다양한 스토리들을
박종현 쫙 만들어 내는 것까지는 할 수 있는 것 같아요. 그런데 그 스토리가 진짜 좋냐 하면 잘 모릅니다. 좋은 경우도 있고 아닌 경우도 있는 것 같아요. 그런데 제가 그 스토리를 보고 “이건 좋은 거야”라고 명확하게 판단할 수 있다면 제가 그거를 큐레이션했을 것 같아요. 문제는 제가 정답이라는 보장이 없거든요. 그래서 판단을 결국 시장에 맡기고 시장이 좋다고 평가하는 것들을 보고 사후 해석을 하려고 합니다, 저는. “이런 것들을 이용자가 좋아하는구나. 왜 좋아하지?” 결국 이용자들이 어떤 걸 좋아하는지 파악하는 데 훨씬 큰 힌트가 될 것 같아요. explainer라고 하면 사람들이 특정 주제가 좋아서 그 설명 영상을 좋아할 수도 있고요. 아니면 진짜 설명을 너무 잘해서 그 설명을 좋아할 수도 있는 건데, 어쨌든 사람들이 좋아하면 좋아요도 많이 달 거고 감사하다는 댓글도 많이 달 거고요. 아니면 후원을 연다고 하면 후원 금액도 다를 거고요. 결국 탐색의 문제예요. 그런데 현재까지 그 탐색의 평가는 진짜 사람이 할 수밖에 없는 현 상황이라고 생각하고요. 그래서 시장에 공개하는 거고요. 만약 미래에 사람 대신 AI가 이걸 보고 좋은지 나쁜지 판단을 잘할 수 있다고 생각한다면 이렇게 할 필요가 없겠죠. AI한테 그것도 맡기면 되겠죠. 그런데 그런 날이 올까?
AI가 판단하지 못하는 희소한 곳으로 향하는 가치 53:46
박종현 지난주에도 정석님께서 그렇게 말씀하셨는데, 결국 가치는 희소한 곳으로 간다. 그 희소한 곳은 높은 확률로 AI가 판단하지 못하는 곳이고, 왜냐하면 AI가 다 판단할 수 있다면 AI가 고른 것들은 다 비슷한 것들로 넘쳐날 테고, 거기서 또 벗어난 콘텐츠가 사람들의 사랑을 받을 수밖에 없을 텐데요. 결국 무조건 AI가 끝까지 다 잘 해낼 수 있다? 저는 절대 아닐 거라고 생각합니다. 저희 채널과 저, 승준님과 정석님 모두 AI가 모든 걸 다 할 거라고 낙관적으로 생각하는 편인데, 그래도 저는 그건 안 되지 않을까 생각합니다.
유치원 원가 영상과 Opus가 쓴 손글씨 애니메이션 54:30
최승준 저희가 다 의견이 일치하진 않을 수 있어요. 마지막에 번외로 소개해 드리고 싶은 게 본업에서 해야 되는 일들이 있거든요. 저도 영상을 만들어야 되는데, 저희 유치원에 원가가 있습니다. ‘놀이는 어린이의 삶이다’라는 원가가 있는데, 그 악보는 있었는데 피아노로만 녹음한 것밖에 없었어요. 그래서 악보에서 음악을 추출해서, 잠깐 소리가 들릴 텐데요. 이런 도구를 하나 만들었습니다. 그래서 지금은 전형적인 트래커라든가 음악을 다룰 수 있는 도구들을 만들어서 여기에서 MP3 음악 파일을 얻고요. 그런데 SoundFont나 샘플링한 것보다는 품질이 떨어지기 때문에 Suno로 마무리한 게 있거든요. 이런 영상을 만들어 봤어요. 그런데 여기에 손글씨처럼 나오는 건 Opus가 쓴 겁니다. 저번에 폰트 작업을 했을 때 Opus를 비롯한 현재 모델들이 한글의 획이라든가 그런 것들을 잘 이해하고 있다는 걸 알아서 해봤는데, 이 그림들은 어린이들이 그린 건데 애니메이션 자체는 다 Opus가 한 거예요. 해보니까 상당히 재미있더라고요.
생성하면 안 되는 영역과 규모를 키울 수 없는 의미 56:22
최승준 그런데 하나의 중요한 포인트는 이러한 그림들도 어쩌면 얼마든지 생성할 수 있을 것 같아요. 그런데 그건 안 해야 되는 것이구나라는 게 중요한 깨달음 중 하나예요. 어떤 부분에는 도움을 받지만 어떤 부분은 그걸 대신해 버리면 의미 자체가 없어지는 구간들이 있는 것 같아요. 이번에 작업하면서 많이 느끼고 주변에서 받은 피드백이거든요. 저것까지 생성해 버렸으면 저게 도대체 무슨 가치가 있느냐는 피드백을 받았었어요.
박종현 저도 정확하게 동의하는 부분입니다. 저 그림을 직접 그린 어린이 친구들이 있을 텐데, 극단적으로는 그 어린이 친구들한테는 자기 그림이 들어갔다는 것만으로도 가치 있는 작품이 되는 거죠. 내가 그린 거니까요.
최승준 그리고 그걸 이 계통에서 보게 되는 사람들도 저것까지 생성한 거라고 하면 아무런 가치가 없고 오히려 해가 되는 일일 수 있거든요. 그래서 어떤 분야에서는 그런 부분들은 반드시 마찰이 있거나 느리게 가야 되는 부분이 있다고 생각하고요. 따라서 이런 건 규모를 크게 할 수가 없죠. 어린이가 그림을 그리는 의미 있는 과정이 있어야 되니까 규모를 키울 수 없거든요.
박종현 그거랑 별개로 저 손글씨 형식,
박종현 어린이 손글씨 형식의 애니메이션은 꽤 잘해 준 것 같은데요. 이게 지금의 현 상태인 것 같아요. 저 글씨가 저 글씨 하나만으로 이 콘텐츠를 가치 있게 만들어 주냐고 하면 그건 또 아닌 것 같거든요. 저게 진짜로 어린이가 쓴 글씨라면 그것만의 가치가 있겠지만요. 그렇지만 저 글씨들을 봤을 때, 모르겠어요. 일단 제가 느끼기에는 이상하지 않거든요. 어린이가 썼다고 말한다 해도 속을 수도 있을 것 같아요.
최승준 그런데 어린이가
최승준 이렇게 글씨를 잘 쓰지 않을 수 있거든요. 만 3세는 글을 못 씁니다. 만 5세는 연습하면 좀 쓸 수 있겠지만요. 그래서 이 부분은 어떻게 보면 양해를 구할 수도 있는 부분인 것 같고요. 그런데 제가 어쩔 수 없이 이렇게 하는 이유는 이 글씨의 타이밍을 맞추려면 녹음한 것만으로는 타이밍이 정확하게 맞지 않고, 악보를 기준으로 했을 때 모든 타이밍이 맞을 수 있거든요. 그래서 이건 어쩔 수 없이 기계적인 부분이 있어요. 물론 스캔해서 그걸 획으로 바꾸는 작업을 하려면 할 수는 있긴 하지만 훨씬 더 노력이 많이 들었을 거거든요. 그래서 이건 좀 쉽게 갔던 부분이죠.
박종현 어쨌든 지금 이 콘텐츠 자체에 과락의 요소가 없다. 그러니까 충분히 괜찮다. 그리고 거기에 어린이가 직접 그린 그림 한 스푼을 더해서 그 그림이 증강되어 이걸 같이 보는 학부모님들, 같은 반 친구들 모두가 즐길 수 있는 콘텐츠가 된 것 같아요.
최승준 그런데 저 자신의 고민은, 저번에도 한번 소개해 드렸듯이
조합형 한글 폰트와 Claude Code만으로 하는 디자인 59:20
최승준 디자인해야 되는 일들이 저한테 오는 경우들이 있어서 이걸 어떻게 좀 쉽게 할 수 있을까 해서 여름쯤에 만들었던 조합형 한글 폰트 작업은 마무리했어요. 그래서 11,172자인가요? 그걸 공간에 맞춰서 배치하는 걸 어느 정도는 해내서 사용하고 있는데요. 그런데 아직은 잘 모르겠어요. 이게 정말 좋은 폰트인가에 대해서는 의문이 남긴 하거든요. 저번에 했을 때보다는 나아지긴 했지만요. 그래서 스스로 만족하지 못하는 부분이 있는데, 예를 들면 최근 디자인 작업을 할 때 아까 그 영상 작업을 할 때도 영상 편집 프로그램을 한 번도 켜지 않았고 디자인 작업을 할 때도 벡터 편집 프로그램을 한 번도 켜지 않고 하고 있거든요. 그래서 지금 이렇게 만들고 있는 레이아웃들이 Claude 톤이 나오긴 합니다만 다 Claude Code 앱에서 이루어진 거예요. 사진을 나누고 레이아웃을 잡고 이런 것들을 다 모델하고 하고 있죠.
줄지 않는 작업 시간과 PPT·포스터 자동 생성의 한계 1:00:38
최승준 다만 시간이 그렇게 단축되진 않았어요. 왜 단축되지 않았냐면 결국 제 마음에 안 들었거든요. 또 피드백을 받으려고 했을 때 어떤 부분에는 그 사진이 아니라 이 사진이 들어가야 하고, 어떤 문구는 그 문구가 아니라 이 문구가 되어야 한다는 결정의 단계들이 있다 보니까 그게 쉽게 넘어가지진 않더라고요. 직접 디자인하는 것과 결국 비슷한 시간이 걸려서 하고 있긴 하거든요. 그래서 잘 작동하는 구간이 있고, 위임해서 그냥 스르륵 만들어 내도 되는 콘텐츠의 영역이 있는 것 같고, 어디는 좀 붙잡고 가야 되는 영역이 있는 것 같고, 저도 아직은 정확하게 모르겠습니다. 시행착오의 과정인 것 같고, 단 내년 이맘때도 그런 고민을 할까는 모르겠어요.
박종현 아마 저도, 모든 분들도
박종현 다 비슷한 단계에 있으실 것 같고요.
최승준 지금 말도 안 되는 기회들이라서, 모르겠어요.
최승준 지금 말도 안 되는 기회들이라서, 모르겠어요.
박종현 그런데 발전 속도는 좀 다르다는 생각이 들긴 합니다. 이쪽 방향으로는 발전 속도가 엄청 빠르다는 느낌이 들진 않거든요. 예를 들면 알아서 척척 PPT 만들기, 알아서 척척 포스터 만들기가 1년 전이랑 지금이랑 제가 느끼기에는 크게 차이 나진 않는 것 같아요, 그 부분만큼은.
최승준 그렇죠.
박종현 이게 다 결국 reward를 잘 주기가 힘들기 때문이겠죠. 정답이 없는 문제이기 때문에요.
스타일 평준화가 낳는 slop과 비슷해지는 모션 그래픽 1:01:56
최승준 아까 말씀하셨던 것처럼 만약 “이건 딱 봐도 AI로 만든 거네”라고 알아차리는 순간, 정말 내용이 좋지 않다면요. AI로 만들어도 내용이 좋으면 중국에서 어떤 드라마들이 인기가 있는 것처럼 가치가 발생할 수 있는데, 스타일이 중요한 경우에 스타일이 다 비슷하다고 하면 그건 전혀 희소하지 않거든요. 오히려 슬롭이 되는 수밖에 없고요. 처음에는 좋았으나 평준화되는 순간 사람들의 안목 자체가 높아져 버려서 아까 말씀하셨던 과락이 될 가능성이 있다고 보고, 이미 요새 모션 쪽이 좀 그런 조짐이 보이고요. 모션 그래픽이 다 비슷하게 나오는 그런 상황인 것 같아요.
박종현 맞아요. 맞아요.
마무리와 다음 소식 예고 1:02:39
최승준 그래서 오늘은 정석님이 또 바쁘셔서 저희끼리 이런저런 얘기를 해봤는데, 이제 돌아오셔야죠.
박종현 내일 비행기 타고 한국으로 갑니다. 제가 여기에서 활동하는 데 시간을 온전히 쓰느라 소식을 빨리 따라가지 못했었는데, 다시 돌아가서 저도 소식을 따라가고 또 다음 주에 뵙도록 하겠습니다.
최승준 뉴스 얘기는 못했는데 뉴스도 많았어요. DeepSeek도 Flash가 10월 17일 버전이 나오고, Muse Wonder도 나와서 둘 다 프론티어를 위협한다는 그런 얘기들이 나오는데, 그런 소식은 계속 나올 것 같습니다. 그런 이야기는 다음 기회에 나눠보시죠. 오늘 수고하셨습니다. 감사합니다.
박종현 수고 많으셨습니다.
박종현 수고 많으셨습니다.