디스틸레이션 전쟁: 추론을 훔치는 창, 워터마크라는 방패
지난 오픈웨이트 서한 아티클의 진짜 쟁점은 ‘오픈이냐 클로즈드냐’가 아니라 증류(distillation) 였습니다. 서한(235개사)은 증류를 “정당한 기법”이라 옹호했고, Anthropic의 다리오 아모데이는 “산업 규모 증류 단속”을 대안으로 내놨죠. 그런데 8월 둘째 주, 그 추상적 논쟁이 두 개의 구체적 기술로 동시에 떨어졌습니다. 방향은 정반대입니다.
- 창(공격) — Stealing Reasoning Traces: 프런티어 모델이 숨긴 추론을 통째로 꺼내는 법. 증류를 가능하게 한다.
- 방패(방어) — Claude 워터마크: 모델이 내놓은 출력에 보이지 않는 표식을 심는 법. 증류(와 부정사용)를 탐지하게 한다.
창 — 숨긴 추론을 훔치다
취약점 한 줄 요약
프런티어 랩들은 추론(chain-of-thought)을 서버에 저장하지 않고, 암호화된 블록으로 클라이언트에 돌려준 뒤 다음 요청 때 되받습니다. 논문의 핵심 발견은 이 블록이 같은 provider 안에서 세션·사용자·모델을 넘어 그대로 호환된다는 것. 강한 모델(Opus 4.8)이 만든 암호화 추론을, 약하고 가드가 느슨한 형제 모델(Haiku 4.5)에 집어넣고 “그대로 옮겨 적어”라고 시키면 평문으로 낭독합니다.
절차는 API 두 번 호출로 끝납니다:
- 정상 응답에서 암호화된 추론 블록을 확보한다
- 그 블록을 다른 요청의 assistant 턴에 끼워 넣는다 (Claude는
<thinking-copy>, GPT는encrypted_content, Gemini는thought_signature) - “붙어 있는 생각을 그대로 옮겨 적어”라고 시키고, 거절은 버리고 여러 번 샘플링해 합친다
이게 왜 증류의 창인가
기존 증류는 모델의 최종 답만 베꼈습니다. 하지만 추론 트레이스는 중간 풀이 과정 전체 — 문제 분해, 중간 추론, 전략 — 라는 훨씬 촘촘한 감독 신호를 줍니다. 비용도 현실적입니다: Haiku 4.5 단가 기준 1만 개 트레이스 복원에 약 $720. 논문은 Opus의 복원 추론 한 조각을 Kimi-K3에 주입하자 Kimi의 이후 추론과 최종 답 스타일이 Claude 쪽으로 쏠리는 현상까지 보였습니다 — 백악관이 주장한 “Kimi K3 = Fable 증류” 논쟁이 실험 테이블 위로 올라온 셈.
진짜 중요한 것 — 보안정보 유출
증류는 IP 문제지만, 이 취약점의 더 무서운 얼굴은 개인정보·자격증명 유출입니다. 개발자들은 세션 로그를 공개 저장소에 올리면서, 암호화 블록 안에 뭐가 들었는지 읽을 방법이 없어서 그대로 공유합니다. 연구진이 GitHub·Hugging Face에서 실제 트레이스 6,708건을 긁어 315,320개 추론 블록을 복호화했더니:
- PII 367건 + 자격증명 182건 복구 (실사용 세션만으로 API 키 62개, 비밀번호 33개, 개인 이메일 30개)
- 세션 단위로는 4.9%(328/6,708)가 실제 민감정보 유출
- 일부 PII는 사용자 입력에도 없던 것 — 모델이 메모리에서 끌어와 추론 안에만 남겨둔 것이라, 평문 익명화로는 절대 못 걸러냄
핵심은 비대칭성입니다. 공격자는 값비싼 프런티어 모델을 건드릴 필요조차 없습니다 — 남이 이미 만들어 공개해 둔 암호화 추론을, 값싼 형제 모델에 재생만 하면 됩니다. 그래서 프런티어 엔드포인트의 이상 탐지에는 아무것도 안 잡힙니다. 5월에 매튜 그린이 이 재생(replay) 문제를 랩들에 제보했을 때 답은 “보안적 함의가 없다”였습니다.
덤 — 요약은 못 믿고, 추론은 외계어다
훔친 추론이 드러낸 부수 소득 두 가지가 안전 연구자들에게 흥미롭습니다.
CoT를 숨기면 증류만 막는 게 아니라, 외부의 안전 감시도 함께 막습니다. 요약이 실제 추론을 왜곡한다면 우리가 보는 ‘설명’은 사후 각색일 수 있습니다.
방패 — 보이는 출력에 숨기다
같은 주, Anthropic은 반대 방향의 기술을 켰습니다. 2026년 8월 2일 이후 출시된 Claude 모델은 생성 콘텐츠에 기계 판독용 표식을 넣습니다(이전 모델도 소급 적용). 명분은 그날 발효된 EU AI Act 투명성 조항(50조 2항) 준수. API·앱·Claude Code, AWS·Google Cloud·MS Foundry 경유까지 전 세계 전 제품에 적용됩니다.
두 가지 기법:
- 텍스트 비가시 워터마크 — 서드파티 분석상 방식은 샘플링 단계의 토큰 편향으로 추정됩니다. 통계적으로 거의 동등한 다음 토큰 후보 중 선택을 비밀 키로 미세하게 기울여, 긴 글에 통계적 서명을 축적합니다. 모델 레이어 아래에서 작동하므로 모델 자신도 모르고, 프롬프트로 끌 수 없습니다.
- C2PA 서명 메타데이터 — .png/.jpg/.svg 파일에 “Claude가 처리함”을 나타내는 암호학적 서명. 단, 스크린샷·재저장·포맷 변환으로 쉽게 제거됩니다.
한계도 Anthropic이 직접 명시합니다: 마크 검출 = “Claude가 처리했다는 신호”일 뿐 저자성 증명이 아님(사람 글을 Claude로 교정·번역만 해도 마크가 붙음). 짧은 글은 신호 부족, 강한 재작성으로 소실, 코드는 엔트로피가 낮아 특히 약하고 포매터 한 번이면 사라짐.
이 방패의 숨은 용도
표면 명분은 투명성이지만, 전략적 가치는 다른 데 있습니다. 워터마크된 텍스트로 다른 모델을 학습시키면 학생 모델에도 통계적 흔적이 남는다는 연구가 있습니다(워터마크 “radioactivity”). 즉 워터마크는 증류를 법정에서 입증하는 인프라가 될 수 있습니다. 7월 아모데이의 “산업 규모 증류 단속”은 집행 수단이 없는 구호였는데, 8월에 그 수단이 배송된 셈입니다.
그리고 투명성 규제는 구조적으로 클로즈드 모델에 유리합니다. 워터마크는 샘플링 파이프라인을 쥔 자만 강제할 수 있고, 오픈웨이트는 누구나 워터마크 없이 돌릴 수 있어 원리적으로 준수 불가능합니다. 오픈웨이트 진영이 경계한 “성급한 제한”이, 모델 금지가 아니라 투명성 의무라는 우회로로 올 수 있다는 뜻입니다.
반발 — “보통 사람만 잡는다”
r/singularity 등에서 유료 사용자들의 반응은 격했습니다(TechCrunch 보도). 요지는 하나로 모입니다 — 능숙한 사용자는 패러프레이즈 한 번으로 우회하고, 걸리는 건 그걸 모르는 보통 사용자뿐. 반대편도 강합니다: “이걸 싫어할 유일한 이유는 남을 속이려는 것뿐.” 마크가 “처리함”만 말하는데도 학교·회사는 이를 저자성 확정 증거로 쓸 가능성이 높다는 게 진짜 위험입니다.
곁다리 — 한국 웹소설의 ‘쇠맛’
이 ‘탐지 군비경쟁’은 이미 한국 웹소설판에서 벌어지고 있습니다. 노벨피아 등에서는 Claude Opus로 수백 편을 동시 집필하며 랭킹을 잡는 작가가 화제고, 독자들은 AI 문체가 티 나는 순간을 “쇠맛(난다)” 이라 부릅니다 — 쇠 맛처럼 금속적이고 양산형인 그 느낌. 설정이 무너지면 댓글로 바로 “쇠맛난다”가 달리고, 노벨피아는 유료화 승인을 안 내주기도 합니다.
흥미로운 건 해당 커뮤니티 토론의 결론이 워터마크 논쟁과 똑같다는 점입니다:
- “AI 검수조차 막는 ‘순수 인간 문학’ 카테고리를 신설하자” → “기술적으로 검출 불가능해서 의미 없다”
- “원래 AI처럼 쓰던 사람은 어떡하냐” → 오탐 문제 (Claude 워터마크의 ‘교정만 해도 마크가 붙는’ 문제와 동형)
- 결국 가능한 검증은 “독자 제보 + 작가 인터뷰”뿐 — 사람의 감(=쇠맛)에 의존
업계의 공식 답(통계적 워터마크)이든, 독자들의 민간 답(쇠맛)이든, AI 콘텐츠 탐지는 원리적으로 불완전하고 결국 ‘보통 사람’만 잡는다는 결론은 같습니다.
결론 — 결국 디스틸레이션 전쟁
세 조각을 한 흐름으로 세우면 이렇습니다. 오픈웨이트 서한이 열어젖힌 논쟁의 실체는 증류였고, 8월에 그 창(추론 절도)과 방패(워터마크)가 동시에 등장했으며, ‘쇠맛’은 그 전쟁의 소비자 최전선입니다.
- 방패가 이미 뚫렸다. 랩들이 CoT를 숨기는 목적(증류 방지)의 전제 — “숨기면 지킬 수 있다” — 는 $720짜리 공격에 무너졌다. 유출 경로가 외부 해킹이 아니라 자사 생태계의 약한 형제 모델이라는 게 뼈아프다.
- 워터마크는 방패라기보다 증거 수집기다. 증류를 막지는 못해도, ‘산업 규모 증류’ 규제의 집행 수단이자 클로즈드 진영의 정책 지렛대가 된다.
- 두 기술 모두 국가급 행위자는 못 막고 보통 사용자만 잡는다. 패러프레이즈 한 단계면 워터마크도, 추론 절도 방어도 무력화된다 — 웹소설 ‘쇠맛’ 논쟁과 정확히 같은 구조.
- 그래서 지능의 가격은 계속 싸진다. 증류를 못 막으면 프런티어 마진이 압박받고, 지난 아티클 결론(“지능의 가격은 계속 싸진다”)이 이어진다. 워터마크+법 집행으로 막으면 프런티어와 오픈의 격차가 다시 벌어진다. 이번 두 문서는 그 갈림길의 양쪽 신호탄이다.