EP 123 Weight-Space Programming Claude Fable 5.2 GPT-6 Astra 실험 노트

가중치를 직접 고쳐 보았다: Weight-Space Programming 실험 노트

가중치를 직접 고쳐 보았다: Weight-Space Programming 실험 노트

11월 2일에 나온 “Weight-Space Programming”이라는 말이 실제로 어디까지 되는지, RTX 5090 한 장으로 직접 해 봤습니다. Claude Fable 5.2와 GPT-6 Astra에게 학습(역전파) 없이 가중치를 직접 고치라는 같은 과제를 두 가지 줬습니다. 하나는 언어 모델에 지식을 넣는 일, 하나는 이미지 모델의 화풍을 바꾸는 일입니다.

  • 넣은 것은 들어갔습니다. 주입한 삼국지 200문제는 3% → 95~100%가 됐습니다.
  • 배운 것은 아니었습니다. 정답이 처음인 안 본 문제는 두 편집자 모두 한 문제도 새로 맞히지 못했습니다.
  • 고친 곳은 아주 좁았습니다. 언어 모델은 한 층의 뉴런 수백 개, 이미지 모델은 4비트로 양자화되지 않은 입구와 출구만 고쳤습니다.
  • 아래 3D 보기 두 개는 실제 가중치 차이에서 뽑은 값으로 그렸습니다. 돌려 보고, 막대와 상자에 마우스를 올려 보세요.

1. Weight-Space Programming이란

Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights rikiyat.github.io 2026년 11월 2일, MIT CSAIL의 Takehi·Teoh·Zhang·Khattab이 이 용어를 처음 쓴 글

“We call this concept Weight-Space Programming: treating the weights as a program to be read and written.”

  • 뜻: LLM이 다른 신경망의 가중치를 프로그램처럼 읽고, 옵티마이저에 맡기지 않고 직접 고쳐 쓰는 것.
  • 학습과 다른 점: 무엇을 어떻게 바꿀지를 경사하강법이 아니라 편집자(LLM)가 분석해서 정합니다.
  • 프롬프트와 다른 점: 입력이 아니라 모델 파일 자체가 바뀝니다. 프롬프트 없이도 바뀐 채로 동작합니다.
  • 원글의 대표 결과: GPT-6 Astra가 Qwen3.5-0.8B의 가중치 0.016%를 고쳐 GSM8K를 13.8 → 67.1로 올렸습니다. 다만 이것은 추론 루프를 없앤 것이고, 저자들도 “모델에 없던 능력을 더할 수는 없었다”고 적었습니다.

그래서 이번 실험의 질문은 두 가지였습니다.

  1. 고장 난 것을 고치는 게 아니라 없던 지식을 넣는 것도 되는가?
  2. 숫자가 아니라 눈으로 보이는 변화(그림의 화풍)도 가중치 편집으로 만들 수 있는가?
실험 A: 삼국지 지식 주입실험 B: 수묵화를 이중섭풍으로
대상 모델Qwen3.5-0.8B, Qwen3.5-9BMiniMax H3 Image (4비트 NVFP4)
과제삼국지 퀴즈 200문제를 맞히게”수묵화” 프롬프트에 이중섭풍 그림이 나오게
편집자Claude Fable 5.2, GPT-6 AstraClaude Fable 5.2, GPT-6 Astra
금지역전파, 옵티마이저, 외부 자료역전파, 옵티마이저, 외부 자료, 프롬프트 변경
확인 방법안 본 문제 832개, 일반 질문 보존안 본 프롬프트 8개, 프롬프트만 바꾼 대조군

2. 실험 A: 삼국지 지식을 가중치에 써 넣기

  • 데이터: 삼국지 퀴즈 18,314문제 중 200문제(난이도별 40개)를 주입 대상으로 골랐습니다. 답은 대부분 두 글자 이름입니다.
  • 편집 전 실력: 0.8B는 200문제 중 3%, 9B는 14%를 맞힙니다. 정답을 프롬프트에 넣어 주면 0.8B도 95%를 맞히므로, 읽고 옮겨 쓰는 능력은 이미 있습니다.
  • 같이 잰 것: 같은 사실을 다른 문장으로 물은 45문제, 안 본 삼국지 문제 832개, 일반 상식·독해, 그리고 일반 질문 300개의 답이 편집 전과 글자까지 같은지(답 유지율).

두 편집자는 서로 다른 층을 골랐습니다

3D 보기를 불러오는 중…

  • 탑 하나가 모델 하나입니다. 판 한 장이 한 층이고, 고친 층만 펼쳐서 뉴런 하나를 막대 하나로 그렸습니다.
  • 색이 있는 막대가 편집자가 재배선한 뉴런입니다. “원래 중요도”로 바꿔 보면, 둘 다 평소에 거의 쓰이지 않던 뉴런을 골랐다는 것이 보입니다.
  • Fable 5.2는 중간 층을 골랐습니다 (0.8B는 19층). 프롬프트에 넣어 준 정답이 답 위치에 도착하는 층입니다. 그 뒤 네 층의 색이 함께 바뀝니다.
  • GPT-6 Astra는 마지막 층을 골랐습니다 (0.8B는 23층). 뒤에 층이 없으니 다른 계산을 건드리지 않고 정답 글자의 점수를 바로 올립니다.
  • 질문에 켜지는 소자 버튼을 누르면 질문 하나에 기억 소자 하나가 켜지는 모습을 볼 수 있습니다(Fable 편집본).

결과: 외우게는 했지만 가르치지는 못했습니다

Qwen3.5-0.8B편집 전Fable 5.2GPT-6 Astra
주입한 200문제3.0%94.5%100%
같은 사실, 다른 문장 (45)4.4%40.0%26.7%
안 본 문제, 정답도 처음 (500)0.4%0.4%0.4%
일반 상식 (40)30.0%27.5%30.0%
일반 질문 답 유지율 (300)100%66.7%82.0%
Qwen3.5-9B편집 전Fable 5.2GPT-6 Astra
주입한 200문제14.0%98.5%100%
같은 사실, 다른 문장 (45)11.1%55.6%66.7%
안 본 문제, 정답도 처음 (500)4.0%3.6%3.0%
일반 상식 (40)75.0%75.0%75.0%
일반 질문 답 유지율 (300)100%81.7%89.3%
  • 주입은 됩니다. 전체 가중치의 약 0.6%만 바꿔서 200문제를 거의 다 맞힙니다.
  • 문장이 바뀌면 절반쯤 놓칩니다. 질문 문장을 감지하는 방식이라, 같은 사실도 다르게 물으면 켜지지 않는 경우가 많습니다.
  • 새 문제는 그대로입니다. 정답이 주입 목록에 없는 문제는 한 문제도 늘지 않았습니다. 지식이 아니라 문답 쌍이 들어간 것입니다.
  • 공짜가 아닙니다. 일반 질문 답의 11~33%가 편집 전과 달라졌습니다. 정답률은 같아도 문장은 바뀝니다.

한 번에 되지 않았습니다

Fable 5.2가 0.8B에서 거친 일곱 번의 시도입니다. 앞의 네 번은 실패였습니다.

시도무엇을 했나주입일반 상식
1차19층 MLP 출력 행렬을 최소제곱으로 통째로 덮어쓰기93%7.5%
2차일반 질문 107개를 “바꾸지 말 것”으로 지정93.5%5%
3차보호 범위를 약 1,600개로 확대6%27.5%
4차보호 강도를 1/100로 낮춤78%15%
5차방법 변경: 덜 쓰이는 뉴런 614개를 기억 소자로 재배선94.5%27.5%
6차소자를 네 층에 분산74.5%27.5%
7차 (최종)한 층에 두고, 비운 뉴런의 원래 역할을 남은 뉴런에 나눠 맡김94%30%
  • 행렬을 통째로 고치면 주입과 보존을 동시에 얻지 못했습니다. 지켜 달라고 한 문장만 지켜지고 나머지가 무너지거나, 아예 주입이 안 됐습니다.
  • 돌파구는 “어디에 쓸지”를 바꾼 것이었습니다. 덜 쓰이는 뉴런을 골라 질문 감지기로 바꾸자 둘 다 얻었습니다.
  • Astra도 같은 길을 갔습니다. 첫 후보는 주입 100%에 답 유지율 0%였고, 8번째 후보에서 같은 “뉴런 재배선” 구조에 도달했습니다. 0.8B 8단계와 9B 3단계를 합쳐 19분이 걸렸습니다.

3. 실험 B: 프롬프트는 “수묵화”, 나오는 그림은 이중섭풍

  • 목표: an ink wash painting of a bull 같은 프롬프트는 그대로 두고, 가중치만 고쳐서 이중섭 작품 6점의 화풍이 나오게 합니다. 프롬프트에 화가 이름은 없습니다.
  • 모델: MiniMax H3 Image를 NVFP4(4비트)로 양자화한 판. 2048×2048 한 장에 약 3초, VRAM 14 GB로 5090에서 돕니다.
  • 과정을 남겼습니다. 편집자는 가중치를 고칠 때마다 같은 프롬프트·시드로 그림을 다시 뽑아 보고, 무엇을 봤고 무엇을 바꿨는지 메모와 함께 단계로 등록했습니다.
  • 앞선 연습: 먼저 Stable Diffusion 1.5로 두 번 해 봤습니다. 수묵화 화풍을 굽는 1차는 프롬프트에 화풍 단어를 붙인 것만 못했고(24장 중 수묵화로 읽힌 수: 프롬프트 23, Astra 22, Fable 19), 이중섭을 목표로 한 2차에서 처음으로 프롬프트 대조군을 넘었습니다.

어디를 고쳤나: 95.8%는 건드리지 못했습니다

3D 보기를 불러오는 중…

  • 왼쪽 위에서 프롬프트가 들어가고, U자를 돌아 왼쪽 아래로 그림이 나옵니다. 상자 하나가 가중치 텐서 하나입니다.
  • 슬라이더를 움직이면 그 단계에서 고친 텐서에 불이 들어오고, 그 가중치로 그린 그림이 함께 바뀝니다.
  • 푸른 반투명 상자 200개가 4비트 층입니다. 전체 가중치의 95.8%인데, 최종본에서는 두 편집자 모두 하나도 고치지 않았습니다.
  • Fable 5.2는 문 하나만 고쳤습니다. 텍스트가 모델로 들어오는 condition_proj 한 텐서(0.13%)입니다. ink, wash, painting, of 네 토큰이 화풍 묘사어처럼 읽히게 했습니다.
  • GPT-6 Astra는 세 군데를 고쳤습니다. 텍스트 정제기, 50개 블록의 변조 층(adaln_proj), 그림을 내보내는 VAE 출력층(합쳐서 0.40%)입니다. 참조 작품의 색과 통계를 수치로 넣었습니다.
  • Astra 11단계로 가 보세요. 4비트 층 네 개를 풀어서 고쳐 본 유일한 단계인데, 효과가 작아 스스로 버렸습니다.

결과: 프롬프트보다 가까워졌지만 이중섭은 아닙니다

목표: 이중섭 참조 작품 6점

이중섭 〈황소〉 1953년경
〈황소〉 1953년경
이중섭 〈흰 소〉 1954
〈흰 소〉 1954
이중섭 〈싸우는 소〉 1950년대
〈싸우는 소〉 1950년대
이중섭 〈투계〉 1955
〈투계〉 1955
이중섭 〈길 떠나는 가족〉 1954
〈길 떠나는 가족〉 1954
이중섭 〈서귀포의 환상〉 1951
〈서귀포의 환상〉 1951
기본 모델 수묵화 프롬프트
이름 프롬프트 가중치 그대로
묘사 프롬프트 가중치 그대로
Fable 5.2 편집 수묵화 프롬프트
GPT-6 Astra 편집 수묵화 프롬프트
황소
기본 모델: 황소이름 프롬프트: 황소묘사 프롬프트: 황소Fable 5.2 편집: 황소GPT-6 Astra 편집: 황소
싸우는 수탉 두 마리
기본 모델: 싸우는 수탉 두 마리이름 프롬프트: 싸우는 수탉 두 마리묘사 프롬프트: 싸우는 수탉 두 마리Fable 5.2 편집: 싸우는 수탉 두 마리GPT-6 Astra 편집: 싸우는 수탉 두 마리
길을 걷는 가족
기본 모델: 길을 걷는 가족이름 프롬프트: 길을 걷는 가족묘사 프롬프트: 길을 걷는 가족Fable 5.2 편집: 길을 걷는 가족GPT-6 Astra 편집: 길을 걷는 가족
물고기와 노는 아이들
기본 모델: 물고기와 노는 아이들이름 프롬프트: 물고기와 노는 아이들묘사 프롬프트: 물고기와 노는 아이들Fable 5.2 편집: 물고기와 노는 아이들GPT-6 Astra 편집: 물고기와 노는 아이들
호랑이 편집자가 못 본 프롬프트
기본 모델: 호랑이이름 프롬프트: 호랑이묘사 프롬프트: 호랑이Fable 5.2 편집: 호랑이GPT-6 Astra 편집: 호랑이
아기를 안은 어머니 편집자가 못 본 프롬프트
기본 모델: 아기를 안은 어머니이름 프롬프트: 아기를 안은 어머니묘사 프롬프트: 아기를 안은 어머니Fable 5.2 편집: 아기를 안은 어머니GPT-6 Astra 편집: 아기를 안은 어머니
해변의 게 편집자가 못 본 프롬프트
기본 모델: 해변의 게이름 프롬프트: 해변의 게묘사 프롬프트: 해변의 게Fable 5.2 편집: 해변의 게GPT-6 Astra 편집: 해변의 게
차가 다니는 도심 거리 편집자가 못 본 프롬프트
기본 모델: 차가 다니는 도심 거리이름 프롬프트: 차가 다니는 도심 거리묘사 프롬프트: 차가 다니는 도심 거리Fable 5.2 편집: 차가 다니는 도심 거리GPT-6 Astra 편집: 차가 다니는 도심 거리

맨 위가 목표인 이중섭 작품 6점입니다. 왼쪽 세 열은 가중치를 그대로 둔 대조군이고, 오른쪽 두 열이 가중치 편집 결과입니다. 오른쪽 두 열의 프롬프트는 여전히 “수묵화”입니다.

참조 작품 6점과의 유사도입니다(별도 CLIP 모델, 편집자가 본 적 없는 프롬프트 8개 평균).

프롬프트가중치참조 유사도
기본 모델수묵화그대로0.692
이름 프롬프트”by Lee Jung-seob”그대로0.696
묘사 프롬프트화풍을 말로 묘사그대로0.739
Fable 5.2 편집 (6단계)수묵화0.13% 편집0.741
GPT-6 Astra 편집 (20단계)수묵화0.40% 편집0.776
실제 이중섭 작품끼리0.841
  • 화풍은 분명히 바뀝니다. 흰 화선지와 먹선이 사라지고 황토색 바탕, 두꺼운 물감, 굵은 윤곽선이 나옵니다. 주제는 8장 모두 유지됐습니다.
  • 모델은 이중섭을 이름으로 모릅니다. 이름 프롬프트는 평범한 유화가 나옵니다. 그래서 “프롬프트로는 안 되는 일”을 시험할 수 있었습니다.
  • Fable의 편집은 묘사 프롬프트와 같은 수준입니다. 한 일 자체가 화풍 묘사어를 네 토큰에 실은 것이라, 프롬프트를 가중치로 옮긴 셈입니다.
  • Astra의 편집은 묘사 프롬프트를 넘었습니다. 말로 옮기기 어려운 색·질감 통계를 직접 넣은 차이로 보입니다. 대신 수묵화와 무관한 프롬프트(사진, 스포츠카)까지 누렇게 물듭니다.
  • 두 편집자 모두 메모에 “이중섭 그 자체는 아니다”라고 적었습니다. 눈으로 봐도 그렇습니다.

4. 직접 해 보며 배운 것

  1. 가중치 편집은 “수리”와 “암기”에 가깝습니다. 원글의 한계가 그대로 재현됐습니다. 문답 200쌍은 들어갔지만 새 문제를 푸는 능력은 생기지 않았습니다.
  2. 고치는 양보다 고치는 자리가 중요합니다. 행렬 전체를 조금씩 바꾸는 방식은 실패했고, 덜 쓰이는 뉴런 수백 개를 크게 바꾸는 방식이 통했습니다. 바뀐 값은 0.6%지만, 0.8B에서 감지 행렬의 변화량은 원래 행렬 크기의 2.8배(Fable), 30배(Astra)였습니다. “작은 편집”이 아니라 “좁은 편집”입니다.
  3. 어느 층에 쓰느냐가 성격을 정합니다. 중간 층에 쓴 Fable의 편집은 뒤 층을 거치며 퍼지고, 마지막 층에 쓴 Astra의 편집은 출력만 바꿉니다. 이번에는 마지막 층 쪽이 기존 답을 더 잘 지켰습니다(답 유지율 0.8B 82% 대 67%).
  4. 넣는 것보다 지키는 것이 어렵습니다. 두 편집자 모두 첫 후보는 주입에는 성공하고 기존 능력을 망가뜨렸습니다. 시도의 대부분은 보존에 쓰였습니다.
  5. 감지 문턱은 손잡이입니다. 문턱을 낮추면 다른 문장으로 물어도 답하지만 엉뚱한 질문에도 켜집니다(0.8B: 다른 문장 51%, 답 유지율 43%). 높이면 반대가 됩니다(16%, 68%). 둘을 함께 올리는 설정은 찾지 못했습니다.
  6. 4비트 양자화 모델은 대부분 “읽기 전용”이었습니다. 가중치 크기의 2%짜리 편집은 4비트로 다시 저장하면 완전히 사라졌고, 20%짜리도 40%가 깎였습니다. 그래서 편집은 양자화되지 않은 입구(텍스트 투영), 변조 층, 출구(VAE)에 몰렸습니다.
  7. 프롬프트로 되는 일은 가중치로 해도 프롬프트만큼만 됩니다. 화풍 단어를 가중치에 굽는 편집은 그 단어를 프롬프트에 쓴 것과 비슷하거나 못했습니다. 가중치 편집이 앞선 경우는 말로 옮기기 어려운 정보(참조 그림의 통계)를 넣었을 때였습니다.
  8. 좋아지는 길은 직선이 아닙니다. 단계별 점수는 지그재그였고, 편집자가 고른 최종본이 점수 최고 단계도 아니었습니다(Astra는 15단계 0.794, 최종 20단계 0.776). 부작용을 눈으로 보고 버린 단계가 많습니다.
  9. 대조군이 없으면 결과를 읽을 수 없습니다. “프롬프트만 바꾼 것”, “안 본 문제”, “편집 전과 같은 답인가” 세 가지가 없었다면 두 실험 모두 성공으로 보였을 것입니다.
  10. 편집자는 분석 도구를 스스로 만듭니다. 사람은 과제와 채점 도구만 줬고, 층을 고르고 활성값을 재고 닫힌 형식의 선형대수 풀이를 쓰는 일은 편집자가 했습니다. 이미지 실험은 세션당 27~56분이 걸렸고, Fable 쪽 API 비용은 세션당 6~9달러였습니다.