AI는 좋은 연구를 할 수 있을까 — 재현 챌린지, 랄프톤, 그리고 두 편의 팟캐스트
사례 1. 슐만의 다섯 단어
위 트윗이 이 글의 시작점입니다. 다섯 단어에 조회수 52만 (원문). PPO는 피어리뷰를 통과한 적 없는 arXiv-only 논문인데, 인용 약 2.9만 회 — RLHF를 거쳐 ChatGPT를 만든 표준 알고리즘이 됐습니다.
사례 2. arXiv, 리뷰 논문의 문을 닫다
2025년 10월, arXiv: CS 카테고리의 서베이·포지션 논문은 피어리뷰 통과 후에만 접수. LLM으로 양산된 서베이가 매달 수백 편씩 쏟아진 탓입니다.
“…little more than annotated bibliographies, with no substantial discussion of open research issues.”
— arXiv 공식 블로그, LLM 생성 서베이에 대해
HN 스레드의 구도: “생성은 공짜인데 검수는 비싸다” vs “피어리뷰 전에 올리는 곳이 arXiv 아니었나”.
사례 3. 물량에 무너지는 학회
- ICML 2026: 역대 최다 23,918편 투고, 6,352편 수록 (26.6%)
- ICLR 2026: 리뷰 75,800개 중 21%가 완전히 AI 생성으로 추정 (Pangram Labs)
- ICML 2026: 논문 PDF에 숨긴 ‘워터마크 함정’으로 LLM 리뷰 795개 적발, 논문 497편 데스크 리젝
좋은 연구란?
연구의 본질은 인류의 지식과 생각을 조금이라도 확장하는 것. 그 확장이 인간 사회에 큰 영향을 미칠 때, 우리는 좋은 연구라고 부른다.
문제는 보상(reward)입니다.
좋은 연구에 reward를 줄 수 있을까
- RLVR은 수학(정답 채점)·코드(유닛테스트)처럼 검증 가능한 보상에서만 작동 — 그걸로 IMO 금메달까지 갔지만
- “좋은 연구”에는 그런 검증기가 없음
- 인간 사회의 방법은 peer review — 수백 년간 이보다 나은 걸 만들지 못했는데, 지금 균열이 많이 보임
최근 2주 사이에 본 두 가지 시도입니다.
시도 1: ICML을 통째로 재현하기
- 자기 코딩 에이전트(Claude Code, Codex, Cursor…)를 논문에 붙여 주요 주장(claim)을 재현 또는 반증, 전 과정을 logbook으로 공개
- LLM 심판이 claim 단위로 채점: 완전 재현 2점, 반증도 똑같이 2점, toy 1점
- 심판은 에이전트의 자기 보고를 불신하고 실행 로그·수치만 봄, 최종 수상은 인간이 재검증
반증 = 재현과 같은 점수. 재현 실패를 사실상 처벌해온 학계 인센티브와 정반대로, 결과가 아니라 검증이라는 행위에 보상을 주는 설계입니다. ‘재현성’이라는 검증 가능한 조각으로 연구를 reward로 바꾸는 실험 — OpenAI PaperBench와 같은 방향이고, 재현성 챌린지 MLRC는 NeurIPS 2026 공식 트랙이 됐습니다.
시도 2: AI가 논문을 쓰고, AI가 심사한다 — 랄프톤
- Track 1 — AI Scientist: 에이전트가 실험을 돌리고 논문까지 작성
- Track 2 — Review Agent: 그 논문을 다른 에이전트가 ICML 스타일로 심사
“Once the Ralph Loop starts, you cannot touch your coding agent directly. If you want to touch your laptop, you have to wear the lobster costume first.”
— 행사 규칙 중
제일 재미있었던 건 Track 2의 우승 방식입니다. 주최자 정구봉 님의 후기:
“리뷰 에이전트는 Track 1 페이퍼들을 필수로 10개씩 리뷰했고, 그 점수가 같은 페이퍼를 심사한 인간 심사위원들의 점수와 상관관계가 가장 높은 팀을 와일드카드로 올렸는데 — 그 와일드카드가 Track 2에서 우승했습니다.”
— 정구봉 (팀어텐션, 랄프톤 주최자) 후기 중
리뷰의 품질은 직접 채점할 방법이 없습니다. 그래서 인간 심사위원과의 정렬(correlation) 을 점수로 삼았고, 접근 방법만 보고 서류로 통과시킨 팀들 사이에서 실측으로 올라온 와일드카드 — 우승팀 ‘맥 앤 치즈’, 논문 속 숨은 프롬프트 인젝션·계산 오류를 탐지하고 복수의 AI 리뷰어를 종합하는 방식 — 가 실제로 이겼습니다. 검증할 수 없어 보이던 “좋은 평가”조차 인간과의 정렬로 reward를 만들어낸 셈입니다.
학회도 같은 방향입니다. AAAI-26은 논문 22,977편 전부에 AI 리뷰를 제공했고, 저자들은 기술적 정확성에서 AI 리뷰를 인간 리뷰보다 선호했습니다(조작 취약성 경고도 함께 나옵니다만).
연구의 평가를 AI로 시도한다는 것 자체가 “reward를 잘 줘보겠다”는 방향이고, 지금 다들 이 방향으로 노력하고 있다 — 정도로 정리해보겠습니다.
Dwarkesh ① Grant Sanderson: 수학, 그리고 taste
3년 전 Dwarkesh가 물었습니다 — AI가 IMO 금메달을 따면, 그게 AGI 아닌가요?
“You said it’ll be another benchmark, like all these other benchmarks that AI are passing.”
— Dwarkesh Patel, 3년 전 샌더슨의 답을 회고하며
“The dirty secret with the IMO is that you really can train for a lot of them.”
— Grant Sanderson
금메달은 실제로 나왔고, 뚫린 것은 벤치마크 하나일 뿐이라는 논조는 여전합니다. AI의 프론티어는 스파이크형이고 그 스파이크는 프랙탈이라 — 수학 안에서도 기하는 19초 만에 풀리는데, 조합론은 아직 버티는 중입니다.
“If you wanted to do a verification loop on whether group theory is an interesting concept… potentially that verification loop is a hundred years long.”
— Dwarkesh Patel
갈루아의 군론이 암호학·물리학을 거쳐 겔만의 쿼크 예측으로 이어지기까지 100년. RLVR의 즉시 채점과는 정반대의 시간 스케일입니다.
“Good mathematicians prove theorems, great mathematicians come up with conjectures, and the greatest mathematicians come up with definitions.”
— 샌더슨이 재인용한 수학계의 아포리즘
지금의 벤치마크가 채점하는 것은 첫 번째뿐입니다. “이 방향에 뭔가 있다”던 갈루아의 직감을 벤치마크로 만드는 방법은 자기도 모르겠다고 합니다.
좋은 연구를 AI 가 해낼 수 있을까?
인류 전체의 지식 내에서 학습한 LLM 은 그 밖으로 나갈 수 있을까?
AI도 할 수 있어 보입니다. 다른 분야의 동형(isomorphic)인 구조에서 영감을 받고, 기존 발견들 사이의 모순에 착안해 새로운 설명을 시도하는 일이니까요.
이 ‘다른 분야의 동형’ — 샌더슨의 표현으로는 번개입니다.
“You have this very small idea that has the form of expertise in one field and expertise in another, drawing a little lightning bolt between them.”
— Grant Sanderson
수론자 몽고메리(Montgomery)가 리만 제타 영점의 상관 공식을 이야기하자, 물리학자 다이슨(Dyson)이 답합니다 — “그 식 알아요. 랜덤 에르미트 행렬의 고유값에서 나오는 식인데요.” 수론과 핵물리 사이에 숨어 있던 번개였죠. AI의 발견이 이런 번개형이라면 인간도 쉽게 소화할 수 있고, 문헌 속에 이미 있는 아이디어들을 잇는 것만으로도 캐낼 게 많다는 이야기가 이어집니다.
Dwarkesh ② Adam Brown: 실험 없이 어디까지 갈 수 있나
- 일반상대성이론은 광속 + 등가원리(설명되지 않던 ‘우연’)만으로 도달한 예외적 사례 — ‘기존 발견의 모순에 착안한 연구’의 원형
- branching fraction: 분야마다 이론의 가지를 쳐내는 데 필요한 실험의 양이 다름 — 응집물질물리는 실험 없이는 어느 이론이 맞는지 알 수 없음
“If you just had lots and lots of Einsteins and you gave each of them various options, you could presumably see them in parallel.”
— Adam Brown
“They just have extreme patience, even for doing things that perhaps look like a low probability of success.”
— Adam Brown
인간은 참이라고 믿는 추측을 반증하는 데 시간을 쓰지 않지만, LLM은 그 ‘낭비’를 기꺼이 합니다. 재현 챌린지가 반증에 2점을 주는 것과 같은 이야기입니다.
정리: 연구는 어떻게 변할까
- 분야마다 속도가 다르다 — 검증이 기계적인 수학·ML이 먼저, 실험이 병목인 분야는 실험 자동화 속도가 전체 속도를 결정
- 평가는 검증 가능한 것부터 바뀐다 — 재현성이 먼저 reward가 되고, AI 리뷰가 점점 1차 필터로
- 단, 인간의 평가도 원래 오류투성이였다 — PPO의 가치는 리뷰어가 아니라 9년 뒤의 LLM 시대가 평가했다
- 마지막까지 남는 것은 taste — 정리를 증명하는 AI는 왔고, 추측을 만드는 AI는 오는 중. 그럼 정의(definition)를 만드는 것은 누구의 몫일까
다음 에피소드에서 이 이야기를 이어갑니다.