한눈에
MIT CSAIL의 오마르 카탑 팀이 GPT-6 Astra로 신경망 가중치를 직접 읽고 쓰는 실험을 공개했다. 이름은 ‘가중치 공간 프로그래밍’이다.
보통 가중치는 Adam 같은 최적화 알고리즘이 학습으로 정한다. 이번에는 LLM이 가중치가 무엇을 계산하는지 추론한 뒤 직접 숫자를 바꿨다.
무엇을 해냈나
가중치 1만 7,253개를 도구 없이 읽고, 그 신경망이 Breakout 게임을 학습했다고 99% 확신으로 맞혔다.
차가 언덕을 못 넘던 정책 신경망은 가중치 3.5%를 한 번에 고쳐 성공률을 0%에서 100%로 바꿨다.
Qwen3.5-0.8B에서는 추론이 같은 말을 맴도는 문제를 가중치에서 찾아냈다. 0.016%만 고쳐 MATH-500을 7.9%에서 48.1%로, IFEval을 약 3배로 올렸다.
입출력 층을 뗀 작은 언어 모델에서도 Python·로마자 일본어·영어 중 무엇을 학습했는지 모두 맞혔다. 앞 내용을 베끼는 어텐션 헤드도 실제 측정값과 똑같이 짚었다.
왜 중요한가
지금까지 LLM은 프롬프트나 코드처럼 글로 된 것을 고치는 데 주로 쓰였다. 신경망 가중치는 사람이 손으로 못 고치니 알고리즘의 몫이었다.
연구진은 이 경계가 무너지고 있다고 본다. 카탑은 전체 비용이 1,000달러 안팎이었다고 했다. 마리오 츠흐너도 추천 글로 공유했다.
어떻게 바뀌나
연구진은 머지않아 LLM이 가중치를 직접 추론하며 최적화하게 될 것이라고 전망했다. 해석 가능성 연구에도 쓸 수 있다고 봤다.
아직은 작은 모델과 제한된 과제에서 나온 초기 결과다.