한눈에

해석 가능성은 AI 모델 안에서 무슨 일이 일어나는지 사람이 읽어 내려는 연구다. 10월 16일(한국 시간) 새벽, Goodfire의 Nick Cammarata가 이 분야에 좋은 소식이 있다는 글을 올렸다.

몇 시간 뒤 Google DeepMind의 Neel Nanda가 긴 반론을 붙였다. 하루 사이 Sam Altman과 Jacob Hilton도 한마디씩 보탰다.

Cammarata의 주장

Cammarata는 OpenAI에서 초기 해석 가능성 연구를 함께 썼던 사람이다. 그때는 신경망이 엉킨 매듭처럼 보여 비관했다고 했다. OpenAI 첫 대규모 자동 해석 프로젝트에서는 읽을 수 있는 뉴런이 약 2%뿐이었다.

지금은 다르다고 했다. 요즘 에이전트 도구로 자세히 보니 수조 파라미터 모델까지 대부분의 뉴런이 읽힌다는 것이다. 유명한 “엉킨 뉴런” 사례 상당수도 잘못 읽은 것이었다고 했다. 단순한 방법을 엄청난 규모로 돌리면 통한다는 교훈일 수 있다고 적었다.

Nanda의 반론

Nanda는 흥미로운 연구라고 했다. 모델이 왜 수상한 행동을 했는지 뉴런 단위로 따져 보는 실용적인 용도에는 통할 수 있다는 증거로 봤다. 뉴런을 쓰면 최전선 모델에 적용하기도 훨씬 쉽다고 했다.

하지만 해석 가능성을 풀었다는 큰 결론에는 동의하지 않았다. 모델은 뉴런 수보다 훨씬 많은 사실을 외운다. 그래서 여러 뜻을 겹쳐 담는 중첩(superposition)은 여전히 있다고 봤다. 약하게 켜지는 뉴런 활성에 그런 정보가 많이 숨어 있을 거라고도 했다.

다른 반응

Sam Altman은 Cammarata의 글을 인용하며 무척 기쁘다고 적었다. Jacob Hilton은 언어 모델은 커질수록 완전히 이해하기 훨씬 어려워진다고 반박하는 글타래를 올렸다. Nanda는 이 글타래를 좋은 정리라고 소개했다.

Latent Space에 따르면 Goodfire 논문은 아직 나오지 않았다.

왜 중요한가

해석 가능성은 정렬(모델이 사람 뜻대로 움직이게 하는 일)의 바탕으로 꼽힌다. 큰 낙관론이 나왔고, 분야의 대표 연구자가 바로 선을 그었다. 둘 다 에이전트로 뉴런을 읽는 방법은 더 파 볼 만하다고 본다.

어떻게 바뀌나

모델 감사나 이상 행동 분석에 뉴런 기반 도구를 써 볼 이유는 생겼다. 하지만 “모델을 다 이해했다”고 볼 근거로 쓰기는 이르다. 논문이 나오면 약한 활성 부분을 어떻게 다뤘는지부터 보면 된다.