한눈에
Lenny's Podcast에 Anthropic의 해석 가능성 연구자 Emmanuel Ameisen이 나왔다. 해석 가능성은 모델 안에서 실제로 무슨 일이 일어나는지 들여다보는 연구다. 에피소드는 10월 18일 밤(한국 시간) 공개됐고, 길이는 약 1시간 12분이다.
Ameisen은 3년째 Anthropic에서 Claude 같은 모델 속을 연구하고 있다. 그 전에는 Stripe와 Insight에서 응용 머신러닝 일을 했다.
모델은 미리 계획한다
그의 연구에서 나온 대표 결과는 모델이 여러 토큰 앞을 미리 계획한다는 것이다. 그 계획을 겉으로 말하지 않아도 그렇다. 그래서 ‘다음 토큰 예측기’라는 설명은 모델을 과소평가한다고 했다.
모델이 개념을 일반적인 형태로 표현한다는 결과도 소개됐다. 사람의 의식적 처리와 무의식적 처리를 나누는 구분과 구조가 비슷한 무언가가 있을 수 있다는 이야기도 나왔다.
공학보다 생물학
Ameisen은 모델을 “만든다”기보다 “키운다”고 표현했다. 그래서 하는 일이 공학보다 생물학에 훨씬 가깝게 느껴진다고 했다. 모델을 사람처럼 보는 의인화가 오히려 맞는 접근일 수 있다고도 했다.
갑작스러운 능력 도약처럼 보이는 현상 뒤에도 매끄러운 스케일링 곡선이 있다고 설명했다. ‘J 공간’이 모델의 자기 인식에 대해 무엇을 보여 주는지, 해석 연구가 정렬·안전과 어떻게 이어지는지도 다뤘다.
왜 중요한가
모델 속을 볼 수 있어야 왜 그렇게 답했는지 따질 수 있다. 해석 연구를 직접 하는 사람이 제품 팟캐스트에 나와 쉬운 말로 풀었다. 연구자가 아니어도 지금 이 분야가 어디까지 왔는지 감을 잡기 좋다.
어떻게 바뀌나
뉴스레터의 요약과 대본은 유료 구독자용이다. 대화 자체는 YouTube, Spotify, Apple Podcasts에서 들을 수 있다.