한눈에
Latent Space의 AINews가 10월 16일 호 머리기사로 해석 가능성 논쟁을 골랐다. 이 뉴스레터에서 해석 가능성이 머리에 오르는 일은 드물다고 스스로 적었다.
주인공은 Goodfire의 Nick Cammarata다. 그의 글 제목은 “신경망은 이미 깨끗하다”이다.
주장
다의성은 뉴런 하나가 여러 뜻을 한꺼번에 담는 현상이다. 그동안 모델 내부를 읽기 어려운 이유로 꼽혔다. Cammarata는 유명한 다의성 사례 상당수가 에이전트로 더 자세히 분석하니 풀렸다고 주장했다.
AINews는 Qwen-32B 뉴런의 90%가 한 가지 일만 한다는 요약도 함께 인용했다.
반론
Neel Nanda는 자신의 핵심 판단은 바뀌지 않는다고 했다. 중첩은 여전히 있고, 약한 활성에 외운 사실이 담겨 있을 거라고 봤다. Leo Gao는 설명은 뉴런을 얼마나 잘 흉내 내는지로 평가해야 한다고 했다. Jake Mendel은 최대 활성이 아닌 나머지 영역이 무시됐다고 짚었다.
Pfau는 논문 자체가 아직 나오지 않았다고 지적했다.
Muse Spark Open 반응
같은 호는 Meta의 Muse Spark Open도 자세히 다뤘다. Artificial Analysis 지능 지수는 39점으로 미국 오픈 모델 1위였다. 출시가는 100만 토큰당 입력 1.25달러, 출력 4.25달러다.
라이선스는 “Built with Muse Spark Open” 표기를 요구한다. 연 매출 2천만 달러가 넘는 모델 서비스 회사는 따로 계약해야 한다. Nathan Lambert는 이 라이선스를 강하게 비판했다.
왜 중요한가
큰 주장이 나오면 지지와 반론이 하루 만에 쏟아진다. 이 호는 그 반응을 원문 링크와 함께 한곳에 모았다.
어떻게 바뀌나
해석 가능성 쪽 흐름을 따라가려면 이 호의 링크부터 차례로 읽으면 된다. 결론은 Goodfire 논문이 나온 뒤에 내리는 편이 낫다.