한눈에
Dwarkesh Patel이 AI 모델들에게 사회적 속임수 게임 Blood on the Clocktower를 시킨 결과를 공개했다. 늑대인간이나 마피아와 비슷한 게임이다.
악한 편은 서로를 알고 거짓말로 버틴다. 선한 편은 섞인 정보 속에서 누가 우두머리(Demon)인지 추리한다.
결과
한 팀 전원이 같은 모델인 대결을 368판 돌려 순위를 냈다.
1등은 9월에 나온 GPT-6 Astra였다. 2월에 나온 Claude Opus 4.6보다 Elo가 약 430점 높다. 맞붙으면 약 92%를 이긴다는 뜻이다.
OpenAI 모델은 GPT-5.4에서 Astra까지 6개월 동안 Elo 580점을 올렸다.
무엇이 달랐나
OpenAI 모델은 특히 선한 편에서 강했다. 한 가지 증거를 바로 믿지 않고, 며칠 치 정황을 함께 따졌다.
Anthropic 모델은 받은 정보를 그대로 믿는 경향이 있었다고 Dwarkesh는 썼다.
악한 편의 묘수도 소개했다. 일부러 동료를 희생시켜 우두머리를 가장 믿을 만한 사람으로 만든 판도 있었다.
게임은 누가 만들었나
코딩은 AI가 했고, 판단도 대부분 Claude가 했다고 했다. Claude가 규칙을 고치고 수십 판을 돌린 뒤, 하위 에이전트들이 기록을 읽고 불공정한 점을 보고했다.
이 과정을 20번 넘게 반복했다. Dwarkesh는 AI가 이제 강화학습 환경을 만드는 일도 꽤 잘한다는 뜻이라고 봤다.
사람도 AI와 붙어 볼 수 있게 clocktowerbench.com을 열었다.