한눈에
YC 대표 Garry Tan이 오픈소스 평가 저장소 g-harness-evals에 새 결과를 올렸다. Claude Code 2.1.322에서 Fable 5.2, Fable 5.1, Opus 5.5를 비교했다.
모델마다 과제 52개를 두 번씩 풀었다. 판정 기준은 실험 전에 미리 적어 두었다.
숫자로 보면
성공률은 Fable 5.2 82.7%, Opus 5.5 84.6%, Fable 5.1 75.0%였다.
Fable 5.2와 Opus 5.5의 차이는 -1.9점이다. 오차 범위가 0을 넘나들어 차이가 없다고 봤다.
푼 과제 하나당 비용은 Fable 5.2가 1.83달러, Opus 5.5가 0.65달러다. 이쪽은 분명히 Fable 5.2가 비쌌다.
어떻게 바뀌나
결론은 Claude Code 기본 모델로 Opus 5.5를 유지하라는 것이다.
다만 Opus가 이미 대부분을 푸는 과제라 차이를 가리기 어렵다. Garry도 둘을 가르려면 더 어려운 과제가 필요하다고 적었다. 어려운 14개 과제만 보면 Fable 5.2 75.0%, Opus 5.5 82.1%였다.