한눈에
Latent Space의 AINews가 Gemini 4 Carbon에 대한 독립 평가를 한데 모았다. swyx는 Carbon 덕에 Google DeepMind가 Artificial Analysis 종합 지수에서 어쩌면 처음으로 1위에 올랐다고 적었다.
Artificial Analysis 기준 Carbon은 59점으로 1위다. 지수를 이루는 시험 9개 중 HLE-Diamond, TB-Science, AA-Omniscience, AutomationBench 4개에서 가장 높았다.
왜 중요한가
코딩에서는 아직 Anthropic이 앞선다. Artificial Analysis 코딩 에이전트 지수에서 Antigravity CLI로 돌린 Carbon은 59점, Claude Code와 Opus 5.5 조합은 62점이었다. FrontierSWE에서도 GPT-6 Astra(65.5%), Opus 5.5(62.3%)보다 낮은 61.2%였다.
대신 싸다. 지수 과제 하나에 7.76달러로 Opus 5.5의 10.04달러보다 적게 들고, 출력 토큰도 29% 적게 쓴다. Text Arena에서는 1위다.
어떻게 바뀌나
주의할 숫자도 있다. Artificial Analysis가 잰 환각 비율이 Argon의 4%에서 11%로 올랐다. 측정한 모델 중 두 번째로 낮은 수준이지만, 보안처럼 틀리면 비싼 일에 쓸 때는 걱정하는 목소리가 나왔다.
코딩 결과는 Antigravity CLI에서만 쟀다. 다른 하네스에서 같은 점수가 나올지는 아직 모른다.