한눈에
SemiAnalysis가 새 벤치마크 GDPx를 공개했다. AI 에이전트가 경제적으로 가장 값진 분야에서 얼마나 일을 해내는지 재는 시험이다.
아직 갈 길이 멀다. 가장 잘한 모델도 12%에 그쳤다.
무엇을 재나
분야는 11개다. 칩 설계, 사이버보안, 바이오, 금융, 법률, 퀀트 트레이딩, AI 스스로 개선하기(RSI), 하드웨어 설계, 소재 과학, 정렬, 소프트웨어 개발이다.
정부·부동산·보험처럼 AI 매출이 당장 몰리지 않을 분야는 일부러 뺐다. 첫 1조 달러 AI 매출은 투자 대비 효과가 큰 몇몇 분야에 몰린다고 봤기 때문이다.
과제는 분야마다 전문 RL 환경 스타트업 14곳과 함께 만들었다. OpenAI의 GDPval은 에이전트가 나오기 전에 설계돼 지금 모델을 재기엔 부족하다고 지적했다.
결과는
Opus 5.5가 종합 1등이다. 퀀트 트레이딩, 하드웨어 설계, 칩 설계에서 이겼다.
Gemini 4 Carbon은 Opus·GPT-6 Astra와 같은 급으로 평가받은 유일한 모델이다. 바이오 1등이고 소프트웨어 개발도 근소하게 앞섰다. GPT-6 Astra는 RSI와 소재 과학에서 이겼다.
금융·법률 과제는 너무 어려워 모든 모델이 사실상 0점이다. 일부 모델은 보안 분류기가 걸려 점수가 깎였다. 그래서 보안 분야에서는 Muse Wonder Full이 지금 쓸 수 있는 최고 모델이라고 했다.
왜 중요한가
점수가 다 차 버린 벤치마크가 많은 상황에서 위로 올라갈 여지가 큰 시험이 하나 생겼다.
반응도 컸다. 순다르 피차이는 Carbon의 비용 선을 보라고 썼다. 바룬 모한은 최고 점수가 15%도 안 되는 평가가 반갑다고 했다. 딜런 파텔은 Google에 “공식 사과”한다며 Carbon이 잘 만들었다고 인정했다.
어떻게 바뀌나
같은 모델도 분야별 편차가 크다. 모델 하나로 모든 일을 맡기기보다, 분야별 점수와 비용을 보고 고르는 쪽이 맞다는 근거가 된다.
보안 분류기 때문에 깎인 점수가 따로 표시된다. 바이오·보안 일을 하는 팀은 이 부분을 따로 확인하는 편이 좋다.