한눈에
ARC Prize가 10월 16일(한국 시간) Gemini 4 Argon의 ARC-AGI 검증 점수를 올렸다. ARC-AGI는 처음 보는 퍼즐을 얼마나 일반적으로 푸는지 재는 시험이다. 3은 가장 새롭고 어려운 판이다.
30분 뒤 Francois Chollet이 이 결과를 인용했다. Argon의 ARC-AGI-3 성능 양상이 Astra와 비슷하다고 했다. 그리고 Google이 최전선에 돌아왔다고 적었다.
점수
- ARC-AGI-3: 97.5%, 4,800달러 (모델 제공사 맞춤 하네스)
- ARC-AGI-3: 49.8%, 5,800달러 (표준 하네스)
- ARC-AGI-2: 91.3%, 과제당 0.32달러
- ARC-AGI-1: 98.5%, 과제당 0.16달러
하네스 차이
같은 ARC-AGI-3인데 하네스에 따라 97.5%와 49.8%로 갈렸다. 하네스는 모델이 문제를 받고 답을 내도록 감싸는 실행 틀이다. 맞춤 틀이 점수를 크게 끌어올렸다는 뜻이다.
ARC Prize는 Google DeepMind가 ARC-AGI-3에서 95%를 넘긴 두 번째 최전선 연구소라고 했다.
왜 중요한가
Argon 출시 뒤 개발자 평가는 엇갈렸다. 이번엔 Google 발표가 아닌 외부 시험에서 최상위권 점수가 나왔다. ARC를 만든 Chollet이 직접 최전선이라고 인정한 점도 무게가 있다.
어떻게 바뀌나
모델을 비교할 때 ARC-AGI-3 숫자는 하네스 조건을 같이 봐야 한다. 자기 에이전트 틀에서 Argon이 어느 쪽 숫자에 가까운지는 직접 재 보는 편이 낫다.