한눈에

Garry Tan이 ‘궁금해서’ 오픈소스 평가 작업을 하고 있다며 중간 결과를 올렸다. 프런티어 모델을 여러 하니스에 붙여 비교하는 작업이다. 하니스는 모델을 감싸 코딩 일을 시키는 도구를 말한다.

게시물은 이미지 한 장이고, 그 안에 결과 두 가지가 적혀 있다.

결과 1: 우열을 가리지 못했다

7개 조합에 같은 코딩 과제 20개를 줬다. Opus에서는 Claude Code, OpenClaw, Hermes, QM, Sol에서는 Codex, OpenClaw, Hermes다.

통과율은 모두 71~79%였다. 모든 비교가 ‘구분 안 됨’으로 나왔다.

20개 중 14개가 모든 조합에서 같은 점수였다. Garry는 이를 무승부가 아니라 시험 문제라고 해석했다. 더 어려운 Terminal-Bench 재시험을 돌리는 중이다.

결과 2: 비용과 속도는 크게 달랐다

Opus에서 푼 과제 하나당 비용은 OpenClaw 약 0.44달러, Claude Code 0.22달러, Hermes 0.24달러, QM 0.19달러다.

OpenClaw는 시도당 약 99초로 가장 느렸고, Claude Code는 40초였다. Sol에서는 Codex가 0.17달러로 가장 싸고 빨랐다.

별도로 한 번 더 돌려도 같은 패턴이 나왔다.

왜 중요한가

하니스를 바꾸면 성능이 크게 달라진다는 이야기가 많다. 이 결과는 쉬운 과제에서는 통과율이 비슷하고 비용 차이가 더 크다고 보여 준다.

다만 20개 과제, 중간 결과다. Garry도 결론을 내리지 않았다.

어떻게 바뀌나

Garry는 지금은 비용과 속도로 고르라며 Opus에서는 Claude Code, Sol에서는 Codex를 꼽았다.

Terminal-Bench 재시험이 끝나면 더 어려운 과제에서 차이가 드러나는지 확인할 수 있다.