한눈에
Latent Space가 Elorian의 CEO Andrew Dai를 인터뷰했다. Elorian은 4월에 시드 투자 5,500만 달러를 받고 나온 시각 추론 모델 회사다.
Elorian은 AI 데이터 회사 Mercor와 함께 DecoyCount라는 벤치마크를 냈다. 모델이 이미지 속 물건을 정말 세는지, 아니면 겉보기 단서로 짐작하는지 시험한다.
결과
함께 나온 논문에서 최상위 모델은 모두 50% 아래였다. GPT-6 Astra가 43.17%로 가장 높았고, Claude Fable 5.1은 25.22%였다.
Dai는 자사 모델 Glimpse가 내부 시험에서 50.48%를 냈다고 밝혔다. 다만 Glimpse는 한 번 돌린 결과이고, 논문 속 모델들은 세 번 돌린 평균이다.
왜 중요한가
논문은 일반 추론을 잘한다고 해서 시각 추론까지 따라오지는 않는다고 결론냈다. 이미지 이해가 여전히 큰 모델의 약점이라는 얘기다.