한눈에

Omar Khattab이 X에 한 줄짜리 고백을 올렸다. 프론티어 LLM이 천재라고 느낀 순간이 아직 없다는 내용이다.

기준도 붙였다. 자신이 깊이 아끼는 일 가운데, 폭넓고 일관된 일에서 초인적이라고 느낀 적이 거의 없다고 했다.

왜 중요한가

Khattab은 DSPy를 만든 연구자다. 모델을 엮어 시스템을 만드는 쪽에서 오래 일했다. 그런 사람이 모델이 천재라는 말에 선을 그었다.

최근 AI가 수학 난제를 풀었다는 소식이 이어진다. 그래도 매일 모델을 쓰는 연구자가 체감하는 수준은 다를 수 있다는 얘기다.

어떻게 바뀌나

모델 평가는 점수만으로 끝나지 않는다. 누가 어떤 일에 써 봤는지가 함께 따라붙는다.