한눈에
SemiAnalysis가 NVIDIA Rubin NVL72의 새 추론 속도를 전했다. GLM5.3 744B 모델을 에이전트 작업으로 돌렸을 때 사용자당 초당 862토큰이 나왔다.
눈에 띄는 건 속도가 오른 방식이다. NVIDIA가 저지연 전용 커널을 넣어 8일도 안 돼 응답 속도를 2배 가까이 올렸다고 했다.
왜 중요한가
에이전트는 모델을 수십, 수백 번 연달아 부른다. 한 번 부를 때 조금만 느려도 전체 작업 시간이 크게 늘어난다. 사용자당 속도가 에이전트 경험을 좌우하는 이유다.
같은 하드웨어에서 소프트웨어만으로 이만큼 바뀌었다. 새 칩 성능표는 출시 뒤 몇 주 사이에도 크게 달라질 수 있다.
어떻게 바뀌나
SemiAnalysis는 지난주부터 에이전트 작업 기준 벤치마크를 이어서 내고 있다. 칩을 비교할 때 처리량보다 사용자당 속도를 보는 흐름이 굳어지고 있다.