한눈에
SemiAnalysis가 PyTorch 콘퍼런스에서 나온 NVIDIA 엔지니어들의 발표를 X에 전했다. 프론티어 AI 모델로 CUDA 소프트웨어를 최적화하면서 속도가 급격히 빨라졌다는 내용이다.
숫자
- 2025년 10월~2026년 8월, 전문가가 직접 최적화: 1년에 5배
- 2026년 9월~10월, AI 도움: 한 달에 2배
- 2026년 10월, AI 오케스트레이션 + 메가커널: 1.5배 추가
메가커널은 여러 GPU 작업을 커널 하나로 묶어 오가는 비용을 줄이는 기법이다. 하루 전 SemiAnalysis는 SGLang이 메가커널을 지원하면서 GB300 NVL72에서 사용자당 초당 1,000토큰 가까이 냈다고도 전했다.
왜 중요한가
AI가 AI를 돌리는 소프트웨어를 빠르게 만들고 있다. 사람 전문가가 1년 걸려 얻은 개선과 비슷한 폭을 AI 도움으로 한 달 만에 얻었다. 숫자는 NVIDIA 발표를 SemiAnalysis가 옮긴 것이다.
어떻게 바뀌나
같은 하드웨어에서도 몇 달 사이 처리량이 크게 달라질 수 있다. 칩 성능 비교도 소프트웨어 최적화 속도를 함께 봐야 한다.