한눈에

SemiAnalysis가 PyTorch 콘퍼런스에서 나온 NVIDIA 엔지니어들의 발표를 X에 전했다. 프론티어 AI 모델로 CUDA 소프트웨어를 최적화하면서 속도가 급격히 빨라졌다는 내용이다.

숫자

메가커널은 여러 GPU 작업을 커널 하나로 묶어 오가는 비용을 줄이는 기법이다. 하루 전 SemiAnalysis는 SGLang이 메가커널을 지원하면서 GB300 NVL72에서 사용자당 초당 1,000토큰 가까이 냈다고도 전했다.

왜 중요한가

AI가 AI를 돌리는 소프트웨어를 빠르게 만들고 있다. 사람 전문가가 1년 걸려 얻은 개선과 비슷한 폭을 AI 도움으로 한 달 만에 얻었다. 숫자는 NVIDIA 발표를 SemiAnalysis가 옮긴 것이다.

어떻게 바뀌나

같은 하드웨어에서도 몇 달 사이 처리량이 크게 달라질 수 있다. 칩 성능 비교도 소프트웨어 최적화 속도를 함께 봐야 한다.