한눈에
SemiAnalysis가 10월 13일 X에 AMD 소식을 올렸다. AMD가 MegaKernel 디코드 지원을 upstream vLLM에 넣었다는 내용이다. 지금은 ROCm에서만 되고, NVIDIA CUDA에서는 아직 안 된다.
MegaKernel이 뭔가
디코드할 때 GPU 커널 실행 횟수를 10분의 1로 줄이는 기법이다. SemiAnalysis는 사용자와 빠르게 주고받아야 하는 대화형 디코드에서 특히 중요하다고 했다.
왜 드문가
vLLM의 주요 기능은 보통 CUDA에 먼저 들어간다. 이번엔 ROCm에만 들어갔다. SemiAnalysis는 CUDA 쪽 upstream 지원은 draft PR조차 없다고 했다. ROCm vLLM에 중요한 이정표라고 평가했다.
Latent Space AINews도 같은 주 추론 소식에서 이 건을 짚었다.
왜 중요한가
추론 최적화는 그동안 NVIDIA가 먼저 받는 게 보통이었다. 큰 기능 하나라도 AMD가 먼저 가져가면, GPU를 고를 때 따질 거리가 하나 는다.
어떻게 바뀌나
vLLM으로 대화형 서비스를 돌리면서 AMD GPU를 검토 중이라면, ROCm MegaKernel 디코드를 직접 재 볼 만하다. 실제 지연이 얼마나 줄었는지는 원문에 없다. 자기 워크로드로 확인하는 편이 낫다.