한눈에

SemiAnalysis가 10월 13일 X에 AMD 소식을 올렸다. AMD가 MegaKernel 디코드 지원을 upstream vLLM에 넣었다는 내용이다. 지금은 ROCm에서만 되고, NVIDIA CUDA에서는 아직 안 된다.

MegaKernel이 뭔가

디코드할 때 GPU 커널 실행 횟수를 10분의 1로 줄이는 기법이다. SemiAnalysis는 사용자와 빠르게 주고받아야 하는 대화형 디코드에서 특히 중요하다고 했다.

왜 드문가

vLLM의 주요 기능은 보통 CUDA에 먼저 들어간다. 이번엔 ROCm에만 들어갔다. SemiAnalysis는 CUDA 쪽 upstream 지원은 draft PR조차 없다고 했다. ROCm vLLM에 중요한 이정표라고 평가했다.

Latent Space AINews도 같은 주 추론 소식에서 이 건을 짚었다.

왜 중요한가

추론 최적화는 그동안 NVIDIA가 먼저 받는 게 보통이었다. 큰 기능 하나라도 AMD가 먼저 가져가면, GPU를 고를 때 따질 거리가 하나 는다.

어떻게 바뀌나

vLLM으로 대화형 서비스를 돌리면서 AMD GPU를 검토 중이라면, ROCm MegaKernel 디코드를 직접 재 볼 만하다. 실제 지연이 얼마나 줄었는지는 원문에 없다. 자기 워크로드로 확인하는 편이 낫다.