한눈에

Meta가 자사 AI 슈퍼클러스터 Prometheus의 내부를 공개했다. 오하이오주 New Albany에 있는 기가와트급 시설이다. 글은 10월 20일 새벽(한국 시간) 올라왔다.

1단계 공사는 이미 끝났다. 이 1단계에서 Muse Wonder를 비롯한 Muse 모델들을 훈련했다. 지금은 여러 건물에 걸친 GPU 수십만 장이 한 대의 기계처럼 움직인다. 다 지으면 GPU가 약 100만 장이 된다.

숫자

큰 훈련에서는 서버 한 대만 말썽을 부려도 전체 작업이 느려지거나 멈춘다. 그래서 Meta는 안정성 숫자를 앞세웠다. 굿풋은 전체 시간 가운데 실제로 학습에 쓴 시간의 비율이다.

장비

지금은 NVIDIA GPU 플랫폼 두 가지를 쓴다. 첫째는 GB200 NVL72 기반 Catalina다. 둘째는 GB300 NVL72 기반 Clemente로, GPU당 메모리가 192GB에서 288GB로 늘었다.

세 번째로 Vera Rubin NVL72 기반 플랫폼이 곧 들어온다. 냉각은 폐쇄 순환 액체 냉각 같은 기술을 쓴다.

왜 중요한가

프론티어 랩이 훈련 안정성을 숫자로 밝히는 일은 드물다. GPU를 많이 모으는 것보다 오래 끊기지 않고 돌리는 것이 더 어렵다. Meta는 그 부분에서 얼마나 해냈는지 보여 줬다.

어떻게 바뀌나

Meta는 Meta Superintelligence Labs의 다음 프론티어 모델을 염두에 두고 Prometheus를 계속 키운다고 했다. 클러스터가 커질수록 중단 간격을 지키기는 더 어려워진다.