한눈에
Sequoia의 AI 팟캐스트 Training Data에 Google AI 인프라 최고기술자 Amin Vahdat이 나왔다. 진행은 Sonya Huang이 맡았다. 1시간 4분 분량이다.
Vahdat은 FLOPS를 '허영 지표'라고 불렀다. 가속기 10만 개 규모에선 한 시간에도 여러 번 뭔가 고장 나기 때문이다.
goodput이란
그가 보는 숫자는 goodput이다. 이론상 낼 수 있는 연산량이 아니라, 실제 고장을 겪으면서도 작업이 끝까지 해낸 쓸모 있는 일의 양이다.
Google은 벤치마크 수치가 아니라 이 숫자로 스스로를 평가한다고 했다. 에피소드에는 토큰 처리 용량을 6개월마다 두 배로 늘리는 얘기와 그 개선이 어디서 나오는지도 담겼다.
다룬 내용
- 2013년 TPU를 만들기로 한 결정과, 이번에 처음 TPU를 추론용 8i와 학습용 8t로 나눈 이유.
- DeepMind와 같은 방에서 칩을 함께 설계하고, 설계가 확정되기 전에 구조를 바꾸는 방식.
- 오래 일하는 에이전트 때문에 가속기뿐 아니라 CPU와 스토리지 수요도 크게 늘어난다는 점.
- 광 회로 스위치로 몇 밀리초 만에 예비 랙으로 연결을 돌리는 방식.
- 전력이 가장 큰 제약이라 Google은 자체 기가와트 발전보다 전력 회사를 기다리는 쪽을 택한다는 얘기.
- 궤도 데이터센터와 2036년의 수 메가와트급 랙.
왜 중요한가
프론티어 랩의 컴퓨트 얘기는 대개 칩 개수와 투자액으로 끝난다. Vahdat은 그 칩이 실제로 얼마나 일하는지를 어떻게 재는지 보여 준다. 같은 날 Google은 미국의 기존 원자력 발전소를 지원하겠다는 글도 올렸다. 전력이 묶여 있다는 그의 말과 맞닿는 대목이다.