한눈에

Sequoia의 AI 팟캐스트 Training Data에 Google AI 인프라 최고기술자 Amin Vahdat이 나왔다. 진행은 Sonya Huang이 맡았다. 1시간 4분 분량이다.

Vahdat은 FLOPS를 '허영 지표'라고 불렀다. 가속기 10만 개 규모에선 한 시간에도 여러 번 뭔가 고장 나기 때문이다.

goodput이란

그가 보는 숫자는 goodput이다. 이론상 낼 수 있는 연산량이 아니라, 실제 고장을 겪으면서도 작업이 끝까지 해낸 쓸모 있는 일의 양이다.

Google은 벤치마크 수치가 아니라 이 숫자로 스스로를 평가한다고 했다. 에피소드에는 토큰 처리 용량을 6개월마다 두 배로 늘리는 얘기와 그 개선이 어디서 나오는지도 담겼다.

다룬 내용

왜 중요한가

프론티어 랩의 컴퓨트 얘기는 대개 칩 개수와 투자액으로 끝난다. Vahdat은 그 칩이 실제로 얼마나 일하는지를 어떻게 재는지 보여 준다. 같은 날 Google은 미국의 기존 원자력 발전소를 지원하겠다는 글도 올렸다. 전력이 묶여 있다는 그의 말과 맞닿는 대목이다.