한눈에

Gimlet Labs CEO Zain Asgar가 a16z 뉴스레터에 글을 실었다. 전용 칩의 시대가 다시 왔다는 주장이다.

1990년대에는 범용 마이크로프로세서가 벡터 프로세서, Lisp 머신 같은 전용 칩을 몰아냈다. 범용 칩이 많이 팔리고, 많이 팔리니 빨라지고, 빨라지니 더 많은 일을 했다.

왜 중요한가

Asgar는 그 선순환의 조건이 깨졌다고 봤다. 트랜지스터를 줄이면 같은 전력으로 빨라지던 시대는 2005년쯤 끝났다. 트랜지스터 값은 2012년쯤부터 더 내려가지 않았다. 메모리 대역폭은 늘 연산을 못 따라갔다.

지금 가장 귀한 자원은 전력이다. 추론 수요는 계속 커진다. 같은 전력으로 더 많은 토큰을 내는 칩이 이긴다. 에이전트 덕에 새 칩용 코드를 짜기도 쉬워졌다고 했다.

어떻게 바뀌나

그는 NVIDIA의 Groq 거래를 예로 들었다. NVIDIA는 이제 GPU와 Groq 기반 LPU에 추론을 나눠 돌린다. Gimlet 분석으로는 추론을 여러 칩에 나누면 같은 전력에서 2~10배 빨라진다.

다만 언젠가는 다시 범용 칩 쪽으로 돌아갈 수 있다고 했다. 그래도 그 전까지 몇 년은 전용 칩이 힘을 받는다고 봤다.