한눈에

François Chollet가 10월 11일(한국 시간) X에 차트 하나를 올렸다. 프론티어 랩이 학습 컴퓨트를 사전 학습과 사후 학습에 어떻게 나누는지 분기별로 보여 준다. 출처는 SemiAnalysis의 Tokenomics 모델이다.

사전 학습은 방대한 텍스트로 모델의 기본기를 만드는 단계다. 사후 학습은 그 뒤 강화학습 등으로 추론과 작업 능력을 다듬는 단계다.

사후 학습 비중

왜 중요한가

Chollet는 이 변화를 ‘전이적(transductive)’ 방식에서 ‘귀납적(inductive)’ 방식으로의 전환이라고 불렀다. 전에는 토큰을 하나씩 이어 붙여 답을 완성했다. 지금은 문제를 받으면 그 자리에서 추론 과정을 만들어 낸다는 설명이다.

그는 이것이 2025~2026년의 가장 큰 이야기이고, 코딩 에이전트가 제대로 돌게 된 이유라고 했다.

어떻게 바뀌나

차트에서 사후 학습이 사전 학습을 처음 넘어선 건 2025년 4분기다. 모델 경쟁의 무게가 얼마나 크게 미리 학습했느냐에서, 학습 뒤에 컴퓨트를 어떻게 쓰느냐로 옮겨 갔다는 그림이다.