한눈에
에이전트를 오래 돌리면 대화 기록, 즉 컨텍스트가 계속 길어진다. 그러면 응답이 느려지지 않을까 걱정하게 된다.
SemiAnalysis는 사내 Claude Opus 5.5 사용 기록으로 답했다. 느려지긴 하지만, 캐시돼 있다면 크게는 아니다.
숫자로 보면
- 5만~10만 토큰: 첫 토큰까지 중앙값 0.9초
- 60만 토큰 이상: 중앙값 1.6초
캐시는 이미 읽은 앞부분을 다시 계산하지 않도록 저장해 두는 기능이다.
어떻게 바뀌나
긴 작업을 맡는 에이전트를 설계할 때 캐시를 잘 쓰는 게 속도의 핵심이라는 뜻이다.
같은 계정은 일본 데이터센터 업체 Datasection의 실적 전망 89% 하향도 분석했다.