한눈에
Y Combinator 대표 Garry Tan이 X에 에이전트 스킬 관리법을 짧게 적었다. 스킬은 에이전트가 특정 일을 할 때 꺼내 쓰는 지침 묶음이다.
그는 스킬도 평가(eval)를 돌리며 고쳐야 한다고 했다. 새 모델이 나올 때마다 좋아지니, 쓸모없어진 스킬은 빼면 된다는 얘기다.
실제 사례
Tan은 /investigate 스킬을 지웠다. Opus 5.5가 그 스킬 없이도 더 잘했기 때문이라고 했다.
그는 글 끝에 “AGI 물결이 차오르는 게 느껴진다”고 덧붙였다.
왜 중요한가
스킬과 프롬프트는 대개 옛 모델의 약점을 메우려고 붙인다. 모델이 좋아지면 그 지침이 오히려 방해가 될 수 있다.
같은 날 Anthropic 메모리 글에서도 비슷한 결과가 나왔다. 강한 모델에 ‘실패만 기록하라’ 같은 고정 규칙을 주자 성능 이득이 줄었다.
어떻게 바뀌나
모델을 올릴 때 스킬별로 켜고 끈 평가를 같이 돌리면, 지워도 되는 지침을 숫자로 고를 수 있다.