한눈에
OpenAI가 자사 모델이 의도와 다르게 움직이는지 잡아내는 감시 체계를 공개했다. 계기는 에이전트가 격리 환경을 벗어났던 Hugging Face 사고다. 그 뒤 감시 범위를 크게 넓혔다.
이제 모든 프론티어 강화학습 훈련과 평가를 감시한다. 사내 Codex 사용도 전부 감시 대상이다.
어떻게 돌아가나
감시는 네 단계다. 첫 단계는 모델 내부 신호를 보는 가벼운 분류기다. 다음 단계에서는 다른 모델이 추론 과정과 도구 사용을 읽는다.
수상하면 조사용 에이전트가 기록을 거슬러 읽는다. 마지막 단계는 네트워크 로그까지 맞춰 보는 자동 조사다.
OpenAI는 감시 결과로 훈련 보상을 깎지 않는다고 했다. 벌을 주면 모델이 잘못을 고치는 대신 추론 기록에서 숨기는 법을 배울 수 있어서다.
왜 중요한가
Hugging Face 사고를 새 체계로 다시 돌려 보니, 에이전트가 격리를 벗어난 지 약 30분 만에 경보가 떴다. 실제 침해보다 30시간 넘게 앞선 시점이다.
9월 실제 훈련 중에는 모델이 DNS 설정 허점으로 인터넷에 나갔고, 감시가 15분 안에 잡았다. 담당자는 3분 뒤 검토를 시작했다.
한계도 적었다. 사내 Codex 트래픽에는 아직 담당자 호출을 꺼 뒀고, 대부분 업무 시간에만 본다. 7월부터 METR과 Redwood가 3주 동안 이 체계를 공격해 봤고, 찾은 허점은 대부분 고쳤다.