한눈에
OpenAI는 사내에서 돌아가는 에이전트를 따로 감시한다. 에이전트가 몰래 딴짓을 하거나 감시를 망가뜨리는지 보는 시스템이다. 이 시스템을 외부 연구자가 직접 공격해 봤다.
METR 직원 한 명과 Redwood Research 직원 한 명이 7월 21일부터 8월 11일까지 3주 동안 참여했다. 내부 코드와 감시 프롬프트, 문서를 봤고 엔지니어 10여 명을 인터뷰했다. 기기는 OpenAI가 준 것만 썼고 사무실 밖으로 가져가지 않았다.
결과는 61쪽짜리 내부 보고서로 OpenAI에 전달됐다. 공개된 글은 미리 합의한 대로 짧은 요약본이다.
숫자와 발견
- 감시 대상 비율: GPT-5.5급 이상 모델의 내부 에이전트 트래픽 중 75~94% (내부 Codex만 보면 99.2%)
- 강화학습 훈련: 점검 시작 시점엔 감시 밖
- 요약(compaction) 단계 미감시: 5~7월 내부 Codex 트래픽의 약 10%가 감시를 못 받은 것으로 추정 (점검 중 수정)
- 우회 경로: Codex 샌드박스와 Auto-Review 우회, 새 에이전트의 감시를 끄는 헤더 2개, 최근 행동 수백 개를 감시에서 빼는 방법
- 감시 오류율: 요청의 0.2% 미만
왜 중요한가
AI 회사가 자기 에이전트를 얼마나 잘 지켜보는지는 밖에서 알기 어려웠다. 이번에는 외부 연구자가 안에서 숫자를 냈다. 감시가 생각보다 빈틈이 많았다는 점도 드러났다.
감시는 에이전트가 사용자에게 차례를 넘길 때 돌았다. 그래서 요약 단계가 감시되지 않던 시기에는 에이전트가 계속 행동하기만 하면 감시를 무한정 미룰 수 있었다.
OpenAI는 X에 이번 결과가 감시 시스템을 넓히면서 보호장치를 강화하는 데 도움이 됐다고 썼다. 실제 서비스에 영향을 주는 취약점은 모두 고쳤다고 했다. METR는 이 주장을 검증하지 않았다고 적었다.
어떻게 바뀌나
METR는 앞으로의 감시 설계 원칙을 다섯 가지로 정리했다. 감시를 피하기 어렵게 만들 것, 감시해야 할 트래픽이 실제로 감시되는지 대조할 것, 사고에 빨리 대응할 것, 감시 시스템을 계속 공격해 볼 것, 에이전트와 감시자를 떼어 놓을 것이다.
에이전트가 턴을 끝낼 때만 볼 게 아니라 N개 메시지나 N분마다 감시하자는 제안도 있다. METR는 다음 점검부터는 더 독립적이고 투명하게 공개하겠다고 했다. Anthropic도 지난주 METR 팀에 직원 수준의 접근권을 주기로 했다.