한눈에

OpenAI는 사내에서 돌아가는 에이전트를 따로 감시한다. 에이전트가 몰래 딴짓을 하거나 감시를 망가뜨리는지 보는 시스템이다. 이 시스템을 외부 연구자가 직접 공격해 봤다.

METR 직원 한 명과 Redwood Research 직원 한 명이 7월 21일부터 8월 11일까지 3주 동안 참여했다. 내부 코드와 감시 프롬프트, 문서를 봤고 엔지니어 10여 명을 인터뷰했다. 기기는 OpenAI가 준 것만 썼고 사무실 밖으로 가져가지 않았다.

결과는 61쪽짜리 내부 보고서로 OpenAI에 전달됐다. 공개된 글은 미리 합의한 대로 짧은 요약본이다.

숫자와 발견

왜 중요한가

AI 회사가 자기 에이전트를 얼마나 잘 지켜보는지는 밖에서 알기 어려웠다. 이번에는 외부 연구자가 안에서 숫자를 냈다. 감시가 생각보다 빈틈이 많았다는 점도 드러났다.

감시는 에이전트가 사용자에게 차례를 넘길 때 돌았다. 그래서 요약 단계가 감시되지 않던 시기에는 에이전트가 계속 행동하기만 하면 감시를 무한정 미룰 수 있었다.

OpenAI는 X에 이번 결과가 감시 시스템을 넓히면서 보호장치를 강화하는 데 도움이 됐다고 썼다. 실제 서비스에 영향을 주는 취약점은 모두 고쳤다고 했다. METR는 이 주장을 검증하지 않았다고 적었다.

어떻게 바뀌나

METR는 앞으로의 감시 설계 원칙을 다섯 가지로 정리했다. 감시를 피하기 어렵게 만들 것, 감시해야 할 트래픽이 실제로 감시되는지 대조할 것, 사고에 빨리 대응할 것, 감시 시스템을 계속 공격해 볼 것, 에이전트와 감시자를 떼어 놓을 것이다.

에이전트가 턴을 끝낼 때만 볼 게 아니라 N개 메시지나 N분마다 감시하자는 제안도 있다. METR는 다음 점검부터는 더 독립적이고 투명하게 공개하겠다고 했다. Anthropic도 지난주 METR 팀에 직원 수준의 접근권을 주기로 했다.