한눈에
OpenAI가 ‘상주 평가(embedded assessment)’ 1단계를 시작한다고 밝혔다. 외부 전문가가 랩 안에 들어와 오래 머물며 모델을 검사하는 방식이다.
참여 기관은 네 곳이다. Apollo Research, METR, Transluce, Goodfire다.
평가 기관은 OpenAI 연구자가 쓰는 자료 일부를 그대로 받는다. 학습 중간 모델(체크포인트), 소스 코드, 학습·평가 데이터, 감시 시스템, 담당 연구자와의 대화가 들어간다.
기관별로 보는 것
- Apollo Research: 모델이 몰래 개발자 뜻을 거스를 수 있는지, 그걸 감시 장치가 잡는지 본다.
- METR: OpenAI 역대 최대 강화학습 실행에서 기존 테스트가 놓친 잘못된 행동을 찾는다.
- Transluce: 사후 학습 단계의 정렬 평가가 얼마나 촘촘한지 검토한다. 2027년 초 약 8주짜리 후속 평가도 계획했다.
- Goodfire: 해석 가능성 연구자를 보내 학습 중인 모델 내부를 들여다본다.
민감한 자료를 다루는 평가자는 OpenAI 사무실에서 회사 기기로 일한다. 다툼이 생기면 이사회 산하 안전·보안 위원회가 최종 판단한다.
비판도 바로 나왔다
Google DeepMind의 Neel Nanda는 시도 자체는 좋다고 했다. 다만 Sam Altman이 약속한 ‘직원 같은 접근’에는 못 미친다고 썼다.
Apollo가 밝힌 한계를 근거로 들었다. Slack은 볼 수 없다. 면담 대상은 OpenAI가 고른다. 공식 면담은 기록이 남아 속 얘기를 꺼내기 어렵다.
그는 정보 흐름을 OpenAI가 쥐고 있으니 결국 선의에 기대야 한다고 봤다.
왜 중요한가
AI가 빨라질수록 랩 스스로 “안전하다”고 말하는 것만으로는 부족하다. 바깥 사람이 내부를 확인할 수 있어야 한다.
OpenAI는 이 평가가 백악관 초지능 협약에서 약속한 독립 평가의 일부라고 밝혔다.
어떻게 바뀌나
OpenAI는 앞으로 안전 규정 준수, 조직 문화까지 평가 범위를 넓히겠다고 했다.
접근 범위를 두고 랩과 평가 기관 사이 줄다리기가 이어질 것이다. 다른 랩도 비슷한 기준을 요구받게 된다.