한눈에
Anthropic이 11월 13일(미국 시간) 안전 평가를 만드는 방법을 정리한 글을 올렸다. 안전 평가는 모델이 해를 끼치거나 거들 가능성이 얼마나 되는지를 잰다.
능력 평가와 다르다. 능력 평가는 “과제를 해냈나”를 묻는다. 안전 평가는 “이 입력에서 모델이 옳게 행동했나”를 묻는다.
무엇을 권하나
글은 네 단계로 나뉜다. 안전, 설계, 실행, 보고다.
먼저 팀을 제대로 꾸리라고 한다. 통계와 채점을 맡을 방법론 전문가와, 무엇이 해인지 정할 심리학자·생물학자 같은 분야 전문가가 처음부터 같이 있어야 한다.
설계 단계에서는 재고 싶은 것을 실제로 재는지 확인하라고 한다. 질문을 객관식으로 내느냐, 보기 순서를 어떻게 두느냐만 바꿔도 결과가 흔들리기 때문이다.
실행 전에는 가설과 분석 계획을 미리 적어 두라고 한다. 심리학에서 말하는 사전 등록이다. 보고할 때는 통계를 빠짐없이 싣고, 큰 결함을 찾으면 개발사에 먼저 알리라고 한다.
왜 중요한가
Anthropic은 안전 평가 결과로 모델 출시 여부와 함께 붙일 보호장치를 정한다. 평가가 허술하면 그 판단도 흔들린다.
글은 AI 평가가 쉽게 조작되고, 재현하기 어렵다는 지적이 반복돼 왔다고 인정한다. 그래서 다른 랩과 연구자도 쓸 수 있는 공통 기준을 내놓은 셈이다.