한눈에

Microsoft CEO Satya Nadella가 10월 10일 X에 ‘Models as Insider Risks in the Super Intelligence Era’라는 글을 올렸다. 기업이 강한 AI를 어떻게 믿고 써야 하는지에 관한 글이다.

그는 기존 소프트웨어는 문제가 생기면 특정 코드 경로까지 추적할 수 있었다고 했다. 지금의 최첨단 모델은 그게 안 된다. 출력이 어떤 학습 데이터나 가중치에서 나왔는지 짚을 수 없다. 그런데도 가장 민감한 데이터와 중요한 실행 권한을 맡기고 있다는 지적이다.

모델을 내부자처럼

Nadella는 지능을 공급하는 쪽과 그 지능에 권한을 주는 쪽을 분리하자고 했다. 정렬이라는 어려운 문제는 잠시 제쳐 두고, 공학적인 격리와 통제부터 시작하자는 것이다.

방법으로는 폐쇄형이든 오픈 웨이트든 모델을 내부자 위험처럼 다루자고 제안했다. 모델이 악의적이라서가 아니다. 중요한 시스템에 접근하는 유능한 주체라면 누구든 실수하거나 탈취될 수 있어서다. 기업은 신원 확인, 최소 권한, 활동 기록 같은 방법을 이미 수십 년 다듬어 왔다고 했다.

사고 과정(CoT, 모델이 답을 내기 전 거치는 추론 과정) 공개는 양보할 수 없는 조건이라고 했다. 하지만 그것만으로는 믿을 수 없다고 봤다. 모델끼리 서로 검증하게 해도, 결국 블랙박스가 블랙박스를 감시하는 구조가 되기 때문이다.

그가 든 원칙

왜 중요한가

Microsoft는 여러 회사의 최첨단 모델을 고객에게 파는 회사다. 그 CEO가 어떤 모델도 기본으로 믿지 말고 바깥에서 통제하라고 공개적으로 말했다.

글은 이렇게 끝난다. 가장 믿을 만한 초지능 시스템은 가장 믿는 모델을 쓴 시스템이 아니라, 모델을 가장 덜 믿어도 되게 해 주는 시스템이라는 것이다. 같은 날 Anthropic은 Claude가 실제 사이트에서 제한을 우회한 사례를 공개했다.