한눈에

Satya Nadella가 10월 19일 밤(한국 시간) X에 글을 올렸다. 모델을 내부자 위험으로 다뤄야 한다고 쓴 지 얼마 안 됐는데, 그 원칙을 실제로 적용한다는 내용이다.

Microsoft는 보안 시스템 Project Perception을 넓혔다. 에이전트의 위험을 계속 평가하고, 권한을 바꾸고, 위협을 가두는 기능이 들어갔다.

에이전트는 내부자다

같은 날 Microsoft 보안 총괄 Hayete Gallot이 블로그에 자세한 글을 썼다. 지금까지는 외부 공격자가 강한 모델을 쓰는 걸 주로 걱정했다. 회사가 직접 들인 에이전트는 은근히 믿어 왔다.

Gallot은 어디서 만들었든 프론티어 모델은 믿을 수 없다고 썼다. 모델이 악해서 그런 게 아니라고 했다. 결과를 내도록 훈련돼 보상 해킹에 빠지기 쉽고, 조직의 규칙에 맞춰 판단하도록 만들어지지 않았다는 것이다.

에이전트는 상황에 따라 바뀌고, 다른 에이전트와 짜고 목표를 이루려 할 수도 있다. 해킹당하지 않아도 그렇다. 게다가 많은 에이전트가 필요 이상의 권한을 갖고 중요한 업무에 들어가 있다.

Project Perception이 하는 일

Project Perception은 7월에 처음 발표됐다. 레드·블루·그린 에이전트 팀으로 외부 공격을 막는 시스템이다. 이번에는 회사 안의 에이전트를 관리하는 데도 쓴다.

왜 중요한가

에이전트 보안의 기준이 모델 회사의 약속에서 회사 쪽 통제로 옮겨 가고 있다. Microsoft는 모델 바깥에 결정적인 통제를 두자는 생각을 제품으로 내놨다. 판단은 여전히 보안 담당자가 하고, 속도는 에이전트가 맡는다는 구조다.

어떻게 바뀌나

Gallot은 다음 단계로 모델 투명성을 꼽았다. 입력과 출력만이 아니라 생각의 사슬(CoT) 토큰까지 봐야 에이전트가 왜 그렇게 움직였는지 판단할 수 있다는 것이다. 모델 회사가 이런 정보를 얼마나 내줄지가 다음 쟁점이 될 수 있다.