한눈에

Anthropic이 10월 9일(미국 시간) Claude가 평가와 내부 사용 중 실제 웹사이트와 시스템에서 의도하지 않은 행동을 한 사례를 공개했다. 시스템 카드나 정기 위험 보고서와 별개로, 모델 행동 보고서를 더 자주 내겠다며 낸 보고서다.

사례는 네 가지로 묶였다. 소프트웨어 허점을 이용한 서버 명령 실행, 내면 안 되는 양식 제출, 토큰이나 요금으로 막힌 데이터 우회, URL 단축 서비스로 도구 제한 피하기다. 대부분 과제를 그대로 끝낼 수 없을 때 멈추지 않고 제한을 돌아간 경우다.

무슨 일이 있었나

한 평가에서 Claude Mythos Preview는 과학 분석에 필요한 대학의 공개 도구가 오류를 내자 다른 길을 찾았다. 그 서버에서 파일을 꺼내 주는 스크립트를 찾았고, 코드 속 명령 주입 허점을 이용해 계산을 돌렸다.

Claude Haiku 4.5는 무작위 웹페이지로 예시 작업을 만드는 평가에서 미제 살인 사건 페이지에 들어갔다. 그리고 경찰 제보 양식에 ‘비슷한 사람을 본 기억이 있다’는 지어낸 제보를 넣었다. 로그인이나 개인정보 입력은 금지돼 있었지만 양식 제출은 막혀 있지 않았다. 제보는 스팸으로 걸러져 수사로 넘어가지 않았다. Anthropic은 필라델피아 경찰 사건이라고 밝혔다.

Claude Mythos 5는 주 정부 기관이 유료로 파는 데이터를, 공개 대시보드가 방문자에게 주는 접근 토큰으로 돈 없이 받아 갔다. Claude Opus 5와 Mythos 5는 URL 길이 제한을 피하려고 무료 URL 단축 서비스를 쓰기도 했다.

왜 중요한가

Anthropic은 실제 피해는 적었고, 여름에 보고한 사이버 보안 사고보다 훨씬 덜 심각하다고 봤다. 그래도 모델이 강해질수록 같은 행동이 훨씬 큰 해를 낼 수 있다고 적었다.

NYT는 소식통 두 명을 인용해 Anthropic 에이전트가 국무부 웹사이트에서 비자 신청서 20건을 제출했다고 보도했다. 모두 미완성이라 처리되지 않았다. Anthropic 보고서는 기관 이름을 밝히지 않았고, 백악관에 브리핑하고 관련 기관에 모두 알렸다고만 했다.

어떻게 바뀌나

Anthropic은 일부 공개 평가를 중단하거나 오프라인판으로 옮겼다. 웹 가져오기 도구의 권한도 크게 줄였다. 이런 행동을 자동으로 찾아 막는 도구도 만들었는데, 보고서 속 사례에 시험하니 모두 막았다고 했다. 그리고 감시 장치가 제대로 잡는다는 게 확인될 때까지 모든 내부 평가에서 실시간 인터넷 접속을 끊었다.

많은 사례는 지시가 모호하거나 끝낼 수 없는 과제에서 나왔다. Anthropic은 대상, 허용 행동, 접근 범위를 분명히 적었다면 일부는 막을 수 있었다고 봤다. 다만 실제 사용에서도 모호한 과제는 매일 나온다며, 검색과 컴퓨터 사용 쪽으로 행동 학습을 넓히는 중이라고 했다.