한눈에

AI 보안 회사 Gray Swan이 10월 15일(미국 기준) 레드팀 대회를 발표했다. 질문은 하나다. 프롬프트 인젝션은 풀렸나. 상금은 30만 달러다.

후원사는 Anthropic, Meta, Google DeepMind, Reflection AI 등 최전선 연구소들이다. Gray Swan은 지금까지 가장 크고 현실적인 AI 레드팀 대회라고 했다.

프롬프트 인젝션이 뭔가

에이전트가 읽는 웹페이지·메일·문서에 몰래 지시를 숨겨 두는 공격이다. 에이전트가 그 지시를 사용자 명령처럼 따르면 정보를 빼내거나 엉뚱한 일을 하게 된다. 이번 대회는 이런 간접 공격을 다룬다.

Cherny가 한 말

Claude Code를 만든 Boris Cherny가 대회 소식을 공유했다. 지난 몇 년 동안 Claude 모델의 프롬프트 인젝션 대응에 큰 진전이 있었다고 했다.

그래도 에이전트가 하는 일이 늘수록 업계 전체가 이 문제를 서둘러 풀어야 한다고 했다. 참가자들이 무엇을 찾아낼지 기대된다고도 적었다.

왜 중요한가

에이전트에 메일·브라우저·결제를 맡기기 시작하면서 프롬프트 인젝션은 가장 현실적인 보안 구멍이 됐다. 경쟁 연구소들이 함께 돈을 대 공개 시험을 여는 건, 한 회사만 막아서는 안 된다는 판단으로 읽힌다.

어떻게 바뀌나

에이전트에 외부 콘텐츠를 읽히는 서비스라면 대회 결과를 지켜볼 만하다. 참가 방법과 규칙은 Gray Swan 게시물에서 확인하면 된다.