한눈에

OpenAI가 웹사이트 운영자를 위한 공통 신호를 따르겠다고 밝혔다. 사이트가 자기 글을 생성형 AI 기초 학습에 써도 되는지 robots.txt 한 곳에서 밝히는 방식이다.

robots.txt는 검색 로봇에게 어디를 읽어도 되는지 알려 주는 파일이다.

무엇이 달라지나

지금까지는 회사마다 크롤러 이름이 달랐다. 운영자는 크롤러를 하나씩 찾아 규칙을 따로 적어야 했다.

공통 신호를 쓰면 한 번에 여러 AI 회사에 같은 뜻을 전할 수 있다. 참여하는 회사가 많을수록 쓸모가 커진다.

기존 OpenAI 크롤러 설정은 그대로 유지된다. 새 신호가 그것을 대신하지는 않는다.

앞으로

이번 신호는 IETF의 AI Preferences 작업 그룹 논의를 바탕으로 했다. OpenAI는 같은 그룹의 다른 참여자들과 함께 발표했다고 밝혔다.

실제 적용은 앞으로 몇 달 안에 하고, 그때 자세한 방식을 다시 알린다. OpenAI는 다른 AI 회사도 이 신호를 따르라고 권했다.