한눈에

형식 검증은 코드에 특정 버그가 없다는 걸 수학으로 증명하는 방법이다. 지금까지는 너무 비쌌다. seL4 운영체제 커널은 만드는 데 2인년, 검증하는 데 20인년이 들었다.

Anthropic Frontier Red Team은 이 비용을 Claude로 크게 낮췄다고 밝혔다. 스타트업 Theorem과 함께 몇 주 만에 OSS-Fuzz 라이브러리 123개를 증명했다.

왜 중요한가

AI가 버그를 찾아 공격하는 속도가 빨라졌다. Anthropic은 테스트로 버그를 찾는 것만으론 모자라고, 버그가 없다는 걸 보여야 한다고 본다.

증명을 하다 보면 버그도 나온다. 약 20MB짜리 특정 입력에서만 터지는 압축 해제기 버그가 나왔고, libexpat의 알려진 취약점도 다시 찾았다.

Vinod Khosla는 X에 Theorem의 팬이라며, 확률적인 LLM에 형식 검증을 더하는 건 넓게 중요한 개념이라고 썼다.

어떻게 바뀌나

한계도 분명하다. 증명은 명세에 적힌 성질만 보장한다. 그래서 형식 검증됐다는 말이 곧 버그가 없다는 뜻은 아니라고 Anthropic도 적었다.

Theorem은 OSS Verify를 시작했다. 오픈소스 프로젝트라면 무료로 충돌이 없다는 증명이나 필요한 패치를 받는다. Theorem은 같은 작업을 하는 Claude 스킬도 공개한다.