한눈에

Paul Christiano는 Alignment Research Center를 이끈다. 미국 AI 안전 연구소 안전 책임자를 지냈고, OpenAI에서 정렬 팀을 이끌며 RLHF를 만들었다. 최근 OpenAI 이사회에 들어갔지만 이번엔 개인 자격으로 말했다.

어제 예고만 나왔던 에피소드가 정식 공개됐다.

숫자로 보면

왜 이렇게 보나

근거는 두 가지다. 지난 한 달 동안 OpenAI와 Anthropic 모델이 수학 결과를 수백 개 냈다. 그는 10년치 성과에 맞먹는다고 했다.

다른 하나는 METR와 Anthropic의 보고다. AI 덕에 Anthropic 발전 속도가 약 두 배가 됐다는 내용이다. 다만 METR 전체 보고서가 가려져 있어 바깥에서 확인하기 어렵다는 점도 짚었다.

머신러닝 연구가 수학보다 1년쯤 뒤처진다고 보면, 그 일이 곧 AI 연구에서도 벌어질 수 있다는 논리다.

왜 중요한가

그는 지금 멈춰야 한다고 했다. 보안이 약한 상태로 달리면 중국이 지능 폭발 도중에 초지능을 훔쳐 갈 수 있다고 봤다. 그러면 모델이 위험해 보여도 멈출 수 없게 된다.

정렬 계획에 대해선 솔직했다. 보상 해킹을 고치고 채점기를 다듬는 방법은 몇 세대까지만 통한다고 봤다. 지금 어떤 방법도 초지능을 통제할 확률이 반반을 넘지 못한다고 했다.

어떻게 바뀌나

그가 내놓은 희망은 지능 폭발 도중 AI가 이 문제의 답을 찾아 주는 것이다. 에피소드 마지막 장 제목도 ‘날면서 비행기를 만든다’다.

첫 과제로는 우리가 3개월 뒤인지 1년 뒤인지 정확히 아는 것을 꼽았다. 랩 내부 지표를 더 공개하라는 압박이 커질 것이다.