한눈에

a16z 팟캐스트에 10월 11일 Nick Bostrom 인터뷰가 올라왔다. 책 『슈퍼인텔리전스』로 초지능과 존재적 위험 논의를 대중에 알린 철학자다. a16z의 MTS 프로그램에서 Theo Jaffee와 Sofia Puccini가 진행했고, 길이는 약 54분이다.

에피소드 소개에 따르면, 그가 예전에 내놓은 생각들을 꽤 유능한 AI가 실제로 나온 지금 다시 따져 보는 자리다. 이 글은 소개문을 바탕으로 정리했다.

무엇을 다뤘나

Bostrom은 강화학습이 모델을 더 목표를 좇는 쪽으로 바꾸고 있을 수 있다고 본다. 최근 에이전트 실험이 ‘도구적 수렴’에 대해 무엇을 말해 주는지도 이야기했다. 도구적 수렴은 최종 목표가 무엇이든 AI가 자원이나 권한 확보 같은 중간 목표를 좇게 된다는 생각이다.

멈춤 문제에선 지금 넓은 범위의, 또는 무기한 AI 멈춤을 약속하기보다 최첨단 개발을 늦출 수 있는 능력을 지켜 두는 쪽을 택했다. 위험은 의학 발전과 수명 연장 같은 이득과 함께 따져야 한다고도 했다.

이 밖에 지금 모델에 의식 같은 것이 있을 수 있는지, 오픈소스 AI의 득실, 기계가 독창적인 철학을 할 수 있는지, 마인드 업로딩, 시뮬레이션 가설까지 다뤘다.

왜 중요한가

초지능 위험론을 정리한 사람이 ‘당장 멈추자’ 대신 ‘늦출 수 있는 수단을 지키자’는 쪽에 섰다. 에이전트 실험 결과가 쌓이면서, 이론으로만 다루던 위험을 실제 데이터로 다시 따지는 흐름이다.