한눈에

OpenAI가 생활 속 일을 AI가 얼마나 잘 처리하는지 재는 평가 LifeVal을 공개했다.

어린이집 찾기, 정부 서비스 신청, 예산 짜기, 학교 준비, 장보기 같은 일이다. 조언만 하는 게 아니라 실제로 일을 끝내는지 본다.

어떻게 만들었나

미국 생활시간 조사와 다국가 생활시간 조사에서 사람들이 하루에 하는 일을 먼저 추렸다.

여기에 인구 구성을 맞춘 3,995명 설문을 더했다. 어떤 일에서 개인 비서 도움을 가장 원하는지 물었다.

그 결과 돌봄, 건강, 교육, 집안 행정, 가계, 쇼핑, 정부 서비스 같은 분야가 들어갔다.

숫자로 보면

OpenAI가 공개한 예시 과제 점수는 이렇다.

이사 뒤 유치원 고르기 93.1%, 홍수 대비 자원봉사자 조직 98.0%, 조건에 맞는 집 찾기 100%, 멀리 사는 할머니와 경기 같이 보기 96.3%, 당뇨 진단받은 부모 식단 짜기 90.4%다.

왜 중요한가

OpenAI는 지난 1년 동안 LifeVal로 모델을 재고 고쳐 왔다고 했다. 특히 브라우저 사용, 컴퓨터 사용, 커넥터 쪽이다.

매주 10억 명 넘게 ChatGPT를 쓰는 만큼, 일반인이 실제로 바라는 일을 기준으로 실력을 재겠다는 방향이다.

어떻게 바뀌나

ChatGPT는 대화 도구에서 일을 대신 처리하는 개인 비서 쪽으로 가고 있다.

다만 전체 점수표나 다른 회사 모델과의 비교는 이번 글에 없다. 예시 과제 점수만 나왔다.