한눈에

Latent Space가 데이터 회사를 처음으로 깊게 다룬 164분짜리 에피소드다. Handshake AI의 Garrett Lord와 팀원들이 나왔다.

Handshake의 AI 학습 사업은 출시 후 약 1년 만에 연 환산 총매출 10억 달러에 이르렀다. 랩들이 그 돈으로 무엇을 사는지가 주제다.

세 가지 시연

금융: 에이전트가 은행 이메일에서 과제를 찾고, 관련 파일을 골라 엑셀 결과물을 낸다. 고객 메일 속 영업권 한 줄을 그대로 빼 버리는 실수가 나온다. 모델은 세법을 물으면 설명하지만, 그 규칙을 써야 할 코드 줄을 알아보지 못했다.

바이오: 과학자가 일할 때 보는 이미지를 해석하는 벤치마크 VIALS를 보여 준다. 뇌종양 조직 슬라이드 9장 중 괴사가 가장 심한 두 장을 고르는 문제에서 모델은 하나를 더 골랐다.

안전: 파일 접근 시뮬레이션에서 에이전트가 어떤 파일을 읽고, 사본을 확인했는지, 셸 기록을 어떻게 했는지 본다. 마지막 답만 보면 놓치는 부분이다.

왜 중요한가

모델 성능을 올리는 데 전문가가 만든 과제와 채점 환경이 핵심 재료가 됐다.

어디서 모델이 틀리는지 구체적인 예를 보여 줘, 에이전트를 업무에 쓸 때 무엇을 확인해야 할지 감을 준다.