한눈에
Claire Vo의 How I AI 솔로 에피소드입니다. TypeSafe의 결정 모델 Jev를 제품 만드는 사람 시선으로 풉니다. YouTube·Spotify·Apple Podcasts로도 들을 수 있습니다.
Jev는 긴 글을 안 씁니다. 선택(choice)·점수(score)·확률(probability) 같은 타입 세이프 구조화 값만 돌려줍니다. 입력 ~4¢/M, 출력 요금 없음. 그래서 “분류·라우팅 레이어를 거의 공짜로” 돌리는 자리에 넣자는 게 핵심 주장입니다.
배경
대화형 LLM은 분류·묶기·라우팅에도 자주 쓰이지만, 출력 토큰까지 돈을 내고, 자유 텍스트를 다시 파싱해야 합니다. 대규모로 돌리면 비용이 먼저 막고, 스키마 깨짐·장황한 답이 뒤를 막습니다.
Jev는 그 레이어를 분리합니다. “결정만 하면 되는” 구간 — 이 PR은 무슨 카테고리인가, 이 메일은 얼마나 급한가, 이 시그널은 어느 클러스터인가 — 을 구조화 추론으로 빼고, 깊은 해석·초안·복잡한 추론만 프론티어 모델에 남깁니다. Vo는 같은 날 Lenny 뉴스레터 How I AI 라운드업에도 이 에피소드를 묶었습니다.
무슨 일 / 핵심 내용
에피소드 구성은 입문 → 타입 세이프 출력이 뭔지 → 출력 읽는 법 → 실전 다섯 건 → 데모(오디언스 대시보드, 보이스→컬러 감정 매핑) → 다음 회 예고입니다.
Vo가 강조하는 차이점은 “텍스트 생성기가 아니라 결정 모델”이라는 점입니다. 답이 문장이 아니라 스키마에 맞는 값이라, 파이프라인에 바로 꽂을 수 있습니다. 분류·페어와이즈 클러스터링·스코어링처럼 반복 많은 루프에 맞습니다.
실전에서는 “Jev만”이 아니라 “Jev + 프론티어”로 갑니다. Gmail 트리아지처럼 Jev가 점수·분류를 내고, 애매하거나 답이 필요한 건 LLM이 후속으로 붙는 패턴입니다. ChatPRD 인사이트 그래프처럼 시그널이 쌓이면, 분류 횟수가 수십만으로 불어나도 결정 레이어 비용이 달러 단위에 머무는 게 포인트입니다.
Vo가 먼저 묻자고 하는 질문: “이 파이프라인이 정말 결정만 하면 되는가?” — Yes면 Jev 자리, No면(긴 초안·깊은 분석·모호한 제품 판단) 프론티어 자리입니다.
숫자·스펙 / 실전 다섯 건
- 모델: TypeSafe AI Jev — decision model. 출력은 choice / score / probability 등 타입 세이프 구조화 값.
- 가격: 입력 ~4¢ per million tokens, 출력 요금 없음.
- 사이트: typesafe.ai (에피소드 링크).
- 1) PR 분류 — PR 약 1,700개 카테고리·페어와이즈 클러스터링. 비용 ~9¢. 엔지니어링 노력이 어디에 갔는지 보는 용도.
- 2) 로컬 세션 메타분석 — 본인 Claude Code·Codex 세션을 로컬에서 분석. “지금 당장 돌려볼 수 있는” 개인용 메타.
- 3) Gmail 트리아지 — Jev 스코어링 + LLM 후속. 급한 것/미룰 것/직접 답할 것을 가르고, 필요한 메일만 대화형 모델로.
- 4) ChatPRD 인사이트 그래프 — 시그널 ~1,100개, 분류 ~20만 건. Jev 쪽 비용 ~$4. 제품 인사이트를 그래프/클러스터로 묶는 대규모 결정 루프.
- 5) YT 댓글 오디언스 대시보드 — 댓글 약 4,500개 → 검색 가능한 오디언스 시그널 대시보드. “거의 공짜”에 가깝게 구축.
- 추가 데모: 오후 하루짜리 보이스→컬러 감정 매핑 앱 — Jev 속도가 실시간 UI에 붙는 감각을 보여 줌.
- 페어링: 분류·묶기·라우팅은 Jev. 어려운 추론·긴 생성은 GPT-6 Astra 같은 프론티어.
왜 중요한가
출력 토큰이 사실상 공짜에 가깝습니다. 예전엔 비싸서 안 돌리던 대규모 분류·실시간 루프·페어와이즈 비교가 “그냥 돌린다” 쪽으로 넘어갑니다. PR 1,700개에 9센트, 20만 분류에 4달러면, 제품팀이 매주 돌릴 수 있는 예산권입니다.
더 큰 함의는 아키텍처입니다. 모든 단계를 하나의 대화형 LLM에 맡기지 말고, 결정 레이어와 생성·추론 레이어를 나누라는 플레이북입니다. 비용·지연·스키마 안정성이 같이 좋아집니다.
Lenny/How I AI 채널에 “초보자용으로 무엇을 만들었는지”까지 실물이 붙었다는 점도 큽니다. API 스펙 공지보다, 제품 빌더가 일주일 만에 다섯 파이프라인을 돌린 기록이 설득력이 있습니다.
그래서 뭐
파이프라인에 “결정만 하면 되는” 단계가 있으면 Jev를 후보로 올려보세요. 라벨링, 우선순위 점수, 라우팅, 클러스터 전처리, 대량 댓글·티켓·PR 분류가 전형입니다.
반대로 긴 답·코드 생성·모호한 제품 판단은 프론티어에 남기면 됩니다. Vo의 한 주 실험이 보여 주는 분할은 단순합니다 — 싸게 많이 돌릴 결정은 Jev, 비싸게 깊게 볼 조각만 Astra급.