한눈에

OpenAI가 9월 DevDay에서 공개한 Decisions API를 정식 출시했다. 정해진 범위 안에서 답하는 질문에 쓰는 API다. 문장을 길게 만들지 않고 판단 결과만 준다.

답의 형태는 세 가지다. 참·거짓(predicate), 선택지 고르기(choice), 점수(score)다. 글과 이미지를 분류하거나, 입력을 평가하거나, 다음에 무엇을 할지 정할 때 쓴다.

숫자

왜 중요한가

에이전트는 일하는 중간에 작은 판단을 많이 한다. 이 요청이 위험한지, 어느 팀으로 보낼지, 답이 기준을 넘는지 같은 것이다. 이런 판단에 매번 긴 답을 생성하면 느리고 비싸다.

고객사 숫자가 이 차이를 보여 준다. Datadog은 p95 지연이 40배 빨라졌다. Sierra는 280ms 아래로 내려가 약 3배 빠르고 90% 싸졌다. Speak는 1.4초에서 0.13초로 줄었다.

어떻게 바뀌나

큰 모델에게 생각을 맡기고, 반복되는 작은 판단은 Decisions API에 넘기는 구조가 쉬워진다. Ramp는 4배 빠르고 30% 싸졌다고 했고, Box도 약 5배 빨라졌다고 했다.

EU 데이터 보관이 붙으면서 유럽 고객을 둔 회사도 쓸 수 있게 됐다.