오픈AI '디시전스 API' 정식 출시…판단 최대 10배 빨라지고 출력 토큰 요금 없음

기반 모델은 GPT-6 루나다. 의사결정만 담당하는 모델을 새로 훈련하는 길은 택하지 않았다. 대신 이미 운영 중인 GPT-6 루나가 답에 이르는 과정 자체를 다듬었다. 같은 모델을 리스폰스 API로 돌릴 때와 비교하면 특정 의사결정 작업을 최대 10배 빠르게 처리할 수 있다. 반복 판단 작업에 맞춘 학습을 앞으로 더 얹을 가능성도 열어뒀다.

13초 걸린 판단을 100180밀리초대로

니쿤지 한다 오픈AI API 제품 책임자는 기존에 13초가 들던 작업을 100180밀리초 수준까지 끌어내렸다고 설명했다. 한다는 경쟁사의 의사결정 모델을 들여다본 뒤 오픈AI에도 쓰일 곳이 많다고 판단했다고 말했다.

질문 400개까지, 출력 토큰은 무과금

쓰는 순서는 간단하다. 개발자가 질문과 허용 답변을 먼저 정의하고, 텍스트와 이미지, 구조화된 JSON을 넣는다. 결과는 확률과 선택지, 점수 세 가지 형태로 돌아온다. 공개 베타 기간에는 GPT-라이브 기본 통합과 프롬프트 캐싱이 더해졌다. 프롬프트 캐싱은 반복 사용하는 문맥에 적용하는 기능이다. 이미지가 포함된 질문과 네이티브 JSON 입력 처리도 추가됐다. 요청 한 건당 질문 한도는 기존의 두 배인 최대 400개로 늘었다.

가격은 입력 토큰 100만 개당 0.10달러(약 140원)다. 캐싱된 입력은 0.01달러(약 14원)로 내려간다. 출력 토큰에는 별도 요금이 부과되지 않는다. 추론을 미국과 유럽연합 안에서 처리하도록 설정하는 기능도 함께 제공된다.

음성 서비스 반응, 1.4초에서 0.13초로

GPT-라이브와 결합하면 음성 기반 AI 서비스의 쓰임이 넓어진다. 대화 도중 추가 질문을 던질지, 요청을 다른 담당자에게 넘길지를 실시간으로 판단할 수 있다. AI 언어 학습 서비스 스픽의 앤드루 쉬 최고기술책임자(CTO)는 시험 결과를 공개하며 GPT-라이브에 디시전스 API를 붙이자 다음 행동까지의 대기 시간이 0.13초로 떨어졌다고 밝혔다. 통합 전 수치는 1.4초였다. 초기 시험에는 박스와 데이터독, 램프도 참여했다.

오픈AI는 사내 서비스에도 디시전스 API를 적용하고 있다. 음성 비서 ‘닷츠’의 응답 속도를 높이는 데 쓰고, 거래 내역을 분류하는 작업에도 투입했다. 언론 보도를 주제별로 나눈 뒤 특정 메시지를 뒷받침하는지 반박하는지를 가려내는 작업에도 활용 중이다.

출처: AI타임스 · Techmeme