미스트랄, 음성 모델 4종에 에이전트 SDK 묶은 '복스트랄 3' 공개

인식 모델 3종, 용도별로 갈랐다

인식 모델은 쓰임새에 따라 셋으로 나뉜다. 주력인 ‘복스트랄 스몰 트랜스크라이브 3’은 다국어 전사와 화자 구분, 문맥 기반 인식을 지원한다. ‘복스트랄 미니 트랜스크라이브 3’은 매개변수 40억개 규모의 경량 모델로, 비용과 처리 속도가 중요한 환경을 겨냥했다. ‘복스트랄 미니 트랜스크라이브 리얼타임 3’은 실시간 스트리밍에 특화됐다.

세 모델은 공통으로 화자 구분과 문맥 편향을 지원한다. 문맥 편향이란 사람 이름이나 업계 용어처럼 중요한 낱말을 모델에 미리 알려줘 받아쓰기 정확도를 끌어올리는 기법이다. 묶음 단위로 처리하는 배치 전사는 50개 이상 언어를 지원한다. 실시간 모델에는 사용자의 발화가 끝난 시점을 감지하는 기능이 들어갔다.

오류율 2.1%, 분당 0.0035달러부터

정확도는 단어 오류율(WER)로 제시됐다. 수치가 낮을수록 정확도가 높다. 아티피셜 애널리시스가 집계한 비실시간 음성-텍스트 변환 순위에서는 스몰 트랜스크라이브 3이 단어 오류율 2.1%로 3위를 차지했다. 같은 평가에서 미니 모델은 2.2%를 기록했다.

실시간 모델의 수치는 설정에 따라 갈렸다. 미스트랄이 공개한 FLEURS 35 평가에서 지연 240ms 설정의 오류율은 7.4%, 2400ms 설정에서는 5.7%였다.

과금은 인식 모델이 분당 기준이다. 미니 트랜스크라이브 3은 분당 0.0035달러(1달러=1400원 기준 약 4.9원), 스몰 트랜스크라이브 3은 0.004달러(약 5.6원), 실시간 모델은 0.008달러(약 11.2원)다.

30분 음성으로 목소리와 말하기 스타일 재현

음성 생성 모델 ‘복스트랄 스피치 3’은 35개 이상 언어와 50개 이상 방언에서 음성을 만든다. 감정과 속도, 강조를 반영하며 태그를 써서 설정을 지정할 수 있다. 오디오 생성이 시작되는 시간은 약 90ms, 가격은 문자 100만개당 13달러(약 1만8200원)다.

음성 적응 기능 ‘프로 보이스’는 최대 30분 분량의 음성을 제공하면 해당 화자의 목소리와 말하기 스타일을 재현한다. 지원 언어 전반에서 동일한 목소리를 활용하도록 설계됐다.

전화·브라우저 통화까지 받는 에이전트 SDK

음성 에이전트 SDK는 라이브킷을 기반으로 전사와 추론·도구 호출, 음성 생성을 한 파이프라인에서 처리한다. 미스트랄은 대화 한 턴을 1초 이내에 처리하도록 설계했다고 설명했다.

SDK는 전화 통화용 신호 규격인 SIP와 브라우저·앱 기반 세션용 실시간 통신 기술인 WebRTC를 함께 처리한다. 사용자가 에이전트의 말을 끊으면 응답을 중단하고, 개발자는 단계별 모델을 필요에 따라 교체할 수 있다.