엔비디아, 40개 언어 전사·31개 언어 번역 음성 모델 공개

오픈웨이트는 모델의 가중치 파일을 공개 배포해 이용자가 직접 설치하고 추가 학습할 수 있게 하는 방식이다. 배포 라이선스는 상업적 활용을 허용하는 오픈MDW 1.1이다. 추가 학습 도구인 네모 스피치와 음성 데이터셋 그래너리도 함께 제공된다.

작업마다 갈리는 지원 언어

기능별 적용 범위는 동일하지 않다. 전사는 40개 언어에서 작동하고, 번역은 31개 언어를 영어로 옮기거나 영어에서 해당 언어로 옮기는 방식이다. 화자를 가려내는 기능이 적용되는 언어는 13개다.

녹음에서 누가 어느 대목을 말했는지 나누는 화자 분리는 최대 8명까지 지원한다. 한 번에 다룰 수 있는 녹음 길이는 1시간까지이며, 단어 단위로 발언 시점을 기록해준다.

출력 형태는 자연어 지시로 고를 수 있다. 약품명 같은 전문용어를 미리 힌트로 넘기는 것도 가능하고, 녹음 내용이 뒷받침하는 경우에만 그 용어를 쓰도록 조건을 걸 수도 있다.

GPU 한 장에서 돌아가는 구조

구동 부담은 모델 내부를 여러 전문가 모듈로 나눠 입력마다 일부만 활성화하는 설계인 전문가 혼합 구조로 줄였다. 오디오 인코더를 포함한 활성 매개변수는 약 43억개이며, 이 덕분에 GPU 한 장에서 실행된다. 양자화 버전을 쓰면 DGX 스파크나 젯슨 AGX 토르에서 로컬로 돌리고, 블랙웰 데이터센터 GPU로 확장할 수도 있다.

엔비디아는 최적화된 NIM의 vLLM 구현을 기준으로, RTX PRO 6000 블랙웰 서버 에디션 GPU 한 장에서 초당 최대 2238초 분량의 음성을 전사했다고 밝혔다. 다만 이 서빙 최적화는 공개된 오픈소스 버전에 아직 들어가 있지 않다.

추가 학습 실험과 남은 제약

성능과 관련해 엔비디아는 이 모델이 허깅페이스 영어 오픈 ASR 리더보드에서 공개 가중치 모델 가운데 1위에 올랐다고 밝혔다. 화자 분리에서도 데이비드AI의 21개 언어 평가에서 가장 낮은 오류율을 냈고, 보이스아레나의 14개 시스템 비교에서 1위를 기록했다고 설명했다.

전문 분야 적용 실험 결과도 공개됐다. 인도 의사와 의대생의 녹음을 쓴 의료 실험에서, 추가 학습을 거친 뒤 학습에 들어가지 않은 화자를 대상으로 측정한 단어 오류율이 최적 프롬프트를 쓸 때와 비교해 상대적으로 45.8% 줄었다는 것이다. 단어 오류율은 음성 인식 오류를 평가하는 지표로, 낮을수록 정확도가 높다. 이 수치는 특정 조건에서 측정된 상대 감소폭이다.

같이 공개된 그래너리 v2는 지원 언어가 이전 판의 25개에서 48개로 늘었다. 녹음마다 발화를 그대로 적은 표기와 군말을 덜어낸 표기 등 여러 방식을 담았다. 엔비디아는 이 데이터셋이 모델 학습에 쓴 데이터와 완전히 같지는 않다고 밝혔다.

제약도 뚜렷하다. 녹음된 오디오를 받아 처리하는 오프라인 방식이어서 실시간 스트리밍 음성을 바로 다루지는 못한다. 오디오 질의응답 기능은 영어로 학습됐다.