엔비디아, 1200억 파라미터 개방형 에이전트 모델 공개…24GB·4GB 소형판도

1200억 가운데 120억만 쓰는 구조

슈퍼 VL은 상시 가동형 전문 에이전트를 겨냥한 모델이다. 전체 파라미터는 1200억이지만 전문가 혼합 구조를 써서 토큰 하나를 처리할 때는 120억만 활성화된다. 전문가 혼합은 모델을 여러 전문 영역으로 나눠 두고 들어온 입력에 필요한 부분만 골라 쓰는 방식이다.

엔비디아는 슈퍼 VL이 자사 최대 추론 모델과 견줄 만한 정확도를 약 5분의 1 파라미터로 낸다고 주장했다. The Decoder는 이 모델이 네모트론 3 울트라에서 증류해 만들어졌다고 전했다.

속도를 끌어올리는 장치도 들어갔다. 가중치는 4비트 NVFP4 형식으로 압축되며, 블랙웰 계열에서는 연산까지 4비트로 돌고 이전 세대에서는 가중치만 4비트로 두고 연산은 16비트로 처리한다. 또 내장된 초안 구성요소가 여러 토큰을 미리 제시하고 본 모델이 한 번의 순방향 연산으로 검증하는 추측 디코딩이 쓰인다. 엔비디아는 이 방식이 쓰지 않을 때보다 문장 생성 속도를 최대 2.3배 높인다고 주장했다.

24GB와 4GB로 내려온 소형판

볼트 74B-A9B 24GB는 2비트 양자화를 적용해 메모리 24GB 환경에 들어가도록 만들어졌다. 양자화는 수치의 정밀도를 낮춰 모델 용량을 줄이는 기법이다. 이 모델은 다른 응용 프로그램과 함께 구동하는 것을 전제로 설계됐다.

볼트 E4B 4GB는 지포스 RTX와 젯슨, RTX·DGX 스파크에서 돌아가는 물리·대화형 에이전트용으로 소개됐다. 개인용 그래픽카드인 지포스 RTX가 지원 기기로 제시된 모델은 이 소형판이다. 활용 예로는 음성 비서와 대화형 캐릭터, 내장형 인터페이스가 제시됐다. 슈퍼 VL과 볼트 74B-A9B는 발표 당시 이용 가능하다고 소개됐다.

자체 데이터로 손보는 사례

The Decoder는 엔비디아가 가중치와 함께 데이터셋과 학습 방법을 공개하지만 제공 구성이 자사 하드웨어에 맞춰 최적화돼 있다고 전했다. 엔비디아는 맞춤화 수단으로 니모 프레임워크와 파이선 파이프라인, 공개 데이터셋을 제시했다. 활용 예로는 보험금 청구의 부정 여부 선별과 자체 기준에 따른 신용도 평가를 들었다.

사후 학습, 즉 공개된 모델을 받아 자체 데이터로 더 가르치는 작업 사례도 함께 제시됐다. NVIDIA Blog 발표문에는 스케일 AI와 애프터쿼리, AI21, 앨리스, 머코어가 슈퍼 VL을 특정 업무에 맞게 사후 학습하거나 맞춤화한 사례가 담겼다. 엔비디아는 의료보험 청구 업무에 맞춘 사후 학습 사례에서 기본 모델보다 44% 성능이 향상됐다고 제시했다.

성능 주장과 남은 쟁점

엔비디아는 아티피셜 어낼리시스의 비교를 근거로 슈퍼 VL이 동급의 차순위 개방형 에이전트 모델보다 5배 빠르다고 주장했다. ZDNET은 같은 비교에서 인클루전AI의 링 3.0 플래시와 딥시크의 V4.1 플래시가 각각 2위와 3위였다고 전했다. 엔비디아는 볼트 74B-A9B 24GB가 핀치벤치에서 동급 개방형 모델 1위라고 밝혔다. The Decoder가 독립 시험이라고 소개한 엑소 랩스의 DGX 스파크 시험에서는 슈퍼 VL보다 정확하면서 동시에 빠른 모델이 없었다.

슈퍼 VL은 미스트랄 AI와 싱킹 머신스 랩, 퍼플렉시티, 블랙 포레스트 랩스가 참여한 네모트론 연합과 협력해 개발됐다. 이번 모델들은 기존 네모트론 계열에 합류한다. 8월 공개된 라이트닝은 대량 처리 작업을, 울트라는 고난도 추론 작업을 맡도록 구성돼 있다. ZDNET은 최근 몇 년간 중국 기반 연구소가 경쟁력 있는 개방형 가중치 모델에서 앞섰지만, 서구권 모델이 늘면서 그 구도에 도전이 이뤄지고 있다고 평가했다.