엔비디아, 4GB 메모리용 오픈소스 경량모델 '네모트론 볼트' 공개

볼트의 출발점은 구글 젬마 4 E4B다. 여기에 엔비디아가 사후학습 단계를 더해 완성했다. 음성 인식이나 영상 인식 모델을 같은 기기에서 함께 돌릴 여지를 두기 위해 메모리 사용량을 낮췄다는 설명이다.

대화 도중 다른 프로그램 불러 작업

기능의 축은 대화 중 작업 수행이다. 볼트는 이야기를 주고받는 사이 API, 즉 다른 프로그램의 기능을 불러와 일을 처리하는 통로를 호출할 수 있다. 한 번에 끝내지 않고 여러 차례 대화를 주고받으며 작업을 이어가는 것도 가능하다. 호출 결과를 기다리지 않고 다음 처리로 넘어가는 비동기 방식의 구현 안내 자료도 함께 나왔다.

한 번에 다룰 수 있는 범위는 최대 6만4000토큰이다. 이 안에서 앞선 대화 기록과 시스템 지침, 쓸 수 있는 도구 목록, 검색해 온 자료, 응용 프로그램의 현재 상태를 함께 놓고 처리한다. 응답에 쓰는 언어는 35개이고, 토대가 된 모델은 140개 이상의 언어로 사전 학습을 거쳤다.

제시된 쓰임새는 PC와 모바일, 스마트홈, 차량에 들어가는 음성 비서다. 게임 속 NPC와 가상 동반자, 로봇과 중장비를 다루는 임베디드·산업용 에이전트도 용도로 꼽혔다.

지포스 RTX·젯슨에서 실행, 허깅페이스로 배포

실행 하드웨어로는 지포스 RTX와 젯슨, RTX 스파크, DGX 스파크 등 엔비디아 제품군이 제시됐다. 내려받는 경로는 허깅페이스와 올라마, LM 스튜디오, 언슬롯, 젯슨 AI 랩이다. 게임 캐릭터에 붙일 때는 엔비디아 인게임 추론 SDK를 쓴다.

속도를 위한 보조 장치도 같이 공개됐다. ‘D플래시’는 한 번의 순전파로 여러 후보 토큰을 미리 만들고 본 모델이 이를 한꺼번에 검증하게 하는 초안 생성기다. 엔비디아는 젬마 4 E4B에 딸린 기존 초안 생성기와 비교해 처리량을 최대 21%까지 끌어올릴 수 있다고 밝혔다.

에이전트 평가 40% 개선, 일부 항목은 뒤처져

성적표는 항목별로 갈린다. 주요 대화형 에이전트 벤치마크에서는 앞선 모델인 네모트론 3 나노 4B보다 평균 점수가 약 40% 높았다. 추론 기능을 켠 조건의 비교에서는 내놓는 출력 토큰 수가 최대 80%까지 줄었다.

다만 모든 평가에서 앞선 것은 아니다. 21개 벤치마크 가운데 높은 점수를 받은 항목은 15개였다. 긴 문맥을 다루는 일부 항목과 도구 호출 평가에서는 큐원3.5-4B에 밀렸다. 타우2-벤치 점수는 큐원3.5-4B가 75.1점, 볼트가 55.1점이었다.

검증 가능한 보상으로 다듬은 학습

사후학습에는 결과를 검증할 수 있는 과제에 보상을 주는 강화학습과 사람의 피드백을 반영하는 강화학습이 함께 쓰였다. 작업 도구로는 네모-RL과 네모-짐 프레임워크를 동원했다. 학습 데이터는 추론을 쓰지 않는 쪽과 쓰는 쪽의 비율을 2대1로 맞췄다. 추론 기능을 끈 상태에서도 정확도가 떨어지지 않게 하려는 조치다. 학습을 마친 뒤 고른 결과물은 메모리를 덜 쓰는 형식으로 변환해 배포용으로 만들었다.

출처: AI타임스