풀사이드, 단일 장비서 돌아가는 1180억 매개변수 오픈웨이트 코딩 모델 공개

한 대의 장비에서 돌아가는 코딩 모델

풀사이드가 공개한 라구나 S 2.1은 코딩 에이전트를 위한 오픈웨이트 파운데이션 모델이다. 오픈웨이트는 모델의 가중치가 공개돼 이용자가 직접 내려받아 쓸 수 있는 모델을 뜻한다.

이 모델의 가중치는 허깅페이스에 공개됐다. 라이선스 표기는 매체별로 갈리는데, The Next Web은 리눅스 재단의 오픈MDW로, 디지털투데이는 오픈MDW-1.1로 적었다.

라구나 S 2.1은 토큰당 80억 개의 매개변수만 활성화하는 전문가 혼합(MoE) 구조를 사용한다. 전문가 혼합은 입력마다 전체 매개변수 가운데 일부만 골라 작동시키는 구조다. 전체 규모는 1180억 개이며, 이 모델은 엔비디아 DGX 스파크 한 대에서 구동할 수 있다.

성능 주장과 남은 한계

풀사이드는 라구나 S 2.1이 터미널벤치와 SWE벤치 프로에서 더 큰 딥시크·엔비디아·싱킹머신스 모델과 대등하거나 앞섰다고 밝혔다. 두 평가는 모델이 코드 작성 등 작업을 스스로 이어가는 에이전틱 코딩 성능을 잰다. 라구나 S 2.1은 터미널벤치에서 70%를 조금 넘고 SWE벤치 프로에서 60%에 가까운 점수를 기록했다. 디지털투데이가 명시한 비교 모델은 딥시크-V4-플래시, 엔비디아 네모트론3울트라, 싱킹머신스 잉클링이다.

다만 풀사이드는 이 모델이 아직 최상위권 수준은 아니라고 밝혔다. The Next Web은 오픈AI와 앤스로픽의 폐쇄형 모델이 같은 평가에서 더 높은 점수를 기록했다고 보도했다.

공개 배경과 회사 상황

The Next Web은 포브스 보도를 인용해, 풀사이드가 서구권 기업과 정부에 데이터를 해외 제공자에게 보내지 않고 자체 구동할 수 있는 대안을 제공하려 했다고 전했다. 풀사이드는 이번 공개 전 11개월 동안 서구권 연구소가 1180억 매개변수급 오픈웨이트 모델을 공개하지 않았다고 주장했다. The Next Web은 이번 공개를 딥시크·알리바바 큐원·문샷의 키미가 앞서 온 오픈웨이트 분야에 대한 서구권의 대응으로 설명했다.

풀사이드는 2023년 전 깃허브 최고기술책임자 제이슨 워너와 에이소 칸트가 설립했다. 회사는 내부 모델 팩토리 플랫폼을 이용해 엔비디아 H200 GPU 4000장에서 4주 미만 동안 라구나 S 2.1을 학습했다고 밝혔다. The Next Web은 소형 모델 라구나 XS가 이번 모델보다 3주 먼저 나왔으며, 풀사이드가 약 5주 간격으로 새 모델을 낸다고 전했다.