AWS, 선택 결과와 신뢰도 점수를 내는 경량 모델 '스트랜즈 디사이더 2B' 오픈소스 공개

선택과 신뢰도 점수만 내놓는 모델

스트랜즈 디사이더 2B는 의사결정 모델이다. 의사결정 모델은 문장을 만들어내는 대신 주어진 선택지 가운데 하나를 고르는 데 특화된 모델이다. 고른 결과와 함께 그 선택에 대한 신뢰도 점수도 내놓는다. 신뢰도 점수는 모델이 자기 선택을 얼마나 확신하는지 수치로 나타낸 값이다.

대신 판단의 근거를 문장으로 풀어주지는 않는다. 디지털투데이는 이 모델에 텍스트 생성 기능이 없어 선택 이유를 설명하지 못한다고 전했다.

기반 모델과 구조 변경

이 모델은 큐원3.5-2B를 기반으로 한다. AWS는 기존 LLM의 출력 헤드 대신 약 100만 개 파라미터 규모의 맞춤형 포인터 헤드를 적용했다. 포인터 헤드는 모델이 선택지 가운데 하나를 가리키도록 기존 출력 헤드를 대체한 구조다. 같은 매체는 공개된 모델이 20억 파라미터 규모이며, AWS가 이 크기를 두고 로컬 장비에서 150밀리초 미만의 지연으로 실행될 만큼 작으면서 복잡한 결정을 처리할 수 있는 수준이라고 설명했다고 전했다.

배포 방식과 활용 전략

모델은 로컬 배포와 빠른 실험에 맞춰 설계됐으며 노트북이나 퍼블릭 클라우드에서 실행할 수 있다. 디지털투데이는 가중치를 허깅페이스에서 내려받을 수 있고 코드베이스와 학습 스크립트, 예제가 깃허브에 공개됐다고 전했다. 활용 방향으로 AWS는 선택 작업은 의사결정 모델이 맡고 복잡한 추론은 LLM이 처리하는 하이브리드 에이전트 개발을 지원한다는 전략을 제시했다고 같은 매체는 덧붙였다.

개인 시험작에서 공개까지

모델을 내놓은 스트랜즈 랩스는 AI 에이전트 배포용 도구와 프로토콜을 개발하는 AWS의 실험 조직이다. 스트랜즈 디사이더 2B는 타입세이프의 제브에서 착안했다. 마크 브루커가 제브를 보고 만든 시험 모델이 동급 규모 제브벤치 순위에서 한때 1위를 기록했고, 이후 AWS 엔지니어들의 정비를 거쳐 공개됐다.

브루커는 AWS 고객과의 대화에서 에이전트 워크플로의 모든 단계가 완전한 LLM의 기능과 비용을 요구하지는 않는다는 필요가 드러났다고 TechCrunch에 설명했다. 그는 또 정확도와 신뢰도 보정 성능을 높이면서 다국어 이해력과 범용 지식을 유지하는 균형을 과제로 제시했다. 시장이 작고 모델 개발 비용이 수백~수천 달러 수준이라는 점을 들어, 프런티어 연구소가 이 분야를 지배하리라고 단정하지는 않았다고 같은 매체는 전했다.