PrismML, 스마트폰 구동 가능한 27B급 AI 모델 'Bonsai 27B' 공개

PrismML에 따르면 Bonsai 27B는 두 가지 버전으로 제공된다. 삼진(Ternary) 버전은 유효 가중치당 1.71비트에 5.9GB, 1비트 버전은 유효 가중치당 1.125비트에 3.9GB다. PrismML은 3.9GB인 1비트 버전이 iPhone 17 Pro의 메모리 범위에 들어간다고 밝혔다.

성능 수치는 모두 PrismML 자체 발표에 따른 것이다. PrismML은 15개 벤치마크 평가에서 삼진 버전과 1비트 버전이 전정밀도(full-precision) 기준선 성능의 각각 95%와 90%를 유지했다고 밝혔다. 또한 PrismML은 같은 베이스 모델의 기존 저비트 빌드 가운데 가장 공격적으로 압축된 사례가 1비트 Bonsai 27B보다 점수는 낮고 메모리는 2.5배 더 사용했다고 주장했다. PrismML은 1비트 Bonsai 27B의 인텔리전스 밀도(intelligence density)가 GB당 0.53으로 전정밀도 기준선의 10배를 넘는다고 밝혔다.

기능 면에서 PrismML에 따르면 두 버전 모두 멀티모달을 지원하며 비전 타워는 4비트 형태로 제공된다. 또 PrismML에 따르면 Bonsai 27B는 262K 토큰 컨텍스트와 투기적 디코딩(speculative decoding)을 지원한다. PrismML은 Bonsai 27B를 Apache 2.0 라이선스로 제공한다고 밝혔다.

Apple 관련 내용은 Techmeme에 실린 CNBC 기사 제목 요약에 근거한다. 해당 요약에는 PrismML CEO가 Apple이 이 기술을 평가 중이라고 말했다는 내용이 담겼으며, 같은 요약에 따르면 PrismML은 Bonsai 27B가 Apple 기기에서 MLX를 통해 네이티브로 구동된다고 밝혔다.