씽킹 머신즈, 9750억 파라미터 오픈웨이트 AI 모델 잉클링 공개

모델 구조와 핵심 사양

잉클링은 혼합 전문가(MoE) 구조를 쓴다. 혼합 전문가 구조에서는 전체 파라미터 가운데 일부만 작업에 참여하며, 잉클링은 총 9750억 개 파라미터 중 작업 실행 때 약 410억 개가 활성화된다.

학습 데이터는 텍스트·이미지·오디오·영상으로 구성된 45조 개 토큰이다. 컨텍스트 윈도우는 최대 100만 토큰이다. 컨텍스트 윈도우는 모델이 한 번에 처리할 수 있는 입력의 범위를 뜻한다.

입력은 텍스트·이미지·오디오를 받는다. 출력은 현재 코드와 구조화 데이터를 포함한 텍스트로 제한된다. 활성 파라미터가 120억 개인 경량 모델 잉클링-스몰도 함께 공개됐다고

내려받기와 파인튜닝

잉클링은 오픈웨이트 모델로, 외부 개발자와 기업이 모델을 내려받아 수정할 수 있다. 공개 시점부터 SGLang과 llama.cpp 등이 잉클링을 지원했다고 Hugging Face Blog는 밝혔다.

기업은 씽킹 머신즈의 모델 맞춤화 플랫폼 팅커(Tinker)를 이용해 잉클링을 파인튜닝할 수 있다. 잉클링은 현재 무료로 제공되며 씽킹 머신즈는 팅커에서 수익을 얻는다고

잉클링의 초기 학습에는 증류 방식이 쓰였다. 증류는 기존 모델의 출력을 학습에 이용하는 방법으로, 잉클링은 문샷 AI의 키미 K2.5를 비롯한 기존 오픈 모델을 활용했다고

회사 자체 평가와 한계

씽킹 머신즈는 잉클링을 공개·비공개 모델을 통틀어 전반적으로 가장 강력한 모델이라고 주장하지 않았다. 씽킹 머신즈는 한 코딩 평가에서 잉클링이 엔비디아 네모트론 3 울트라의 3분의 1 수준 토큰으로 같은 성능에 도달했다고 밝혔다.

씽킹 머신즈와 브리지워터 어소시에이츠는 맞춤 학습한 오픈 모델이 자체 금융 추론 평가에서 84.7%를 기록했다고 발표했다. 이 수치는 양사 자체 평가이며 독립 검증을 거치지 않았다고

씽킹 머신즈는 2025년 2월 미라 무라티를 비롯한 오픈AI 출신 인사들이 설립했다. 초기 투자 유치 당시 기업가치는 120억 달러로 평가됐다.