KT 오토모델라우터, 공개 벤치마크 정확도·비용 부문 2위

어떤 평가에서 나온 순위인가

라우터 아레나는 LLM 라우터 평가에 특화된 공개 벤치마크로, 미국 라이스대학교 연구진이 개발했다. 약 8400개 질의를 이용해 응답 정확도와 비용 효율성, 입력 변화에 대한 견고성 등을 평가한다. 관련 연구는 ICLR 2026 정식 논문으로 채택됐다.

공개 리더보드에 올라 있는 KT 기술의 이름은 ‘KT-ModelRouter’다. 2위를 기록한 부문은 정확도와 비용을 함께 평가하는 ‘Acc-Cost Arena’다. 같은 리더보드에는 학계가 만든 라우터와 마이크로소프트의 애저 모델 라우터 같은 상용 기술도 등재돼 있다.

모델을 고르는 방식

KT는 오토모델라우터가 요청의 업무 유형과 난이도, 지식 분야를 먼저 분석한다고 설명했다. 이어 모델별 응답 품질과 이용 비용을 고려해 처리할 모델을 연결한다는 것이다. KT는 목표 품질을 충족하면서 비용 효율을 높이도록 모델 선택 정책을 적용했다고 밝혔다.

적용 예시로 KT는 번역이나 단순 정보 확인 업무에는 비용 효율적인 모델을, 전문 분석이나 높은 수준의 추론이 필요한 업무에는 고성능 모델을 연결한다고 설명했다. 아이뉴스24 IT는 이용자가 하나의 AI 서비스를 쓰더라도 시스템 내부에서는 요청 특성에 따라 서로 다른 모델이 쓰일 수 있다고 전했다.

KT가 밝힌 활용처와 계획

KT는 오토모델라우터를 자사가 추진하는 토큰 팩토리의 모델 라우팅 기능에 활용한다고 설명했다. 요청에 맞는 모델을 선택해 서비스 품질과 토큰 사용 비용을 함께 최적화한다는 설명이다. 이를 통해 기업이 모델을 일일이 비교·선택하는 부담을 줄이고, 업무 요구 수준과 예산에 맞춰 AI 운영 환경을 구성할 수 있다는 것이 KT의 설명이다.

향후 계획으로 KT가 제시한 것은 두 가지다. 라우팅 기술의 고도화와, 새 AI 모델을 덧붙일 수 있는 멀티모델 운영 환경 구축이다. 이를 기업 고객의 AI 도입과 AX 전환 지원으로 잇겠다는 것이 회사 측 설명이다. 김준석 KT 에이전틱 AI 랩장은 상황에 맞는 모델을 지능적으로 활용하는 일이 중요하다며 오토모델라우터가 토큰 팩토리 등 자사 에이전틱 AI 서비스 경쟁력을 뒷받침할 핵심 기술이라고 회사 측 평가를 밝혔다.