KT ‘오토모델라우터’, LLM 라우터 벤치마크 종합 2위

KT가 개발한 AI 모델 라우팅 기술 ‘오토모델라우터(AutoModelRouter)’가 글로벌 공개 벤치마크에서 상위권에 오르며 기술력을 인정받았다.

KT는 오토모델라우터가 LLM 라우터 평가 플랫폼 ‘라우터아레나(RouterArena)’의 정확도·비용 종합 평가에서 2위를 기록했다고 27일 밝혔다.

라우터아레나는 미국 라이스대학교 연구진이 개발한 LLM 라우터 전문 벤치마크다. 관련 연구는 머신러닝 분야 국제학회 ICLR 2026 정식 논문으로 채택됐다. 약 8400개 질의를 이용해 응답 정확도와 비용 효율성, 입력 변화에 대한 견고성 등 실제 서비스에 필요한 라우터 성능을 평가한다.

오토모델라우터는 공개 리더보드에 ‘KT-ModelRouter’로 등록돼 정확도와 비용을 함께 평가하는 ‘Acc-Cost Arena’에서 2위를 차지했다. 해당 리더보드에는 학계에서 개발한 기술뿐 아니라 마이크로소프트의 애저 모델 라우터 등 상용 라우터도 포함돼 있다.

AI 모델은 번역과 요약, 코딩, 추론 등 분야별 성능과 이용 비용이 서로 다르다. 이에 따라 기업의 AI 활용이 확대될 수록 모든 업무에 동일한 모델을 적용하기보다 업무 특성과 요구 수준에 맞춰 최적의 모델을 골라주는 라우팅 기술의 중요성이 커지고 있다.

KT의 오토모델라우터는 사용자의 요청을 분석해 여러 AI 모델 중 적합한 모델을 자동으로 연결한다. 업무 유형과 난이도, 지식 분야를 파악한 뒤 각 모델의 응답 품질과 이용 비용을 종합해 처리 모델을 결정하는 방식이다.

특히 최고 성능이나 최저 비용의 모델을 일률적으로 선택하지 않고 기업이 요구하는 품질 수준을 충족하면서 비용을 효율화하도록 설계했다. 간단한 번역이나 정보 확인에는 상대적으로 비용이 낮은 모델을 연결하고, 전문적인 분석이나 복잡한 추론에는 고성능 모델을 사용하는 식이다.

이를 통해 기업은 여러 AI 모델을 업무별로 직접 비교하고 선택해야 하는 부담을 줄이고, 필요한 성능과 예산에 맞춰 멀티모델 환경을 운영할 수 있다.

오토모델라우터는 KT가 추진하는 ‘토큰 팩토리’에도 적용된다. 다양한 AI 모델과 토큰 이용 환경을 통합 관리하는 과정에서 요청에 적합한 모델을 자동으로 배정해 서비스 품질과 토큰 비용을 함께 관리하는 역할을 맡는다.

KT는 향후 오토모델라우터의 성능을 고도화하는 한편 새로운 AI 모델을 손쉽게 추가할 수 있는 멀티모델 운영 환경을 구축해 기업의 AI 도입과 AX 전환을 지원할 계획이다.

강동식 기자 lavita@datanews.co.kr