코난테크놀로지, 국내 첫 LLM 공공 도입…남부발전과 41억원대 계약

인공지능 전문기업 코난테크놀로지(대표 김영섬)는 한국남부발전의 생성형 인공지능(AI) 구축 및 학습용역 사업을 계약했다고 26일 밝혔다.

생성형 AI를 활용해 사내 업무 지능화, 서비스 자동화, 업무 생산성을 극대화하기 위해 추진되는 사업으로, 국내 첫 대형언어모델(LLM)의 공공부문 실제 현장 도입 사례다. 사업비는 41억6565만 원이며, 사업기간은 13개월간이다. 코난테크놀로지 자체 기술로 독자 공급한다.

사업범위는 ▲텍스트와 이미지 생성이 가능한 생성형 AI 시스템 구축 ▲공공기관 공통 분야와 발전 분야에 대한 지식 수집 및 학습 ▲한국어에 기반 한 생성형 AI의 보고서 작성, 요약, 번역, 분석 및 코딩, Q&A ▲ 생성형 AI 모델의 학습, 배포 및 운영 등 관리 기능이 포함된다. 

아울러 검색증강생성(RAG) 기능이 구현되는데, 여기에는 코난테크놀로지의 강점인 국내 최고 수준의 벡터검색 기술이 적용돼 기대를 모은다.

생성형 AI 실증을 위해 ▲문장 품질 평가(PPL) ▲번역품질평가(BLEU Score) ▲요약품질평가(ROUGE Score) ▲보고서 작성 품질 ▲데이터 분석 ▲코딩능력 6개 분야서 기술평가가 치뤄졌고, 열띤 경쟁 가운데 코난테크놀로지는 큰 격차로 최고 득점을 기록했다. 보고서 생성부터 번역, 요약, 자료분석, 코딩까지 뛰어난 문서 생산성을 입증받은 것이다.

또한, 생성형AI 모델을 가지고 사내 구축(온프레미스형) 함으로써 생성형 AI 활용 시 수반되는 외부로의 정보 유출 가능성을 원천 차단한다는 점에서 보안을 중요시 하는 공공기관의 사업 요구에 부응했다.

김영섬 코난테크놀로지 대표는 “그간 축적해온 AI 기술과 노하우로 안전하고 신뢰성 있는 기업형 생성형 AI구축에 매진하고, 생성AI의 현장 도입을 본격화하겠다”고 말했다.

코난테크놀로지는 지난해 8월 자체개발 LLM ‘코난 LLM’을 출시한 이후 유수의 기관·기업 등과 다양한 형태의 기술 실증(PoC) 사업을 진행 중이다. 또한 파라미터 13.1B를 시작으로 47B, 7B, 4B 등 라인업을 고루 갖춰 다양한 기업 수요에 대응하고 있다. 이번 사업에는 47B 모델이 적용됐으며, 전체 학습 토큰수는 1조5111억 개, 한국어 토큰수는 5111억 개에 달한다. 

김승기 코난테크놀로지 사업총괄 부사장은 “각종 PoC를 통해 비즈니스 케이스를 점검해왔다면 이제 본격적인 사업 수주로 확장하는 단계”라며 “여러 수요기관들과의 사업화를 통해 매출 창출을 가속화하겠다”고 말했다.

김민지 기자 honest@datanews.co.kr