와이즈넛, 텍스트 데이터 요약 위한 AI 학습데이터 구축한다

인공지능(AI) 챗봇 및 빅데이터 소프트웨어 전문기업 와이즈넛(대표 강용성)은 과학기술정보통신부가 주관하고 한국지능정보사회진흥원이 지원하는 ‘2021년 AI 학습용 데이터 구축사업’에서 ‘요약 텍스트 데이터’ 과제 주관기관으로 선정됐다고 9일 밝혔다.

와이즈넛은 유클리드소프트, 딥네츄럴, 포티투마루와 함께 컨소시엄을 구성, 텍스트 요약을 위한 AI 학습데이터 구축사업을 진행한다. 총 사업비는 42억5000만 원이다.

연내 완료 예정인 이번 과제는 뉴스, 보도자료, 회의록과 방송 다큐멘터리, 드라마, 예능 방송 등 주요 내용을 간결하게 정리, 요약해 양질의 학습데이터를 확보하고 요약모델을 구축하는 것이 목표다.

이번 과제는 추출 요약을 포함해 원문에서 중요한 문장을 하나의 새로운 요약문으로 만드는 생성 요약을 위한 데이터세트를 구축하고 실제 모델을 구축하는 것이 특징이다.

와이즈넛은 20여 년 간 자연어 이해 및 처리기술을 자체 개발하며 보유한 한국어 기반 BART, T5 등 트랜스포머(Transformer) 기반의 최신 사전학습 언어모델을 토대로 요약 모델을 개발할 예정이다.

또 요약 데이터의 다양성 확보를 위해 중앙일보의 뉴스데이터와 KBS의 드라마, 시사교양, 예능, 다큐멘터리 등의 데이터를 활용할 예정이다. 그동안 저작권 이슈로 활용할 수 없었던 방송 대본과 뉴스 데이터를 확보해 양질의 학습데이터로 가공하고, 이를 기반으로 요약 모델을 구축하게 된다.

이러한 일련의 과정을 통해 최종적으로 구축된 학습데이터와 요약 모델은 모두 AI 허브를 통해 공개되며, 관련 분야 전문가와 일반인 누구나 활용 가능하다. 각 비즈니스 활용 목적에 맞는 양질의 요약 데이터를 누구나 쉽게 확보하고 활용할 수 있어 국내 중소·벤처기업의 시간과 비용 부담을 최소화 할 것으로 기대된다.

강용성 와이즈넛 대표는 “이번 요약 텍스트 데이터 기술을 통해 양질의 학습데이터를 확보하고, 이를 공공 기술 및 데이터로 개방하는 과정에서 향후 AI 요약 기술 분야의 자생적 생태계를 조성하는 마중물이 될 것으로 기대한다”며 “와이즈넛은 AI 학습용 데이터 마련을 통해 빅데이터 산업 활성화에 기여할 수 있도록 지속 노력할 것”이라고 말했다.

강동식 기자 lavita@datanews.co.kr