서울대 연구팀, 챗GPT 환각현상 줄이는 기술 개발

12일 국제학술대회 ‘EMNLP 2024’서 발표

강동식 기자

lavita@datanews.co.kr | 2024.11.11 07:57:58

▲서울대 컴퓨터공학부 지능형데이터시스템 연구팀(지도교수 이상구)은 ‘EMNLP 2024’에 논문 2편을 발표한다고 밝혔다. 사진 왼쪽부터 서울대 이상구 교수, 김연아 연구원, 김형준 연구원 / 사진=서울대 컴퓨터공학부 지능형데이터시스템연구실

챗GPT와 같은 거대언어모델(LLM)이 기업 내부 지식을 활용해 답변을 생성할 때 신뢰도를 높일 수 있는 기술이 국내 연구진에 의해 개발됐다.

서울대 컴퓨터공학부 지능형데이터시스템 연구팀(지도교수 이상구)은 오는 12일 미국 플로리다에서 개최되는 국제학술대회 ‘EMNLP 2024’에 관련 논문 2편을 발표할 예정이라고 밝혔다.

일반적으로 챗GPT 등 LLM은 뛰어난 언어 이해력을 바탕으로 문서 요약, 보고서 작성, 대화형 정보 제공 등 놀라운 능력으로 기대를 모았지만, 엉뚱한 사실을 그럴듯하게 주장하는 환각현상(hallucination)이 문제로 지적되고 있다.

이를 해결하는 방법으로 검색증강생성(RAG) 기술이 주목받고 있다. RAG는 사용자의 질문에 관련된 회사 내의 주요 정보를 검색(retrieval), LLM에 제공하고 이를 이용해 질문의 답을 생성하게 하는 기술이다.

RAG는 환각증세를 완화해주는 동시에 최신 정보나 기업의 고유정보를 기반으로 AI 서비스를 가능하게 하는 기술로, RAG 솔루션의 신뢰성은 검색된 지식정보를 얼마나 적절히 활용할 수 있는지에 따라 결정된다.

연구팀이 발표한 이번 논문은 이러한 상황 판단을 정교하게 할 수 있는 방안을 제시한 것이다. LLM이 답변을 생성하는 과정에서 제공된 지식을 사용할지, 또는 무시하고 LLM에 사전에 학습된 정보로 답을 할지, 아니면 둘 다 불확실해 답변을 거부할지 판단하는 능력을 LLM 내부의 엔트로피(entropy, 어떤 시스템의 불안정성 정도를 나타내는 지표)를 측정해 향상시킬 수 있도록 한 것이다.

서울대 연구팀은 이번 연구 성과를 통해 기존 방법론 대비 상황에 따른 대처 능력을 10~30%까지 향상시켜 AI 서비스를 사용하는 고객이 체감하는 신뢰도는 그보다 더 큰 폭으로 개선될 것으로 보고 있다.

연구를 주도한 서울대 지능형데이터시스템연구실 김연아 연구원과 김형준 연구원은 “LLM과 같이 커다란 딥러닝 모델의 행동 패턴을 심층적으로 이해하는 것은 매우 힘든 일인데, 그 한 단면을 파악해 실질적인 효과를 가져올 수 있는 연구결과를 만들게 돼 기쁘다”고 말했다.

이상구 서울대 컴퓨터공학부 교수(인텔리시스 CTO)는 “LLM의 잠재적인 능력을 안전하게 잘 활용할 수 있는 제어(control) 기술은 LLM의 상용화를 위한 핵심 기술이 될 것”이라고 말했다.

강동식 기자 lavita@datanews.co.kr