“AI가 웹을 죽이는 ‘디지털 공유지의 비극’ 막아라”

이처럼 웹 콘텐츠 생태계에서 디지털 공유지의 비극(tragedy of the commons)이 우려된다며, ‘크롤링 종량제(pay-as-you-crawl)’같은 새로운 보상 모델이 필요하다고 영국 시사주간지 이코노미스트(Economist)가 최근 보도했다. 공유지의 비극은, 각자가 공유자원을 과다하게 사용해 고갈시키는 현상을 가리킨다.

최근 할리우드는 샘 알트먼과 오픈AI의 부상을 다룬 신작 영화 제작 소식을 공개했다. 2022년 말 챗지피티의 출시로 인해 테크 업계에는 극적인 변화가 일어났다. 지금까지 AI가 미친 중요한 영향 가운데 하나는 정보가 온라인에서 유통되는 방식. 

사람들은 검색창에 질문을 입력하는 대신, 점점 더 챗봇에 묻는다. 구글은 1년 전부터 검색 결과에 AI 생성 요약을 추가하기 시작했다. “구글이 당신 대신 검색해준다”고 홍보하고 있다.

AI 챗봇의 혁신은 더 많은 사람에게, 더 빠르게, 더 많은 지식을 전달할 수 있게 해준다. 사용자 입장에서 이는 반가운 변화다. 하지만, 그 이면엔 불편한 진실이 있다. 

AI 기반 검색엔진은 사람들이 웹사이트를 일일이 찾아보지 않아도 되게 해, 웹페이지로의 유입을 차단하고 있다. 방문자가 줄면 수익도 준다. 이는 곧 콘텐츠 제작의 동기를 약화시킨다. 즉, 웹의 접근성을 높여준 (AI) 기술이 동시에 웹을 죽일 수도 있는 것이다.

웹 사용량을 정확히 측정하기는 어렵지만, 한 추산에 따르면 지난 1년간 검색엔진을 통한 월간 트래픽은 15% 감소했다. 가장 큰 피해를 호소하는 업계는 언론사다. 하지만 이 문제는 언론사에 국한되지 않는다. 과학, 교육 사이트는 방문자의 10%를, 참고 사이트는 15%를, 건강 관련 사이트는 무려 31%를 잃었다. 

잘 알려진 웹사이트들조차 타격을 입고 있다. 호텔과 해변을 추천하는 트립어드바이저는 트래픽이 1/3 감소했다. 건강 정보를 제공하는 웹엠디는 절반으로 줄었다.

그 피해는 명확하다고 이코노미스트는 지적했다. 인간 방문자는 광고 수익의 원천이며, 온라인 커뮤니티 유지에도 필수적이다. 위키피디아는 방문자가 8% 줄었는데, 출처 없는 AI 요약이 기여 의욕을 꺾을 수 있다고 경고한다. 프로그래머 커뮤니티인 스택오버플로는 트래픽이 반 토막 났고, 질문도 줄었다. 대형 포럼인 레딧은 검색 유입 감소 우려로, 주가가 절반 가까이 하락했다.

이코노미스트에 따르면, 기존의 광고 기반 모델이 무너지면서 웹이 변화를 겪고 있다. 광고 수익에 의존하던 콘텐츠는, 봇을 차단하거나 ‘유료화의 벽(Paywall)’ 뒤로 숨어들고 있다. 콘텐츠 제작자들은 검색 외의 루트를 통해 독자를 찾고 있다. 이메일 뉴스레터, 소셜미디어, 오프라인 행사, 오디오·영상 콘텐츠 등으로 다변화하고 있는 것. 이는 AI가 요약하기 어려운 형식들이다. 

대형 브랜드는 AI 기업과 콘텐츠 라이선스 계약을 체결하고 있으며, 다수의 법적 분쟁도 진행 중이다. 이코노미스트는 구글의 AI 서비스 일부에만 콘텐츠 사용을 허용했고, 아직 AI 학습용 데이터 제공 계약은 체결하지 않았다. 하지만 수많은 중소 사이트들은 이런 협상력을 갖지 못한다.

미래의 웹이 오늘날과 같을 것으로 기대하는 것은 어리석다. AI 검색이 상점 검색 디렉터리 같은 중개 플랫폼을 위협하는 것은 불가피하다. 그러나 콘텐츠 제작의 유인이 사라지는 것은 웹의 근본적 문제다. 사람들의 방문이 줄어들면, 웹은 새로운 ‘화폐’를 필요로 한다.

온라인 혁신가들은 다양한 대안을 실험 중이다. AI 봇이 웹 콘텐츠를 읽을 때 과금하는 크롤링 종량제 시스템, 챗봇의 응답을 역추적해 원출처에 보상을 제공하는 구조 등이 제안되고 있다. 

이코노미스트에 따르면, 빅테크는 이런 시도에 반발한다. 대기업은 인터넷 크롤링에 비용을 지불하고 싶어 하지 않는다. 신생기업은 과거의 오픈AI처럼 무료로 데이터를 수집하지 못하게 될까 두려워한다. 낙관론자들은 음악 산업을 예로 든다. 불법 다운로드가 창작자 보상 중심의 스트리밍 모델로 전환되면서, 산업이 되살아났기 때문이다.

새로운 웹 비즈니스 모델의 도입은 어렵다. 정부 규제의 개입이 필요할 수 있다. 그러나 누구나 콘텐츠 생산이 유지되길 바란다. 현재는 언론사들이 목소리를 높이고 있지만, 콘텐츠가 고갈되면 AI 기업 역시 피해를 입는다. 페이스북, 유튜브 등 일부 기업은 자체 콘텐츠 자산이 있지만, 오픈AI는 외부 콘텐츠에 전적으로 의존한다.

아무 변화가 없다면, 우리는 현대판 ‘공유지의 비극’을 맞게 될 것이라고 이코노미스트는 강조했다. ‘공개 웹’이라는 공유 자원이 과잉 이용돼, 결국 고갈된다는 것. 이 과정을 막지 못하면, 인류가 공동으로 소유한 위대한 자산이 위협받을 수 있다. 웹의 비극은 모두의 비극이다.

권세인 기자