“구글 AI의 ‘토큰 소비량’ 1년5개월 새 124배나 폭증”

이는 AI리더들의 ‘비용 곡선’에 대한 오판 탓이라고 미국 경제지 월스트리트저널(WSJ)이 최근 지적했다. 컴퓨팅 비용이 ‘무어의 법칙’처럼 7개월마다 90%씩 하락하는 단위비용 개선에만 이들이 집중했다는 것. 정작, AI 작업을 완료하는 데 필요한 토큰 사용량이 기하급수적으로 증가할 것은 간과했다는 지적이다. 

실제로 구글의 경우, 토큰 사용량이 1년 반 사이에 수백 배나 폭증하고 있다. 토큰 사용량의 증가는 △반복학습, 전문가혼합(Mixture of Experts) 등을 통한 환각(hallucinations)해결 노력, △소라(Sora) 등 영상생성모델과 30시간 연속코딩 등 신기술 등장 등으로 더욱 가속화되고 있다.

AI의 흑자 전환을 위해서는 △AI 시스템이 스스로 개선하는 모델 효율화 △데이터센터의 공급 확대 △폭증하는 수요를 수익으로 전환하는 능력 등 세 가지가 필요하다고 WSJ은 강조했다.

엔비디아 최고경영자(CEO) 젠슨 황은 AI 컴퓨팅이 “10억 배 증가할 것”이라며, 이를 “산업의 혁명”으로 규정했다. 벤처캐피털 투자자들은 AI에서는 “투자의 3%만이 수익의 60% 이상을 창출할 것”이라며 “‘전부 아니면 전무(All-or-Nothing)’ 방식의 수조 달러(수 천조원) 단위 규모 베팅이 성공해야만 생존할 수 있다. 많은 경쟁자는 냉정하게 도태될 것”이라고 보고 있다.

WSJ에 따르면, AI 기업들은 엄청난 속도로 돈을 잃어가고 있다. 그 이유는 단순한 낭비벽 이상이다. 적어도 현재로서는 AI의 경제학이 이들 기업에 매우 불리하게 작용하고 있다. 

막대한 AI 투자 거품이 터져, 닷컴 버블 붕괴나 그보다 더 심각한 위기를 촉발할 위험이 있다고 믿는 사람들이 있다. 그들을 비난할 수는 없다. △막대한 자본 지출, △치솟는 기업가치, △높은 부채 수준, 그리고 △순환적인 투자행태(AI 기업들이 다른 AI 기업에 돈을 쏟아붓는 행위)에 대한 우려는 점점 더 커지고 있다.

처리된 데이터 단위인 ‘토큰’으로 측정되는 AI 수요에 주목하라고 WSJ는 지적했다. 이 수요가 지금 폭증하고 있다는 것. 전체 AI 투자의 운명은 이 수요가 앞으로 얼마나 멀리, 빨리 증가하느냐에 달려 있을 수 있다.

핵심적인 실수는 1년 전에 발생했다고, 금융 서비스 기업인 씨티의 기술과 통신 연구 글로벌 부문 책임자인 히스 테리는 말했다. AI 리더들이 컴퓨팅 단위당 AI 비용 곡선에만 집중하고, 정작 작업을 완료하는데 필요한 토큰의 수는 간과했다는 것. 

AI 컴퓨팅 비용은 7개월마다 약 90%씩 감소하는 역동성을 보여왔다. 마이크로칩의 ‘무어의 법칙’과 비슷하다. 이는 AI기업들에게, 가격 대비 성능 비율이 개선될 것이라는 믿음을 줬다. 그러다 가격이 하락하자, 사용량은 완전한 포물선 모양(absolutely parabolic)으로 증가했다.

알파벳의 구글은 지난 5월 블로그 게시물에서 AI 사용 단위를 언급하며 “2024년 5월, 우리 제품 및 응용 프로그램 인터페이스(API) 전반에서 월 9조 7000억 토큰을 처리했다”며 “이제 우리는 월 480조 토큰 이상을 처리하고 있으며, 이는 50배 증가한 수치”라고 밝혔다. 구글은  7월 2분기 실적 발표에서는 “그 이후로 이 수치는 다시 배가 돼, 현재는 월 980조 토큰 이상을 처리하고 있다. 이는 놀라운 증가”라고 말했다. 올해 10월, 구글은 이 수치가 1300조 토큰(1.3 Quadrillion)에 도달했다고 밝혔다.

토큰 수요는 부분적으로, 환각과의 싸움으로 인해 촉발됐다. 이는 생성형 AI 모델의 고질적인 문제인, 사실인 것처럼 잘못되거나 터무니없는 결과를 내놓는 현상. 현재 최첨단 모델들은 이 문제를 해결하기 위해, 응답을 내놓기 전에 일종의 강화 학습의 도움을 받아 설계되는 경우가 많다. 내부적으로 같은 질문에 여러 번 답하도록 하는 방법. 또한, ‘전문가 혼합’이라고 불리는 전문화된 모델들에 질의할 수도 있다. 이는 AI가 더 나은 답변을 생성하는 데 도움이 된다. 하지만, AI의 자원 필요량은 더욱 악화시켰다. 결과적으로 토큰의 단위 가격은 하락했지만, 토큰의 전체 소비량은 미친 듯이 증가했다고 WSJ은 짚었다.

이러한 수요는 계속해서 급증할 것이다. 오프AI의 최신 비디오 생성기 버전으로 구동되는 새로운 단편 AI 동영상 앱인 ‘소라(Sora)’는 큰 성공을 거두었다. 이 회사는 AI 상거래 분야에서도 노력을 쏟고 있다. 또한, 앤트로픽의 새로운 대규모 언어 모델인 클로드 소네트 4.5는 30시간 연속으로 코딩을 할 수 있다. 이러한 ‘더 오래 생각하는 모델’은, 업계의 급증하는 데이터센터 용량을 활용하게 만들 새로운 형태의 AI로 부상하고 있다.

AI 스타트업들은 부분적으로 이러한 역동성 때문에, 예상보다 수백억 달러(수 십조 원) 더 많은 손실을 보고 있다. 우버 테크놀로지스가 한때 시장을 구축하기 위해 사용자들에게 차량 가격을 보조했던 것처럼, 현재 스타트업과 벤처 캐피털 투자자들이 이러한 손실을 보증(underwriting)하고 있다고 테리는 말했다.

AI의 경제학을 흑자궤도로 전환시키려면, 세 가지 힘이 합쳐져야 한고 테리는 보고 있다. 

둘째, 전 세계적으로 건설 중인 데이터센터들이 곧 운영을 시작한다. 이는 컴퓨팅 능력과 에너지 공급을 늘려, AI 훈련과 사용 비용을 낮출 것이다. 기술 기업인 마이크로소프트는 지난 9월 미국 위스콘신주에서 33억 달러(약 4조 6972억 2000만 원) 규모의 데이터센터 건설이 막바지에 이르렀다고 밝혔다. 이어, 이 지역에 40억 달러(약 5조 6936억 원) 규모의 두 번째 시설 계획을 발표했다.

셋째, 모델이 개선되고 컴퓨팅 인프라의 공급이 확대됨에 따라, 증가하는 토큰 수요가 마침내 경제적 이익이 될 수 있다. 테리에 따르면, 바로 이 세 가지 힘이 작용하는 시점의 향후 몇 달 또는 분기 내에, AI 수요는 또다시 엄청나게 증가할 가능성이 높다. 가장 유망한 기업 AI의 시험 사례들이 더 광범위하게 배포되기 때문이다.

기술 기업 엔비디아의 젠슨 황 CEO는 지난 9월 팟캐스트에서 AI 컴퓨팅이 “10억 배 증가할 것”이라며 “이것은 사람들 대부분이 아직 완전히 이해하지 못하고 있는 부분이다. 이것은 산업의 혁명”이라고 말했다.

이 모든 것이 계획대로 정확히 진행된다면, AI 붐은 계속될 것이라고 WSJ는 예상했다. 씨티는 AI 수익이 향후 5년간 연간 거의 80% 성장해, 올해 430억 달러(약 61조 2148억 원)에서 2030년에는 7800억 달러(약 1110조 7200억 원)에 이를 것으로 전망한다.

하지만 그렇다 하더라도, AI의 수익은 극도로 집중될 수 있다. 결국, 많은 경쟁자는 냉정하게 도태될 것이다. 벤처 캐피털리스트 비노드 코슬라는 “벤처 캐피털에서는 투자의 6%가 수익의 60%를 창출한다”며 “AI에서는 그 비율의 절반(3%)이 60% 이상의 수익을 창출할 것으로 생각한다”고 말했다. 이는 오랜 기술업계의 패턴이다. 그와 다른 투자자들은 자신들의 포트폴리오에서, 이 정도면 소수의 승자가 손실을 상쇄하기에 충분할 것이라고 확신한다. 

그러나 한 가지는 이미 분명하다. 이 분야에서는 중간이 없다. 모델 개발이나 인프라 구축에 ‘어중간하게’ 투자하는 것으로는 안된다. 이 기술의 잔혹한 경제학을 극복하기에 충분하지 않을 것이다. 이것은 수조 달러(수 천조원) 단위 규모의 ‘전부 아니면 전무’ 베팅이다. 투자자들은 모든 것을 걸고 있다고 WSJ은 강조했다.

권세인 기자