최태원 회장, AI 혁신방안 발표…16단 HBM3E 세계 최초 공개

‘SK AI 서밋 2024’ 개최, 엔비디아·TSMC CEO 메시지 전해…SK하이닉스 16단 내년 초 샘플 공급, 차세대 CXL도 준비

박혜연 기자 2024.11.04 15:35:49

가 +
가 -

▲최태원 SK그룹 회장이 4일 서울 삼성동 코엑스에서 열린 'SK AI 서밋 2024'에서 ‘함께하는 AI, 내일의 AI(AI together, AI tomorrow)’를 주제로 기조연설을 하고 있다. / 사진=SK그룹

최태원 SK그룹 회장이 SK가 보유한 인공지능(AI) 역량에 국내외 유수의 기업과 협력을 더해 글로벌 AI 혁신과 생태계 강화에 기여하겠다는 포부를 밝혔다. 또 곽노정 SK하이닉스 대표가 16단 HBM3E를 세계 최초로 공개하며, 기술 개발 상황과 미래 방향을 제시했다.

최 회장은 4일 SK그룹이 서울 삼성동 코엑스에서 개최한 ‘SK AI 서밋(SUMMIT) 2024’에서 ‘함께하는 AI, 내일의 AI(AI together, AI tomorrow)’를 주제로 강연을 진행했다.

5일까지 열리는 이 행사는 SK그룹이 전 세계 AI 대표 기업인과 학자, 전문가 등을 현장 또는 화상으로 초청해 처음 마련한 국내 최대 규모 AI 심포지움이다.

최 회장은 기조연설에서 “이번 행사 슬로건이 말해주듯 AI의 미래를 위해서는 많은 사람의 협력이 필요하다”며 행사 개최 취지를 설명하는 것으로 말문을 열었다.

최 회장은 “AI가 계속 성장하기 위해 해결해야 할 몇 가지 보틀넥(Bottleneck)이 있다”며, ▲AI에 대한 투자를 회수할 ‘대표 사용 사례’(Killer Use Case)와 수익 모델 부재 ▲AI 가속기 및 반도체 공급 부족 ▲첨단 제조공정 설비(Capacity) 부족 ▲AI 인프라 가동에 소요되는 에너지(전력) 공급 문제 ▲ 양질의 데이터 확보 문제 등 5가지 보틀넥 해법에 대한 의견을 개진했다.

두 번째 보틀넥인 AI 가속기와 관련, 대규모언어모델(LLM)이 막대한 양의 연산을 요구하고 이 연산에서 가장 뛰어난 엔비디아의 GPU를 모두가 원하고 있으나 공급이 수요를 따라가지 못하고 있는 상황 속에서 SK하이닉스도 개발을 적시에 맞춰내고 양산, 수요를 맞추는 등 협력하고 있다고 밝혔다.

에너지 공급 측면에서는 한 개의 LLM을 어느 수준 이상까지 올리기 위해서 최소 10GW(기가와트)의 AI 데이터센터가 필요하며, 1GW 규모의 데이터센터는 대략 400억 달러(약 54조8156억 원)가 소요된다고 설명했다.

이를 위해 SK가 하는 노력은 크게 두가지로, ▲액침냉각기, 유리기판 등을 통해 칩 레벨에서 발생하는 열을 내려 데이터센터 자체 에너지 소모량 감축 ▲분산 전원 공급 솔루션, 핵 에너지 등 새로운 에너지원 개발이 있다고 밝혔다.

마지막으로 최 회장은 “SK는 반도체부터 에너지, 데이터센터의 구축 운영과 서비스 개발까지 가능한 전 세계에서 흔치 않은 기업”이라며 “우리는 부족한 부분을 보완하기 위해 각 분야 세계 최고 파트너들과 협업하고 있다”고 말했다.

최 회장의 기조연설이 이어지는 중간 중간 SK와 협력관계를 맺고 있는 엔비디아, TSMC 등 글로벌 빅테크 수장 들이 영상으로 등장해 대담을 하거나 축사를 전했다. 최 회장은 이들 글로벌 빅테크와의 협력 모델 개발을 위해 SK그룹 내 AI TF 조직을 꾸려 지휘하고 있다.

젠슨 황 엔비디아 CEO는 “코딩에서 머신러닝으로 흐름이 이동하고 있고, 병렬 계산 때문에 메모리 대역폭이 매우 중요해진다”며 “SK하이닉스와 함께한 HBM 메모리 덕분에 무어의 법칙을 뛰어넘는 진보를 할 수 있었다”고 말했다.

그는 또 “SK하이닉스와 시스템 레벨과 아키텍쳐 레벨에서 공동 설계를 진행하고 있다”고 덧붙였다.

웨이저자 TSMC CEO는 “AI를 위한 더 많은 연산능력과 에너지 효율적인 기술에 대한 요구가 끊임 없이 이어지고 있다”며, “SK하이닉스의 HBM이 AI가속화의 중추 역할”이라고 말했다.

그는 또 “AI의 미래는 밝고, 긴밀한 협력을 통해 함께 놀라운 성과를 이어나갈 것”이라고 말했다.

▲곽노정 SK하이닉스 대표가 4일 서울 삼성동 코엑스에서 열린 'SK AI 서밋 2024'‘차세대 AI 메모리의 새로운 여정, 하드웨어를 넘어 일상으로’를 주제로 기조연설을 하고 있다. / 사진=SK그룹

이어 곽노정 SK하이닉스 대표이사 사장이 ‘차세대 AI 메모리의 새로운 여정, 하드웨어를 넘어 일상으로'를 주제로 기조연설을 진행했다.

곽노정 사장은 이 자리에서 현존 HBM 최대 용량인 48GB가 구현된 16단 HBM3E 개발을 세계 최초로 공식화했다. 이는 기존 12단을 넘어선 HBM3E 최고층 제품이다.

SK하이닉스는 HBM4부터 16단 시장이 본격적으로 열릴 것으로 보고 이에 대비해 기술 안정성을 확보하고자 48GB 16단 HBM3E를 개발 중이며, 내년 초 고객에게 샘플을 제공할 예정이다.

곽 사장은 “차세대 HBM4에서는 12하이, 16하이가 주력으로 예상되기 때문에 HBM3E를 이용해 선제적으로 개발하고 있다”며, “패키지 기술의 경우 HBM3E 12단에서 이미 양산성이 검증된 어드밴스드 MR-MUF 기술을 계속 적용할 계획”이라고 설명했다.

그는 또 “내부 시뮬레이션 결과, 12단 대비 학습 성능은 약 18%, 추론 성능은 32% 향상되는 것을 확인했다”고 덧붙였다.

이밖에도 SK하이닉스는 저전력 고성능이 강점으로, 향후 PC와 데이터센터에 활용될 것으로 전망되는 LPCAMM2(Low Power Compression Attached Memory Module 2) 모듈을 개발하고 있으며 1cnm 기반 LPDDR5와 LPDDR6를 개발 중이다. 또 낸드에서는 PCIe 6세대 SSD와 고용량 QLC 기반 eSSD, UFS 5.0을 준비 중이다.

LPCAMM2은 LPDDR5X 기반의 모듈 솔루션 제품으로, 기존 DDR5 SODIMM 2개를 LPCAMM2 1개로 대체하는 성능 효과를 가지면서 공간 절약뿐만 아니라 저전력과 고성능 특성을 구현한다.

또 HBM4부터 베이스 다이(Base Die, GPU와 연결돼 HBM을 컨트롤하는 역할 수행)에 로직 공정을 도입할 예정이다.

한편, AI 시스템 구동을 위해 서버에 탑재된 메모리 용량이 대폭 증가해야 한다. 이를 위해 SK하이닉스는 여러 메모리를 연결해 대용량을 구현한 CXL(Compute Express Link)을 준비 중이다.

CXL은 고성능 컴퓨팅 시스템에서 CPU/GPU, 메모리 등을 효율적으로 연결해 대용량, 초고속 연산을 지원하는 차세대 인터페이스다.

마지막으로, 곽 사장은 “폰 노이만 시스템의 가장 큰 약점인 메모리 병목 현상을 제거하는 기술을 개발하고 있다”고 말했다.

이는 메모리에 연산 기능을 더하는 기술이다. SK하이닉스는 PIM(Processing in Memory), 컴퓨테이셔널 스토리지(Computational Storage) 같은 기술이 차세대 AI 시스템의 구조를 바꾸는 큰 도전이자 AI 업계의 미래가 될 것으로 바라보고 있다.

박혜연 기자 phy@datanews.co.kr