[현장] “메모리 병목 잡는다”…SK하이닉스, 차세대 솔루션 공개

HBM4 데이터 전송 통로 2048개, 앞세대보다 2배 증가…CXL 풀드 메모리로 용량 확장, PIM 기술로 GPU 연산 효율 높여

박혜연 기자 2025.11.03 16:31:52

가 +
가 -

▲‘SK AI SUMMIT 2025’에 설치된 SK하이닉스 AI 인프라 부스 전경 / 사진=데이터뉴스

SK하이닉스가 인공지능(AI) 시대의 고질적인 과제로 꼽히는 ‘메모리 병목(Memory Wall)’ 현상을 해결하기 위한 세 가지 혁신 해법을 제시했다. 데이터의 ▲이동 속도 ▲용량 확장 ▲연산 효율이라는 서로 다른 접근으로 병목 문제를 완화한다는 전략이다.

SK하이닉스는 3일 서울 삼성동 코엑스에서 열린 ‘SK AI SUMMIT 2025’에서 ▲고대역폭메모리(HBM) ▲컴퓨트 익스프레스 링크(CXL) ▲프로세싱 인 메모리(PIM) 기술을 중심으로 한 차세대 메모리 솔루션을 선보였다. 전시는 ‘메모리가 이끄는 AI’, ‘메모리 중심 AI 머신’, ‘AiMX’ 섹션으로 구성됐다.

▲상단에는 SK하이닉스의 HBM4 12단과 HBM3E 12단 칩이, 하단에는 HBM3E 12단과 엔비디아 GPU가 적용된 메인보드가 전시돼 있다. / 사진=데이터뉴스

데이터는 메모리에 저장돼 있다가 연산 과정에서 CPU, GPU 등으로 이동한다. 이 때 이동이 정체되는 메모리 병목 현상이 나타나는데, SK하이닉스는 이를 해결하기 위한 세 가지 해법을 제안했다.

먼저 메모리가 이끄는 AI 섹션에서는 HBM4(6세대)가 공개됐다. HBM4 12단은 외형상 HBM3E(5세대) 12단과 유사하지만, 데이터 전송 통로(I/O)가 두 배인 2048개로 늘어나 대역폭이 2배 넓어졌고, 전력 효율도 40% 이상 개선됐다.

SK하이닉스 관계자는 “데이터 전송 통로는 한번에 처리할 수 있는 데이터 수를 의미한다”며, “일반 D램이 64개라면 HBM4는 그보다 32배 많은 2048개를 처리하는 것”이라고 설명했다. 즉, HBM4는 데이터 통로를 넓혀 병목을 완화하는 기술이다.

SK하이닉스는 지난달 주요 고객들과 내년 HBM4 공급 협의를 모두 마쳤다. 4분기부터 출하하기 시작해 내년 본격적인 판매 확대에 나설 계획이다. 이 밖에도 데이터센터 최적화 솔루션 제품으로 MRDIMM, SOCAMM2 등을 함께 전시했다.

▲SK하이닉스의 CXL 풀드 메모리가 시각화된 모형 / 사진=데이터뉴스

메모리 중심 AI 머신 섹션에서는 메모리 용량과 대역폭 확장을 가능하게 해주는 CXL 풀드 메모리(CXL Pooled Memory)가 눈길을 끌었다.

CXL은 AI 작업을 처리하는 여러 서버가 각자의 메모리를 쓰는 대신, 대형 공용 창고처럼 메모리를 함께 쓰는 신기술이다.

기본적으로 추론 아키텍처는 여러 서버로 분산돼 있고, 각 서버가 서로 데이터를 전달하기 위해 네트워크를 통한다. 이 과정에서 네트워크 오버헤드(부하)가 발생한다. SK하이닉스는 이를 해결하기 위해 네트워크 카드나 케이블을 없애고 직접 개발한 풀드 메모리, D램이 많이 꽂힌 메모리 전용 디바이스를 적용했다.

SK하이닉스 관계자는 “기존에는 서버 간 데이터가 네트워크를 거치면서 부하가 발생했지만, SK하이닉스의 풀드 메모리 디바이스를 사용하면 각 서버가 자기 로컬처럼 접근할 수 있다”며, “또 네트워크 카드로 데이터가 전달되면 이후 데이터가 사라지는데, 이 디바이스는 메모리를 거치기 때문에 필요한 데이터를 저장하면 나중에 재계산을 하지 않아도 돼 챗GPT 같은 추론 성능이 굉장히 개선됐다”고 설명했다.

▲SK하이닉스의 GDDR6-AiM(PIM) 칩(왼쪽)과 이 칩이 32개 탑재된 AiM 카드 / 사진=데이터뉴스

AiMX 섹션에서는 차세대 메모리인 GDDR6-AiM(PIM) 칩과 이를 앞뒤로 32개 탑재한 AiMX 카드가 전시됐다.

PIM은 메모리 내부에 연산 기능을 더해 CPU·GPU로의 데이터 이동을 줄이는 기술이다. 특히 대규모언어모델(LLM) 추론 과정에서 GPU 효율을 떨어뜨리는 단순 연산을 직접 처리해 데이터 이동에 소요되는 시간과 전력을 절약할 수 있다.

SK하이닉스 관계자는 “예를 들어 매트릭스 벡터를 하는 연산들이 대체로 LLM으로 추론을 한다고 하면, 메모리에서 데이터를 읽고 연산을 하면 버려지는 데이터가 많다”며, “그렇다면 한 번 쓰고 버릴 데이터를 굳이 옮겨올 필요가 있느냐는 문제의식에서 데이터가 저장된 곳에서 연산을 하자는 콘셉트가 잡혔다”고 설명했다.

PIM은 학계의 일반적 명칭이며, AiM(Accelerator in Memory)은 SK하이닉스가 PIM 기술을 브랜드화한 것이다. 이 제품은 현재 개념검증(PoC) 단계로, 아직까지는 양산보다 기술의 효용성을 확인하는 데 중점을 두고 있다.

박혜연 기자 phy@datanews.co.kr