GPU 병렬 컴퓨팅 시대 '메모리 병목'
HBM 속도 한계…차세대 메모리 필요
낸드 기반 HBF 부상…AI 서버 주목
SK하이닉스·샌디스크, HBF 표준화 시동
[서울=뉴스핌] 서영욱 기자 = 인공지능(AI) 반도체 경쟁의 축이 다시 이동할 조짐을 보이고 있다. 그동안 그래픽처리장치(GPU)와 고대역폭메모리(HBM)가 이끌어온 AI 인프라 경쟁에서 새로운 메모리 기술인 고대역폭플래시(High Bandwidth Flash, HBF)가 부상하며 차세대 시장 주도권 경쟁에 불을 지피고 있다. AI 산업이 학습(Training) 중심에서 실제 서비스 단계인 추론(Inference) 중심으로 빠르게 이동하면서 기존 메모리 구조만으로는 한계가 드러났기 때문이다.
AI 시대의 병목은 더 이상 연산 성능만이 아니다. 데이터를 얼마나 빠르고 효율적으로 공급하고 저장할 수 있는지가 새로운 경쟁력으로 떠오르고 있다. HBM이 AI 시대의 '속도'를 끌어올린 기술이라면, HBF는 '용량'과 '효율'의 한계를 넘어설 차세대 메모리로 주목받는다. 업계에서는 이를 두고 차세대 메모리 경쟁이 본격화되고 있다는 평가도 나온다.
◆AI 병목은 '메모리'…HBF는 왜 필요한가
4일 반도체업계에 따르면 AI 산업의 중심이 거대언어모델(LLM) 학습에서 실제 서비스 단계인 추론으로 빠르게 이동하면서 컴퓨팅 구조 자체도 변화하고 있다.
AI 시대에는 수많은 연산을 동시에 처리하는 GPU 기반 병렬 컴퓨팅이 핵심이 됐지만, GPU가 최대 성능을 발휘하려면 대량의 데이터를 지속적으로 공급받아야 한다. 기존 D램 기반 메모리는 데이터 전송 구조와 대역폭의 한계로 인해 GPU가 데이터를 기다리며 멈추는 '메모리 병목' 현상이 발생한다. 이 문제를 해결하기 위해 등장한 기술이 바로 고대역폭메모리(HBM)다.
HBM은 여러 개의 D램을 수직으로 쌓아 데이터 통로를 크게 넓힌 메모리다. GPU가 요구하는 대규모 병렬 연산 환경에 맞춰 대역폭을 극대화한 구조로, AI 데이터센터의 핵심 부품으로 자리 잡았다. 실제로 AI 반도체 시장에서 HBM은 GPU 성능을 좌우하는 핵심 요소로 평가되며, 삼성전자와 SK하이닉스와 같은 주요 메모리 기업들의 경쟁도 HBM을 중심으로 전개돼 왔다.
그러나 AI 산업의 무게중심이 학습에서 추론으로 이동하면서 HBM의 구조적 한계도 드러나고 있다. AI 모델이 서비스 단계에 들어가면서 사용자 요청에 즉각적으로 응답해야 하는 추론 작업이 급증하고 있지만, HBM의 용량은 상대적으로 제한적이다. 하나의 요청을 처리하기 위해 여러 GPU를 묶어 사용하는 구조가 필요해지고, 이 과정에서 비용과 전력 소비도 급격히 증가한다.
또 다른 문제는 휘발성이다. HBM은 D램 기반으로 전원이 꺼지면 데이터가 사라진다. 하지만 개인화 AI나 장기 기억 기반 서비스가 확대될수록 데이터를 지속적으로 저장할 수 있는 비휘발성 메모리의 필요성이 커지고 있다. 기존 스토리지인 SSD는 용량은 충분하지만 속도가 느려 실시간 AI 추론에는 적합하지 않다. 결국 속도와 용량, 비휘발성을 동시에 확보할 수 있는 새로운 메모리 계층이 필요해졌고, 이 대안으로 등장한 기술이 HBF다.
◆SK하이닉스·샌디스크, HBF 표준화 시동
HBF는 3D 낸드플래시를 수직으로 적층해 대역폭을 높인 메모리 구조다. 낸드 기반의 비휘발성을 유지하면서도 기존 저장장치보다 빠른 데이터 접근 속도를 구현하는 것이 목표다. 속도는 HBM보다 낮지만 용량은 훨씬 크고, SSD보다 빠른 중간 계층 메모리로 평가된다. 업계에서는 HBM이 연산에 필요한 초고속 데이터를 처리하고, HBF가 대용량 데이터를 저장·공급하는 '하이브리드 메모리 아키텍처'가 AI 서버의 새로운 표준이 될 가능성에 주목하고 있다.
이 같은 흐름 속에서 SK하이닉스와 샌디스크는 지난달 25일 미국 캘리포니아 밀피타스에 위치한 샌디스크 본사에서 'HBF 스펙(Spec.) 표준화 컨소시엄 킥오프' 행사를 열고 글로벌 표준화 전략을 공식 발표했다. 양사는 세계 최대 개방형 데이터센터 기술 협력체인 OCP(Open Compute Project) 산하에 HBF 전담 워크스트림을 구성하고, 차세대 AI 메모리 규격을 마련하기 위한 표준화 작업에 착수했다. HBF를 업계 공통 규격으로 정립해 AI 서버 생태계 전반에서 활용할 수 있는 기반을 구축하겠다는 구상이다.
양사는 HBM과 낸드 분야에서 축적한 설계·패키징 기술과 대량 양산 경험을 기반으로 HBF의 표준화와 제품화를 선제적으로 추진한다는 계획이다. 특히 SK하이닉스는 HBM에서 확보한 고대역폭 설계와 패키징 기술을 활용해 HBF 기술 확장을 추진하고 있으며, 향후 주요 GPU 업체들이 HBF 규격을 채택할 경우 AI 메모리 시장에서 새로운 공급 축으로 부상할 가능성이 제기된다.
◆HBM의 한계…"대안은 HBF"
반도체 산업에 미칠 파장도 적지 않다. 그동안 메모리 시장은 D램 중심 구조였지만, HBF가 상용화될 경우 낸드 기반 기술의 중요성이 다시 부각될 가능성이 크다. 또한 HBM과 HBF를 함께 활용하는 새로운 메모리 구조가 자리 잡으면 AI 반도체 경쟁의 중심도 단일 칩 성능에서 CPU·GPU·메모리·스토리지를 아우르는 시스템 수준 경쟁으로 확대될 전망이다.
'HBM의 아버지'로 불리는 김정호 한국과학기술원(카이스트) 교수도 이러한 변화 가능성을 강조하고 있다. 김정호 교수는 지난해 12월 샌디스크와의 인터뷰에서 "AI 성능은 결국 메모리에 의해 좌우된다"며 "HBM은 GPU에 높은 대역폭과 메모리 용량을 제공하도록 설계됐지만, 특히 추론 과정에서는 더 큰 용량과 빈번한 데이터 접근이 필요하다. 이런 환경에서는 HBF가 효과적인 대안이 될 수 있다"고 말했다.
그는 AI 확산에 따라 데이터센터 메모리 수요가 급격히 증가할 것으로 전망했다. 김 교수는 "현재 생성형 AI 이용자가 수백만 명 수준이라면 앞으로는 훨씬 더 늘어날 것"이라며 "과거 PC에서 스마트폰으로 넘어오며 메모리 용량이 크게 증가했듯, AI 데이터센터의 메모리 규모도 향후 10년 안에 수백 배에서 최대 1000배까지 늘어날 수 있다"고 설명했다. 이어 "AI 시대에는 GPU뿐 아니라 HBM과 HBF 같은 메모리 기술이 핵심 경쟁력이 될 것"이라고 강조했다.
syu@newspim.com
