AI 핵심 요약
beta- SK하이닉스가 16일 HBF를 장문 추론용으로 제시했다
- HBM과 SSD 사이 대용량 보조메모리로 구체화했다
- 장문·대규모 배치에 쓰고 AI 메모리 비용을 낮춘다
!AI가 자동 생성한 요약으로 정확하지 않을 수 있어요.
낸드 기반 대용량 강점 살려 AI 추론 메모리 계층 다변화
빠른 데이터는 HBM, 대용량 데이터는 HBF…역할 분담 전략
비용효율 중요한 장문 서비스 겨냥…전체 메모리 비용 절감 기대
HBM·SSD 사이 새 계층 구체화…실제 적용처 처음 선명하게 제시
[서울=뉴스핌] 조민교 기자 = SK하이닉스가 차세대 인공지능(AI) 메모리로 추진 중인 고대역폭플래시(HBF)의 구체적인 AI 워크로드를 제시했다. 기존에 HBM과 SSD 사이의 새로운 메모리 계층으로 소개해왔던 HBF를 장문 컨텍스트와 대규모 배치 추론에 특화된 메모리로 구체화한 것이다.
SK하이닉스가 내놓은 답은 'HBM 대체'보다는 '역할 분담'에 가깝다. 모든 AI 연산에 HBF를 사용하는 것이 아니라 많은 데이터를 오랫동안 저장하면서 처리해야 하는 장문·대규모 AI 추론에 HBF를 집중적으로 활용하겠다는 구상이다.
◆ "낸드가 HBM 대신할 수 있나"…용도 논란에 답 내놓은 SK하이닉스
18일 업계에 따르면 SK하이닉스는 지난 16일(현지시간) 미국 산타클라라에서 열린 'AI Infra Summit 2026'에서 HBF의 구체적인 활용처를 처음으로 제시했다.
핵심은 AI가 긴 대화를 이어가거나 한꺼번에 많은 이용자의 요청을 처리할 때 필요한 대용량 메모리다.
예를 들어 챗봇이 사용자와 짧은 문답 몇 차례만 주고받을 때는 기억해야 할 데이터가 많지 않다. 하지만 수십 페이지의 문서를 읽고 대화를 이어가거나, AI 에이전트가 이전 작업 내용을 기억하면서 여러 단계의 업무를 수행하면 상황이 달라진다. AI가 앞서 처리한 내용을 임시로 저장해두는 'KV캐시'가 계속 늘어나기 때문이다.
여기에 수천~수만명의 이용자가 동시에 AI를 사용하면 필요한 메모리 용량은 더욱 커진다. SK하이닉스가 이번 발표에서 HBF의 주요 적용 영역으로 제시한 '긴 컨텍스트(long-context)'와 '대규모 배치(large-batch)'가 바로 이런 환경이다.
현재 이런 데이터는 주로 GPU 옆의 HBM에 저장된다. HBM은 속도가 매우 빠르다는 장점이 있지만 가격이 비싸고 한 번에 확보할 수 있는 용량에도 한계가 있다. AI가 기억해야 할 데이터가 계속 늘어난다고 해서 모든 데이터를 HBM에 쌓아두는 것은 비용 측면에서 비효율적일 수 있다.
HBF는 이 문제를 해결하기 위한 '대용량 보조 메모리'에 가깝다. HBF는 D램을 쌓는 HBM과 달리 고용량 3D 낸드를 적층해 만든다. HBM만큼 빠르지는 않지만 일반 SSD보다는 훨씬 빠르면서 더 많은 데이터를 상대적으로 낮은 비용으로 저장하는 것을 목표로 한다.
이에 따라 GPU가 당장 자주 읽어야 하는 데이터는 HBM에 두고, 긴 대화 기록이나 대규모 KV캐시처럼 용량은 많이 차지하지만 매 순간 최고 속도가 필요하지 않은 데이터는 HBF에 보관하는 방식이 가능해진다.
그동안 HBF는 'HBM과 SSD 사이의 새로운 메모리'라는 개념으로 주로 소개됐지만 실제로 어떤 AI 작업에 필요한지는 명확하지 않았다. HBF는 낸드 기반인 만큼 D램 기반 HBM처럼 모든 데이터를 수시로 빠르게 읽고 쓰는 데는 한계가 있어, 해외에서도 HBF의 실효성을 둘러싼 의문이 제기돼 왔다.
이번 발표에서 SK하이닉스가 장문 AI와 대규모 동시 추론을 구체적인 활용처로 제시하면서 HBF의 역할도 한층 선명해졌다. HBM을 대체하기보다는 AI가 처리해야 할 데이터가 많아질수록 부족해지는 HBM의 용량과 비용 부담을 덜어주는 역할이다.
◆ 비싼 HBM 무작정 늘리지 않는다…HBF로 AI 추론비용 낮춘다
HBF의 또 다른 관건은 가격이다. 업계에서는 HBF 역시 높은 대역폭을 구현하기 위해 복잡한 적층·패키징 기술이 필요한 만큼 가격이 HBM 수준까지 높아질 경우 실제 도입 유인이 크지 않을 수 있다는 지적이 제기돼 왔다.
다만 HBF의 가격 경쟁력은 제품 하나를 HBM보다 싸게 만드는 데 있는 것이 아니다. AI가 긴 대화를 처리하거나 많은 이용자의 요청을 동시에 처리할수록 저장해야 할 데이터가 크게 늘어나는데, 이를 모두 HBM에 담으려면 비싼 HBM 용량을 계속 추가해야 해 비용 부담이 커진다.
HBF는 이 부담을 덜어주는 역할을 한다. 빠른 처리가 꼭 필요한 데이터는 HBM에 두고, 용량은 많이 필요하지만 상대적으로 자주 쓰이지 않는 데이터는 HBF가 맡는 식이다. HBM에 모든 데이터를 저장하지 않아도 되는 만큼 전체 메모리 비용을 낮출 수 있다는 것이다.
SK하이닉스도 이번 'AI Infra Summit 2026'에서 HBF를 대규모 배치와 긴 컨텍스트 등 비용 효율이 중요한 AI 서비스에 적합한 메모리로 제시했다. 결국 HBF의 경제성은 HBM보다 개별 제품 가격이 얼마나 싼지보다, HBM이 맡아야 할 데이터와 용량을 얼마나 줄여 AI 시스템 전체 비용을 낮출 수 있느냐에 달린 셈이다.
임의철 SK하이닉스 부사장은 "AI 워크로드가 초저지연 에이전트 서비스부터 비용 효율성이 중요한 장기 컨텍스트 서비스에 이르기까지 더욱 다양해짐에 따라 기존의 GPU-HBM 아키텍처만으로는 새로운 요구 사항을 충족하기 어려워지고 있다"고 말했다.
이어 "높은 대역폭과 대용량을 결합해 장기 컨텍스트 워크로드의 효율성을 향상시키는 HBF는 기존의 한계를 뛰어넘을 수 있는 대안"이라고 강조했다.
mkyo@newspim.com
