AI 아키텍처의 근본적인 변화가 다가오고 있으며, 컴퓨팅의 새로운 중심은 GPU가 아닌 메모리가 될 수 있습니다.
'HBM의 아버지'로 널리 알려진 KAIST 김정호 교수는 현재의 GPU 중심 AI 모델이 향후 4년 이내에 메모리 중심 아키텍처로 뒤바뀔 것이라고 예측했습니다. 그는 생성형 AI에서 더 복잡한 에이전틱 AI(Agentic AI)로의 전환을 위해서는 메모리 용량과 대역폭이 최대 1,000배까지 증가해야 하지만, 현재 기술로는 이러한 수요를 충족할 수 없다고 주장합니다.
한국 언론 보도에 따르면 김 교수는 "에이전틱 AI 시대에는 메모리에 대한 새로운 접근 방식이 필요하다"고 언급했습니다. 그의 예측은 방대한 데이터 세트가 메모리 시스템 내에서 직접 처리되어, 중앙 GPU로 데이터를 주고받는 과정에서 발생하는 병목 현상을 줄이는 미래를 가리키고 있습니다.
이 예측의 핵심은 고대역폭 플래시(HBF)라는 차세대 솔루션입니다. 이는 현재의 고대역폭 메모리(HBM)에 사용되는 DRAM 대신 낸드(NAND) 플래시를 적층하는 방식입니다. 이를 통해 훨씬 더 큰 용량의 장기 저장 공간인 '거대한 책장'을 만들 수 있습니다. HBF의 엔지니어링 샘플은 2027년경에 나올 것으로 예상되며, 이르면 2028년에 구글, 엔비디아 또는 AMD와 같은 주요 기업들이 채택할 가능성이 있습니다.
이러한 기술적 전환은 한국의 메모리 거두인 SK하이닉스와 삼성전자 사이의 새로운 전쟁의 장을 열었습니다. HBF 기술을 성공적으로 표준화하고 양산할 수 있는 기업이 AI 하드웨어 시장의 다음 단계에서 지배적인 위치를 확보하게 될 것이며, 이는 현재 엔비디아와 같은 GPU 제조사들이 주도하는 경쟁 구도를 잠재적으로 변화시킬 수 있습니다.
1,000배 메모리 문제
이러한 아키텍처 혁신의 원동력은 AI 애플리케이션 자체의 진화입니다. AI가 단순한 생성을 넘어 자율적인 '에이전트' 시스템으로 이동함에 따라 동시에 처리해야 하는 데이터 양, 즉 '컨텍스트'가 폭발적으로 증가합니다. 김 교수는 이를 '컨텍스트 엔지니어링'의 부상이라고 부르며, AI 에이전트가 효과적으로 기능하기 위해 방대한 문서 라이브러리, 비디오 및 기타 멀티모달 데이터를 처리해야 한다고 설명합니다.
이러한 작업에 필요한 속도와 정밀도를 달성하기 위해 김 교수는 메모리 대역폭과 용량이 1,000배 개선되어야 한다고 추정합니다. 김 교수가 인용한 일부 전망에 따르면 입력 규모가 100배에서 1,000배 증가하면 메모리 수요가 현재 요구 사항의 최대 100만 배까지 늘어날 수 있습니다. DRAM을 수직으로 적층하여 고속 액세스를 가능하게 하는 현재 AI 가속기의 표준인 HBM 기술은 이러한 수준에 도달하기 훨씬 전에 용량 한계에 부딪힐 것입니다. HBM은 액세스는 빠르지만 용량이 제한된 '포스트잇 더미'와 같습니다. 반면 HBF는 전체 도서관 벽면으로 구상되어 완전히 다른 차원의 저장 용량을 제공합니다.
SK하이닉스와 삼성의 새로운 전선
이 차세대 메모리를 개발하기 위한 경쟁은 이미 시작되었으며, HBM 개발 당시 보여준 치열한 경쟁이 재현되고 있습니다. HBM 시장의 선두주자인 SK하이닉스는 초기 우위를 점하기 위해 공격적으로 움직이고 있습니다. 지난 2월, 이 회사는 웨스턴디지털의 샌디스크와 함께 HBF 표준화 연합을 결성하여 기술 생태계를 구축하고 있습니다. SK하이닉스는 또한 HBM과 새로운 HBF를 GPU 옆에 나란히 배치하여 처리 장치를 더 큰 메모리 시스템 내에 내장하는 'H3' 아키텍처에 관한 연구를 발표했습니다.
삼성전자는 투트랙 전략을 추진하고 있습니다. 아주경제 보도에 따르면 삼성은 HBM4E와 같은 제품으로 HBM 라인업을 계속 발전시키는 동시에 HBF 개념에 부합하는 자체 낸드 기반 아키텍처를 개발하고 있습니다. 이 경쟁은 단순한 신제품 칩 제조를 넘어 산업 전체의 표준을 정의하는 일입니다. 표준 설정과 설계부터 대량 생산 및 비용 효율적인 제조에 이르는 완전한 사이클을 먼저 구축하는 기업이 AI의 미래에서 핵심적인 역할을 확보하게 될 것입니다.
이 기사는 정보 제공만을 목적으로 하며 투자 조언을 구성하지 않습니다.