초보자를 위한 HBM 설명

고대역폭 메모리(HBM)가 생성형 AI의 메모리 병목을 푸는 핵심 부품인 이유를 입문자 눈높이로 설명한 영상입니다. 메모리를 수직으로 쌓고 넓은 인터페이스로 프로세서 가까이 연결하는 구조, 세대별 대역폭 증가, 소수 제조사가 과점하는 공급망, 에너지 효율과 PIM·열 관리 같은 과제를 차례로 다룹니다.

⏱ 00:00챗봇, 이미지 생성기, 코드 도우미 같은 AI 서비스를 가능하게 하는 원동력이 무엇인지 묻는 것으로 시작합니다. 발표자는 그 핵심 부품으로 고대역폭 메모리, 즉 HBM을 소개하며 이 영상을 보고 나면 HBM이 무엇이고 왜 필요한지 이해하게 된다고 말합니다.

사람이 어려운 문제를 풀 때 기억 속 정보를 빠르게 떠올려야 하듯, 컴퓨터도 계산 장치와 메모리가 데이터를 빠르게 주고받아야 한다는 비유로 배경을 설명합니다.

⏱ 01:06GPU는 초당 수십억 번 계산할 만큼 빠르지만, 메모리가 그 속도를 따라가지 못하면 데이터를 기다리며 멈추게 됩니다. 발표자는 수천 개 차선의 고속도로를 달리는 차들이 1차선 다리 하나를 통과해야 하는 상황에 비유하며, 이 1차선 다리가 기존 DRAM이고 이를 '메모리 벽'이라 부른다고 설명합니다.

HBM은 이 병목을 줄이기 위해 설계되었습니다. 메모리와 프로세서를 같은 패키지 안에서 가까이 붙이고 연결 통로를 넓혀, 1차선 다리 대신 천 차선 슈퍼고속도로를 만드는 개념입니다.

⏱ 02:01HBM의 핵심 기술은 수직 적층입니다. 기존 메모리가 평평하게 나란히 놓이는 것과 달리, HBM은 여러 장의 얇은 메모리 다이를 층층이 쌓고 TSV라 불리는 미세한 관통 전극으로 위아래를 연결합니다. 좁은 면적에서도 데이터 통로가 크게 늘어나는 이유입니다.

또한 일반 DRAM이 64~128비트 버스를 쓰는 데 비해 HBM은 1,024비트라는 훨씬 넓은 인터페이스를 사용합니다. 발표자는 이를 매 클럭마다 더 많은 데이터를 주고받을 수 있는 구조로 설명합니다.

⏱ 03:36HBM은 빠르게 발전해 왔습니다. 2015~2016년 처음 등장한 HBM1, HBM2는 초당 수백 기가바이트 수준이었고, HBM2E와 HBM3를 거쳐 현재 널리 쓰이는 HBM3E는 스택당 최대 1.28테라바이트를 제공한다고 소개됩니다. 차세대 HBM4는 인터페이스 폭을 2048비트로 두 배 늘려 스택당 1.5TB/s 이상을 목표로 하며, 영상 기준 샘플링 단계로 언급됩니다.

각 세대마다 대역폭이 거의 두 배씩 늘어난다는 점이 강조됩니다.

⏱ 04:26생성형 AI는 수십억에서 수천억 개의 파라미터를 메모리에서 반복해서 읽어야 합니다. 토큰 하나를 만들 때마다 대량의 파라미터에 접근하므로 메모리가 느리면 응답이 느려지고 비용이 늘며 규모 확장도 어려워진다고 설명합니다.

영상은 엔비디아 H200이 HBM3E로 초당 4.8TB의 대역폭을 제공하고, AMD MI350 시리즈도 비슷한 수준이라는 사례를 듭니다. HBM이 없다면 같은 성능을 위해 더 많은 칩을 연결해야 해 전력과 복잡성이 커진다고 합니다. HBM은 일반 회로 기판이 아니라 실리콘 인터포저 위에서 GPU와 나란히 놓이며, TSMC의 CoWoS 같은 2.5D 패키징이 이 초고속 연결을 가능하게 한다고 설명합니다.

⏱ 06:22HBM을 생산하는 기업은 SK하이닉스, 삼성전자, 마이크론 세 곳뿐이라고 소개됩니다. 영상에 따르면 SK하이닉스가 약 62%로 가장 큰 점유율을 차지하고, 삼성전자가 약 17%, 마이크론이 나머지 21%를 차지합니다. 제조 공정이 극도로 복잡하고 과점 구조라 공급이 빠듯하며, 수요는 2025년 전년 대비 130%, 2026년에도 70% 증가하는 것으로 언급됩니다.

이 때문에 HBM은 단순한 부품을 넘어 AI 산업의 전략적 병목이 되었고, 클라우드 기업들이 장기 공급 계약을 맺는 등 지정학·경제적 중요성이 커졌다고 정리됩니다.

⏱ 07:48HBM의 짧고 넓은 연결 구조는 게이밍용 GDDR 메모리에 비해 데이터 전송당 전력 소모가 적어 대규모 AI 데이터센터의 에너지 효율에 중요하다고 설명합니다. 또 베이스 다이에 간단한 연산 로직을 넣는 프로세싱 인 메모리(PIM) 연구도 소개되며, 초기 결과로 기존 구성 대비 53%의 성능 향상과 10% 이상의 에너지 효율 개선이 보고되었다고 합니다.

12~16단까지 적층하면 열 관리와 신뢰성이 큰 과제가 되며, 적응형 리프레시, 마이크로채널 냉각, 구리 대 구리 직접 연결인 하이브리드 본딩 등으로 대응하고 있다고 합니다. 마지막으로 HBM4 탑재 제품은 2027년 출시가 예상되고, 광학 인터커넥트 같은 후속 기술도 연구 중이라고 전합니다.