AMD의 새로운 144GB HBM3E PCIe GPU, Instinct MI350P

⏱ 01:53AMD Instinct MI350P는 HBM3E 144GB와 3.6TB/s의 표기 대역폭(최대 4TB/s), MXFP8·6·4 양자화 형식으로 큰 모델의 추론을 지원한다. PCIe Gen5 x16 카드이며 450~600W로 운용한다.

⏱ 04:15MI350X의 절반 규모로 전력·냉각 부담을 줄였고, Infinity Fabric 대신 빠른 PCIe 스위치가 GPU 간 통신에 중요하다. 8장 구성의 메모리는 1,152GB로, 96GB 카드 8장의 768GB보다 크다.

⏱ 06:45핵심은 추론의 디코드에 필요한 대역폭과 모델 크기를 수용할 용량이다. 랙당 20~30kW 등 전력 제약이 있는 기업에는 거대한 랙 시스템의 대안이며, 메모리 병목으로 실제 추론 전력은 최대치보다 낮을 수 있다.

⏱ 00:00우리는 HBM 기반 PCIe GPU를 오랫동안 기다려 왔습니다. 메모리 대역폭이 늘고 GPU가 최신 수치 형식을 지원하며 처리 속도가 빨라지면 AI 모델도 더 빠르게 실행할 수 있습니다. 하지만 그동안 시장에는 이런 새로운 선택지가 사실상 없었습니다. 오늘은 STH의 패트릭이 AMD Instinct MI350P를 살펴보겠습니다. STH 본사이트에서 먼저 다뤘는데, 사람들의 반응이 무척 뜨거웠고 기사 조회 수도 많았습니다. 이후 컴퓨텍스, 델 테크놀로지스 월드, HPE 디스커버에서 여러 구성을 살펴봤습니다. 이들 전시회 모두에서 MI350P를 탑재한 다양한 서버가 등장했습니다.

⏱ 01:00오늘은 새로운 MI350P가 무엇을 제공하는지, 더 큰 OAM 형태의 제품들과 어떻게 다른지, 어떤 용도로 쓸 수 있는지 자세히 알아보려 합니다. 이런 선택지가 있다는 사실조차 모르는 분들이 많습니다. 다음 세대에서 보고 싶은 점들도 있습니다. 그럼 카드를 보겠습니다. AMD가 보내 준 MI350P 사양표를 보면 성능이 꽤 괜찮고 MXFP8, MXFP6, MXFP4 같은 새로운 수치 형식도 지원합니다. 특히 양자화한 모델로 추론할 때 유용합니다. BF16 모델은 크기 때문에 GPU에 올릴 수 없는 경우가 있는데, 이런 형식을 쓰면 같은 GPU에서 더 큰 모델을 실행할 수 있어 많은 사람이 활용하고 있습니다.

⏱ 01:49가장 큰 특징은 HBM3E 메모리가 144GB라는 점입니다. 메모리 대역폭의 최댓값은 4TB/s이고, 실제 제공 성능으로 표기된 값은 3.6TB/s입니다. 다른 기본 사양도 중요합니다. 전용 GPU 서버에 넣으면 최대 600W로 사용할 수 있습니다. 한편 듀얼 슬롯 GPU를 장착할 수 있는 일반적인 2U 서버 등에서는 전력을 450W까지 낮춰 구동할 수 있습니다. 이렇게 보통의 서버 폼팩터에도 설치할 수 있다는 것은 상당한 장점입니다.

⏱ 02:24또 하나 중요한 점은 인터페이스가 PCIe Gen5 x16이라는 것입니다. AMD EPYC 9005 시리즈인 튜린(Turin) 등 현 세대 서버에 잘 맞습니다. 원한다면 EPYC 8005 시리즈 세라노(Serrano) 플랫폼에서도 사용할 수 있겠다고 설명합니다. 카드는 패시브 냉각 방식이며, 폭은 슬롯 두 개를 차지하는 더블 와이드이고 높이와 길이는 모두 풀사이즈입니다.

⏱ 02:46반면 이 카드에 없는 것은 인피니티 패브릭(Infinity Fabric) 스케일업 네트워크입니다. 따라서 하나의 시스템 안에서 여러 GPU에 걸쳐 모델을 실행하려면, 카드들을 빠른 PCIe Gen5 스위치에 연결하는 편이 좋습니다. GPU끼리 통신할 때 가능한 한 스위치 밖으로 나가지 않고 그 안에서 통신을 끝낼 수 있도록 하려는 것입니다.

⏱ 03:10동급의 다른 GPU들처럼 이 GPU도 여러 조각으로 분할해서 사용할 수 있습니다. 작은 GPU 네 개를 설치하는 대신 큰 GPU 하나를 넣는 방식은 꽤 흔합니다. 예를 들어 이 카드를 두 개 정도 장착할 수 있는 2U 서버라면, 작은 카드 여덟 개 대신 큰 카드 두 개를 설치한 뒤 분할 기능을 이용할 수 있습니다. 흥미로운 활용 사례입니다. 또한 하드웨어 영상 디코딩 엔진도 탑재합니다. 요즘 AI의 주요 용도 중 하나가 영상 분석이므로, CPU를 거치지 않고 GPU 안에서 직접 영상을 디코딩하려는 수요에 대응합니다.

⏱ 03:56GPU를 아는 분이라면 “MI350X는 메모리가 288GB이고 대역폭도 8TB/s 정도인 GPU 아니었나?”라고 생각할 수 있습니다. MI350P는 MI350X와 똑같이 이름에 350이 들어가지만, 제 생각에는 P가 PCIe를 뜻하는 것 같습니다. 핵심은 사실상 GPU의 절반 정도를 제공하는 제품으로 이해하면 된다는 점입니다. 그러면 “왜 GPU를 절반만 쓰고 싶겠는가?”라고 물을 수 있습니다. 답은 간단합니다. 온전한 MI350X는 소비 전력이 너무 커서 두 슬롯 너비의 PCIe 카드 형태로는 냉각할 수 없기 때문입니다.

⏱ 04:33그래서 AMD는 사실상 “절반 정도만 활성화해 저전력 제품으로 만들면 여러 폼팩터에서 구동할 수 있지 않을까?”라는 접근을 취했습니다. 실제로 이런 카드들을 여러 곳에서 봤습니다. 델 테크놀로지스 월드에서는 이 GPU 여덟 개를 서버 한 대에 넣은 시스템을 비롯해 많은 제품이 전시됐습니다. HPE 디스커버와 컴퓨텍스에서도 볼 수 있었고, 그곳에서도 서버당 GPU 여덟 개 구성인 제품이 많았습니다. 전시장 곳곳에 등장한 이유는 경쟁 제품을 살펴보면 이해할 수 있다고 생각합니다.

⏱ 05:13현 세대 PCIe Gen5 GPU 중에서 경쟁 선택지는 몇 가지뿐입니다. 하나는 엔비디아의 호퍼(Hopper) 세대인 H100이나 H200이고, NVLink로 GPU 두 개를 연결할 수 있는 NVL 제품들도 있습니다. 솔직히 H200 NVL의 메모리가 141GB여서 144GB보다 3GB 적다는 것 자체는 크게 중요하지 않다고 봅니다. 더 중요한 차이는 호퍼 세대라는 점입니다. MI350X는 그보다 새로운 세대로, 엔비디아 블랙웰(Blackwell) 세대와 경쟁하도록 나온 제품입니다.

⏱ 05:46이 차이가 중요한 이유는, 영상에서 다루는 시점에 엔비디아의 블랙웰 PCIe GPU 중에는 HBM 기반 제품이 사실상 없기 때문입니다. HBM을 쓰는 B300 PCIe 카드나 B200 PCIe 카드는 공개 판매 제품으로 나오지 않았습니다. 따라서 PCIe 서버에서 엔비디아 블랙웰을 쓰려면 RTX PRO 6000 Blackwell Server Edition을 사용하게 됩니다. 저희도 여러 번 다룬 인기 있는 제품입니다. 다만 GDDR7 기반이며 메모리는 96GB입니다. 대역폭도 제 기억으로는 약 1.6TB/s여서 HBM의 3점 몇 TB/s 또는 4TB/s에는 한참 못 미칩니다. 용량 역시 144GB가 아니라 96GB입니다.

⏱ 06:40이 두 가지 차이를 보면 사용자들이 왜 관심을 갖는지 알 수 있습니다. “AI 추론, 특히 디코드 단계에서는 메모리 대역폭이 필요하고, 더 큰 모델을 실행하려면 메모리 용량이 필요하다”는 것입니다. 그런데 어느 순간부터는 PCIe 슬롯 수가 한계가 됩니다. 일반적인 2U 서버든 다른 서버든 물리적으로 넣을 수 있는 슬롯 수는 정해져 있습니다. 최근 많이 본 8 GPU 서버 역시 GPU 슬롯이 여덟 개뿐이므로, 추가로 장착할 수 있는 카드 수에 제한이 생깁니다.

⏱ 07:07GPU 서버에서 쓸 수 있는 슬롯이 여덟 개라면, AMD MI350P는 144 × 8 = 1,152GB의 메모리를 제공합니다. 반면 엔비디아 쪽은 카드당 96GB이므로 합계가 768GB입니다. 전체 메모리 용량이 대략 400GB 줄어드는 셈이며, 메모리 대역폭도 절반 미만입니다. 메모리 대역폭과 용량을 모두 비교했을 때 나타나는 이런 차이가 사람들이 이 제품에 열광하는 이유라고 생각합니다.

⏱ 07:46이 영상을 준비하면서 저도 이런 시스템을 직접 사용해 보고 싶어 OEM 업체들에 계속 요청했습니다. 하지만 문의할 때마다 “이 제품에 관심 있는 고객이 너무 많아 접근 기회를 드릴 수 없다. 실제로 고객들이 줄을 서서 기다리고 있는데, 지금 공급되는 카드 수에는 한계가 있다”는 답변이 돌아왔습니다. 여러분은 이 제품을 어떻게 생각하는지도 듣고 싶습니다.

⏱ 08:05STH 본사이트에서는 이미 몇 차례 다뤘지만 유튜브에서는 본격적으로 소개하지 않았습니다. 그동안 엔비디아 시스템을 많이 보여 드렸으니, 이런 시스템은 어떤 모습인지 간단히 설명할 가치가 있다고 생각했습니다. 이 카드는 TDP가 600W인 GPU라서 여덟 개를 넣은 서버는 소비 전력도 상당합니다. GPU에 더해 CPU, 메모리, SSD, 네트워크 카드(NIC), 그리고 이 모든 부품을 식히는 냉각 장치까지 필요하므로, 공랭식 서버 한 대가 10kW를 훌쩍 넘는 경우도 보게 됩니다.

⏱ 08:43따라서 RTX PRO 6000 Blackwell Server Edition을 사용하는 시스템과 비슷한 위치에 있는 제품이라고 봅니다. 그런 시스템도 STH 본사이트에서 여러 번 보여 드렸습니다. 여기서는 왜 이런 서버를 선택하려 하는지를 이해하는 것이 중요합니다. 핵심 이유 중 하나는 많은 사용자가 대형 NVL72 랙이나 AMD 헬리오스(Helios) 랙을 운용할 수 없다는 점입니다. 랙 하나, 나아가 케이지 구역에 공급해야 하는 전력이 워낙 커서, 그만큼의 전력을 확보하지 못한 곳이 많습니다.

⏱ 09:17랙당 사용할 수 있는 전력이 수십 kW, 예를 들어 20kW나 30kW 정도이고, 그 한도 안에 시스템들을 배치해야 할 수 있습니다. 그런 환경에서는 이와 같은 GPU 플랫폼을 랙 안에 두세 대 넣는 구성을 고려할 기회가 생깁니다. 또한 이런 시스템으로 AI 추론을 수행하면 연산 성능보다 메모리 대역폭과 용량이 병목이 되는 경우가 많습니다. 그래서 시스템이 언제나 10kW를 넘는 최대 수준의 전력을 쓰는 것은 아닙니다. 실제로는 그보다 훨씬 낮은 전력으로 동작하는 경향이 있습니다.

⏱ 09:50많은 분이 데이터센터에서 무엇을 운용할지, 거대한 랙 규모 시스템 외에 어떤 선택지가 있는지 고민하기 때문에 이 제품이 흥미롭다고 생각했습니다. 많은 기업이 설치하려는 GPU 수는 수십 개나 수백 개, 많아도 어쩌면 1,000개 정도일 것입니다. 10만 개를 설치하려는 것은 아닙니다. 이런 규모의 기업 환경에 적합한 흥미로운 해법이라고 생각합니다.