HBM3e
Улучшенная HBM3. 1,2 ТБ/с на стек (у HBM3 — 819 ГБ/с), 24–36 ГБ на стек. Стандарт для Nvidia H200, B100, B200 и AMD MI300X / MI325X / MI355X. В 2024 году рынок поставок во власти SK Hynix.
Стеки HBM (4–12 кристаллов в 3D-упаковке) сидят на одной подложке с GPU или ускорителем и соединяются через TSV (Through-Silicon Vias). Стандарт — 6–8 стеков на ускоритель. Огромная пропускная способность снимает узкое место при инференсе LLM. Цена: примерно $10–15 за ГБ HBM3e — в 50 раз дороже обычной DDR5 ($0,20/ГБ). Это основная статья расходов в цене H100 в $40 тыс. HBM4 (2025+) достигает 1,5+ ТБ/с. AMD MI300X сделала ставку на объём HBM (192 ГБ против 80 ГБ у H100).