HBM3e
HBM3 potenziata. 1,2 TB/s per stack (contro gli 819 GB/s di HBM3), 24-36 GB per stack. Standard su Nvidia H200, B100, B200 e AMD MI300X / MI325X / MI355X. Nel 2024 SK Hynix domina la fornitura.
Gli stack HBM (4-12 die, impilati in 3D) stanno sul package insieme alla GPU o all'acceleratore, collegati tramite TSV (Through-Silicon Via). Di norma 6-8 stack per acceleratore. Una banda enorme allevia il collo di bottiglia dell'inferenza degli LLM. Prezzo: circa 10-15 $ per GB di HBM3e, 50 volte più della normale DDR5 (0,20 $/GB). È la voce di costo principale nei 40.000 $ di una H100. HBM4 (2025+) supera 1,5 TB/s. La MI300X di AMD ha puntato tutto sulla capacità HBM (192 GB contro gli 80 GB della H100) come argomento di vendita.