A100
Nvidias Rechenzentrums-GPU aus dem Jahr 2020, gebaut auf der Ampere-Architektur. Das Arbeitstier, das die erste Generation wirklich großer Sprachmodelle trainierte — GPT-3 lief auf Zehntausenden davon.
54 Milliarden Transistoren in 7 nm, 40 oder 80 GB HBM2e-Speicher mit bis zu 2 TB/s Bandbreite, Tensor-Kerne der dritten Generation. Zwei Neuerungen machten den Unterschied: das TF32-Format, das eine deutliche Beschleunigung brachte, ohne dass Code geändert werden musste, und MIG (Multi-Instance GPU), das eine Karte in bis zu sieben isolierte Instanzen aufteilt — ideal für Inferenz und geteilte Cluster. NVLink verbindet Karten innerhalb eines Servers mit weit höherer Bandbreite als PCIe. Abgelöst durch die H100 (Hopper, 2022) und H200, doch die A100 steckt weiterhin in etlichen Clouds, weil sie nach wie vor völlig brauchbar und inzwischen pro Stunde billiger ist.