A100
Nvidias datacenter-GPU från 2020, byggd på Ampere-arkitekturen. Arbetshästen som tränade den första generationen riktigt stora språkmodeller — GPT-3 tränades på tiotusentals av dem.
54 miljarder transistorer i 7 nm, 40 eller 80 GB HBM2e-minne med upp till 2 TB/s bandbredd, tredje generationens tensorkärnor. Två nyheter gjorde skillnad: TF32-formatet som gav stor uppsnabbning utan att koden behövde ändras, och MIG (Multi-Instance GPU) som delar upp ett kort i upp till sju isolerade instanser — perfekt för inferens och delade kluster. NVLink kopplar ihop korten inom en server med långt högre bandbredd än PCIe. Efterträdd av H100 (Hopper, 2022) och H200, men A100 finns kvar i massor av moln eftersom den fortfarande är fullt användbar och numera billigare per timme.