A100
La GPU per data center di Nvidia del 2020, basata sull'architettura Ampere. Il cavallo da tiro che ha addestrato la prima generazione di modelli linguistici davvero grandi: GPT-3 è stato addestrato su decine di migliaia di esemplari.
54 miliardi di transistor a 7 nm, 40 o 80 GB di memoria HBM2e con fino a 2 TB/s di banda, tensor core di terza generazione. Due innovazioni hanno contato: il formato TF32, che offriva un forte aumento di velocità senza modificare il codice, e MIG (Multi-Instance GPU), che suddivide una scheda in fino a sette istanze isolate, ideale per l'inferenza e per i cluster condivisi. NVLink collega le schede all'interno di un server con una banda molto superiore a quella del PCIe. Sostituita da H100 (Hopper, 2022) e H200, ma le A100 sono ancora ovunque nei cloud perché restano perfettamente utilizzabili e ora costano meno all'ora.