A100
Le GPU de datacenter de Nvidia sorti en 2020, bâti sur l'architecture Ampere. La bête de somme qui a entraîné la première génération de vrais grands modèles de langage — GPT-3 a été entraîné sur des dizaines de milliers d'exemplaires.
54 milliards de transistors en 7 nm, 40 ou 80 Go de mémoire HBM2e avec jusqu'à 2 To/s de bande passante, cœurs tensoriels de troisième génération. Deux nouveautés ont fait la différence : le format TF32, qui offrait une belle accélération sans toucher au code, et le MIG (Multi-Instance GPU), qui découpe une carte en jusqu'à sept instances isolées — idéal pour l'inférence et les clusters partagés. Le NVLink relie les cartes au sein d'un même serveur avec une bande passante bien supérieure au PCIe. Remplacé par le H100 (Hopper, 2022) puis le H200, mais l'A100 traîne encore dans tous les clouds : il reste parfaitement utilisable et coûte désormais moins cher à l'heure.