A100
La GPU para centros de datos de Nvidia de 2020, construida sobre la arquitectura Ampere. El caballo de batalla que entrenó la primera generación de modelos de lenguaje verdaderamente grandes — GPT-3 se entrenó con decenas de miles de ellas.
54 000 millones de transistores en 7 nm, 40 u 80 GB de memoria HBM2e con hasta 2 TB/s de ancho de banda, núcleos tensoriales de tercera generación. Dos novedades marcaron la diferencia: el formato TF32, que dio una gran aceleración sin tocar el código, y MIG (Multi-Instance GPU), que particiona una tarjeta en hasta siete instancias aisladas — ideal para inferencia y clústeres compartidos. NVLink conecta las tarjetas dentro de un servidor con un ancho de banda muy superior al de PCIe. Sucedida por la H100 (Hopper, 2022) y la H200, pero las A100 siguen por todas las nubes porque aún son perfectamente utilizables y ahora salen más baratas por hora.