A100
GPU для дата-центров от Nvidia (2020) на архитектуре Ampere. Рабочая лошадка, на которой обучалось первое поколение по-настоящему больших языковых моделей: GPT-3 обучали на десятках тысяч таких карт.
54 миллиарда транзисторов по техпроцессу 7 нм, 40 или 80 ГБ памяти HBM2e с пропускной способностью до 2 ТБ/с, тензорные ядра третьего поколения. Важны были две новинки: формат TF32, давший большой прирост без изменений в коде, и MIG (Multi-Instance GPU), делящий одну карту на семь изолированных экземпляров — идеально для инференса и общих кластеров. NVLink соединяет карты внутри сервера с пропускной способностью, намного превосходящей PCIe. На смену пришли H100 (Hopper, 2022) и H200, но A100 по-прежнему полно в облаках: они всё ещё вполне пригодны, а час аренды подешевел.