FP8
8-битный формат с плавающей точкой для глубокого обучения: вдвое меньше FP16 и вдвое выше пропускная способность тензорных ядер на Nvidia Hopper/Ada и новее.
Два варианта (спецификация NVIDIA/Arm/Intel): E4M3 (4 бита порядка, 3 мантиссы — точнее, для весов и активаций) и E5M2 (5 бит порядка, 2 мантиссы — шире диапазон, для градиентов). Масштабирование по тензорам удерживает динамику в разумных пределах.
Поддерживается в H100, H200, B200 (FP8 и FP4) и MI300X. На практике обучение в 2–3 раза быстрее, чем на BF16, при сопоставимом качестве, если масштабирование сделано правильно. Часто встречается в новых передовых обучениях (GPT-4o, Llama 3.1+) и в сервинге на vLLM/TensorRT-LLM.