FP8
Format à virgule flottante sur 8 bits pour l'apprentissage profond — deux fois plus compact que le FP16, avec un débit tensoriel doublé sur les Nvidia Hopper/Ada et les puces suivantes.
Deux variantes, selon la spécification NVIDIA/Arm/Intel : E4M3 (4 bits d'exposant, 3 de mantisse — meilleure précision, pour les poids et les activations) et E5M2 (5 bits d'exposant, 2 de mantisse — meilleure plage, pour les gradients). La mise à l'échelle par tenseur garde la dynamique gérable.
Pris en charge par le H100, le H200, le B200 (FP8 + FP4) et le MI300X. En pratique : un entraînement 2 à 3 fois plus rapide qu'en BF16, avec une qualité comparable si la stratégie de mise à l'échelle est correcte. Courant dans les entraînements de pointe récents (GPT-4o, Llama 3.1+) et le service via vLLM ou TensorRT-LLM.