FP8
8-Bit-Fließkommaformat für Deep Learning — halb so groß wie FP16, doppelter Tensor-Durchsatz auf Nvidia Hopper/Ada und neuer.
Zwei Varianten nach NVIDIA/Arm/Intel-Spec: E4M3 (4 Exponent, 3 Mantisse — bessere Präzision, für Gewichte und Aktivierungen) und E5M2 (5 Exponent, 2 Mantisse — größerer Wertebereich, für Gradienten). Per-Tensor-Scaling hält die Dynamik beherrschbar.
Unterstützt von H100, H200, B200 (FP8 + FP4) und MI300X. In der Praxis: 2–3× schnelleres Training als mit BF16 bei vergleichbarer Qualität, wenn das Scaling stimmt. Verbreitet bei neuen Frontier-Trainingsläufen (GPT-4o, Llama 3.1+) und im Serving mit vLLM/TensorRT-LLM.