FP8
Formato in virgola mobile a 8 bit per il deep learning: metà delle dimensioni di FP16 e doppia capacità di calcolo dei tensor core sulle architetture Nvidia Hopper/Ada e successive.
Esistono due varianti (specifica NVIDIA/Arm/Intel): E4M3 (4 bit di esponente, 3 di mantissa: più precisione, per pesi e attivazioni) ed E5M2 (5 di esponente, 2 di mantissa: più intervallo, per i gradienti). Una scala per tensore tiene sotto controllo la dinamica dei valori.
È supportato da H100, H200, B200 (FP8 + FP4) e MI300X. In pratica: addestramento 2–3 volte più veloce rispetto a BF16, con qualità comparabile se la scalatura è fatta bene. È comune nelle nuove esecuzioni di frontiera (GPT-4o, Llama 3.1+) e nel serving con vLLM/TensorRT-LLM.