FP8
Formato de coma flotante de 8 bits para deep learning — la mitad de tamaño que FP16, el doble de throughput de tensores en Nvidia Hopper/Ada y posteriores.
Dos variantes (especificación NVIDIA/Arm/Intel): E4M3 (4 bits de exponente, 3 de mantisa — mejor precisión, para pesos y activaciones) y E5M2 (5 de exponente, 2 de mantisa — mejor rango, para gradientes). El escalado por tensor mantiene la dinámica bajo control.
Soportado en H100, H200, B200 (FP8 + FP4) y MI300X. En la práctica: entrenamiento 2-3 veces más rápido que BF16 con calidad comparable si el escalado se hace bien. Habitual en los entrenamientos frontier más recientes (GPT-4o, Llama 3.1+) y en el servicio con vLLM/TensorRT-LLM.