BF16 (bfloat16)
Formato de coma flotante de 16 bits con 8 bits de exponente (el mismo rango que FP32) pero solo 7 bits de mantisa: el punto dulce para entrenar modelos de ML.
Google Brain, 2018 (de ahí lo de "brain float"). La diferencia con el FP16 de IEEE: BF16 tiene el mismo rango dinámico que FP32, así que desaparecen el loss scaling y la caza de NaN. La mantisa, en cambio, es más corta → más pérdida de precisión por operación, pero en la práctica despreciable para el deep learning.
Formato de tensor por defecto en TPU desde la v2, en Nvidia Ampere (A100) en adelante, AMD MI200+ y ARM Neoverse. Predeterminado en el entrenamiento de precisión mixta desde ~2021. FP8 es el sucesor de la era Hopper, pero BF16 sigue siendo la base de pesos y gradientes en la mayoría de los modelos abiertos.