FP8
Formato de ponto flutuante de 8 bits para deep learning: metade do tamanho do FP16 e o dobro da vazão de tensor nas Nvidia Hopper/Ada e posteriores.
Duas variantes (especificação NVIDIA/Arm/Intel): E4M3 (4 de expoente, 3 de mantissa: mais precisão, para pesos e ativações) e E5M2 (5 de expoente, 2 de mantissa: mais alcance, para gradientes). O escalonamento por tensor mantém a dinâmica sob controle.
Suportado em H100, H200, B200 (FP8 + FP4) e MI300X. Na prática: treinamento 2 a 3 vezes mais rápido que em BF16, com qualidade comparável se o escalonamento for bem feito. Comum em novos treinos de fronteira (GPT-4o, Llama 3.1+) e em serving com vLLM/TensorRT-LLM.