Entraînement en FP8
Entraîner en virgule flottante huit bits. Environ deux fois plus rapide qu'en BF16, mais nécessite de suivre des facteurs d'échelle pour que les valeurs ne sortent pas de l'intervalle.
Deux formats sont utilisés. E4M3 a plus de bits de mantisse et sert aux poids et activations, tandis que E5M2 a une plage d'exposant plus large et sert aux gradients, qui couvrent plus d'ordres de grandeur. La difficulté est que huit bits offrent une fenêtre très étroite : si les valeurs d'un tenseur sont mal positionnées par rapport à elle, elles disparaissent à zéro ou débordent. Les facteurs d'échelle doivent donc être calculés et maintenus par tenseur, voire plus finement, généralement à partir des statistiques des derniers pas. Le support matériel est arrivé avec la génération Hopper. DeepSeek-V3 fut la première exécution bien documentée à l'échelle de pointe, utilisant une mise à l'échelle par blocs de 128 sur 128 et conservant les opérations sensibles en précision plus élevée.