FP8 eğitimi
Sekiz bitlik kayan noktayla eğitim. BF16’ya göre kabaca iki kat hızlıdır ve sayıların aralık dışına düşmemesi için ölçekleme faktörlerinin izlenmesini gerektirir.
İki biçim kullanılır. E4M3’ün mantis biti daha fazladır ve ağırlıklar ile aktivasyonlar için kullanılır; E5M2’nin üs aralığı daha geniştir ve daha çok büyüklük mertebesine yayılan gradyanlar için kullanılır. Zorluk, sekiz bitin çok dar bir pencere sunmasıdır: bir tensörün değerleri pencereye göre yanlış yerde dururlarsa ya sıfıra kayar ya da taşar. Bu yüzden ölçekleme faktörlerinin tensör başına ya da daha ince düzeyde, genellikle son adımların istatistiklerinden hesaplanıp tutulması gerekir. Donanım desteği Hopper kuşağıyla geldi. DeepSeek-V3, öncü ölçekte iyi belgelenmiş ilk koşuydu: 128×128’lik karolarda blok bazlı ölçekleme kullandı ve hassas işlemleri daha yüksek hassasiyette tuttu.