FP8-Training
Training mit Fließkommazahlen zu acht Bit. Etwa doppelt so schnell wie BF16, erfordert aber die Pflege von Skalierungsfaktoren, damit die Werte nicht aus dem Bereich fallen.
Zwei Formate kommen zum Einsatz. E4M3 hat mehr Mantissenbits und wird für Gewichte und Aktivierungen verwendet, während E5M2 einen größeren Exponentenbereich bietet und für Gradienten genutzt wird, die über mehr Größenordnungen streuen. Die Schwierigkeit: Acht Bit ergeben ein sehr schmales Fenster — liegen die Werte eines Tensors falsch dazu, verschwinden sie entweder auf null oder laufen über. Skalierungsfaktoren müssen deshalb pro Tensor oder feiner berechnet und gepflegt werden, meist anhand der Statistik der letzten Schritte. Die Hardware-Unterstützung kam mit der Hopper-Generation. DeepSeek-V3 war der erste gut dokumentierte Lauf im Frontier-Maßstab und nutzte blockweise Skalierung in Kacheln von 128 mal 128, während empfindliche Operationen in höherer Präzision blieben.