Обучение в FP8
Обучение в восьмибитной плавающей точке. Примерно вдвое быстрее BF16, но требует вести масштабирующие множители, чтобы числа не вылетали из диапазона.
Используются два формата. E4M3 с большим числом бит мантиссы идёт для весов и активаций, а E5M2 с более широким диапазоном порядка — для градиентов, которые охватывают больше порядков величины. Сложность в том, что восемь бит дают очень узкое окно: если значения тензора лежат не там, они либо обнуляются, либо переполняются. Поэтому масштабирующие множители приходится вычислять и поддерживать для каждого тензора или мельче, обычно по статистике последних шагов. Аппаратная поддержка появилась с поколением Hopper. DeepSeek-V3 стал первым хорошо задокументированным запуском фронтирного масштаба: он применял поблочное масштабирование тайлами 128 на 128 и держал чувствительные операции в более высокой точности.