BF16 (bfloat16)
指数部8ビット(FP32と同じ範囲)、仮数部わずか7ビットの16ビット浮動小数点形式。機械学習の学習に最適な落としどころだ。
2018年にGoogle Brainが考案した(「brain float」の名はそこから来ている)。IEEE FP16との違いは、FP32と同じダイナミックレンジを持つ点だ。そのためロススケーリングやNaN探しの苦労がなくなる。仮数部が短い分、演算ごとの精度は落ちるが、深層学習では実用上ほとんど問題にならない。
TPUではv2以降、NvidiaではAmpere(A100)以降、AMD MI200以降、ARM Neoverseで標準のテンソル形式となっている。混合精度学習では2021年頃から既定の選択肢だ。Hopper世代の後継であるFP8も登場したが、多くのオープンモデルで重みと勾配の基本形式はいまもBF16である。