FSDP
一枚のカードに収まらないモデルを訓練するための、PyTorch組み込みの方法。ZeROのステージ3に相当し、重み、勾配、オプティマイザ状態のすべてを参加GPUに分割して持たせる。
モデルはラッピングポリシーに従って、多くの場合Transformerブロック一つずつの単位に分けられる。ユニットの順伝播の前にall-gatherで完全な重みを集め、計算を行い、コピーは直ちに捨ててメモリを解放する。逆伝播も同様で、最後にreduce-scatterを行い、各カードは自分の担当分の勾配だけを保持する。結果として、どこでも一度に完全な形で存在するのはブロック一つ分だけとなる。ポリシーの設定が重要で、分割が細かすぎると小さな転送が嵐のように発生し、粗すぎるとメモリのスパイクが起きる。PyTorchベースのプロジェクトでは、実質的にDeepSpeedに取って代わった。