ゼロバブル・パイプライン

パイプライン並列はモデルをステージに分けてノードに載せるが、その代償がバブルである。バッチの冒頭では後ろのステージがデータの到着を待って遊び、終わりでは前のステージが勾配を待って遊ぶ。ここでの着眼点は、逆伝播が実は独立した2つの計算だということだ。1つは入力に対する勾配で、上流のステージが実際に待っている。もう1つは重みに対する勾配で、更新の時が来るまで誰も必要としない。入力勾配をすぐ計算し、重み勾配を隙間に差し込めば、スケジュールを隙間なく埋められる。2023年のSea AI Labの研究は、現実的な前提のもとでバブルがゼロになるスケジュールを示した。従来の1F1Bでは時間の5分の1以上が無駄になっていた。代償はアクティベーションのメモリ増加と、かなり厄介になる実装である。