パイプライン並列処理(Pipeline parallelism)
モデルを深さ方向に分割する手法。最初の数層を1枚目のGPUに、次の数層を2枚目に、と置き、活性化が組み立てラインのように連鎖を前方へ流れる。
素朴な実装は使い物にならない。1枚目が働いている間、他のカードはずっと遊んでいるからだ。対策はバッチをマイクロバッチに分けて続けざまに流し、全ステージを同時に稼働させること。それでも残るのが、各バッチの最初と最後に生じる待ち時間「バブル」で、マイクロバッチが多いほど小さくなる。1F1B スケジュールは順伝播と逆伝播を交互に実行して保持すべき活性化の数を抑え、インターリーブ方式は各カードに連続しない複数のレイヤーブロックを割り当ててバブルをさらに減らす。ほぼ必ずテンソル並列とデータ並列を組み合わせて使い、これを3D並列と呼ぶ。