テンソル並列
個々の重み行列を複数のGPUに分割し、1つの層の計算を各カードで分担する手法。モデルが1枚のカードのメモリに収まらないときに必要となる。
行列積を列または行で分割し、各カードが並列に計算して、結果をall-reduceで合算する。これが1層のなかで何度も起きるため、通信遅延に極めて敏感で、ほぼ1台のサーバー内（NVLink経由）で使われ、ノード間ではまず使われない。代替手段はトレードオフが異なる。パイプライン並列は層ごとにカードを分け、通信は境界だけで済むが、カードが互いを待つ「バブル」が生じる。データ並列はモデル全体を各カードに複製してバッチを分ける。大規模な学習では3つを組み合わせる。この手法を広めたのはMegatron-LMである。