シーケンス並列

テンソル並列は行列積を分割するが、レイヤー正規化とドロップアウトは分割されないまま残る。これらはトークンごとに作用し、大きな重みを持たないからだ。その結果、これらの演算の周辺では、全デバイスがアクティベーションの完全なコピーを抱え込む。長いシーケンスでは、これがメモリを食い潰す項目になる。Megatron-LMの答えは、まさにその領域だけをシーケンスに沿って分割し、テンソル並列の領域とつなぐことだ。入口でall-gather、出口でreduce-scatterを行う。通信量の合計は、元々行っていたall-reduceと同じなので、実質ただで済む。なお、この用語はアテンション計算そのものをシーケンス方向に分割する意味でも使われることがある。それは別の、より難しい問題で、今ではコンテキスト並列と呼ばれることが多い。