Megatron-LM
2019年に公開された、大規模Transformerモデルを学習させるためのNvidiaのリファレンス実装。今では当たり前になった形のテンソル並列を導入した論文である。
中心となる発想は、モデルを層で分割するのではなく、個々の行列積そのものを複数のカードに分けることだ。フィードフォワードブロックでは、最初の重みを列方向に、二つ目を行方向に分割するので、ブロックごとに必要なリダクションは一回で済む。アテンションヘッドも、カード一枚につき一つ以上のヘッドという形で分散される。通信がすべての層の内部で起こるため、この方式は高い帯域を要求し、ノード内ではNVLink上で用い、ノード間ではパイプライン並列とデータ並列を使う。この組み合わせは続報の3D並列の論文で文書化され、それ以降の大規模学習のほぼすべての土台になっている。