Megatron-LM
De referentie-implementatie van Nvidia voor het trainen van grote transformermodellen, gepubliceerd in 2019. Het artikel dat tensorparallelisme introduceerde in de vorm die nu overal wordt gebruikt.
Het kernidee is om elke afzonderlijke matrixvermenigvuldiging over meerdere kaarten te verdelen in plaats van het model per laag op te splitsen. In een feed-forwardblok wordt het eerste gewicht kolomsgewijs en het tweede rijsgewijs gesplitst, waardoor per blok maar één reductie nodig is. Attention heads worden overeenkomstig verdeeld, een of meer per kaart. Omdat de communicatie binnen elke laag plaatsvindt, vergt de methode veel bandbreedte en wordt ze daarom binnen een node gebruikt, over NVLink, terwijl pipeline- en dataparallelisme tussen nodes worden ingezet. Die combinatie is beschreven in het vervolgartikel over 3D-parallelisme en ligt ten grondslag aan vrijwel elke grote trainingsrun sindsdien.