Megatron-LM
Nvidias referensimplementation för att träna stora transformermodeller, publicerad 2019. Artikeln som introducerade tensorparallellism i den form som nu används överallt.
Kärnidén är att dela varje enskild matrismultiplikation mellan flera kort istället för att dela modellen i lager. I ett feed-forward-block delas den första vikten kolumnvis och den andra radvis, vilket gör att bara en enda reduktion behövs per block. Uppmärksamhetshuvudena fördelas på motsvarande sätt, ett eller flera huvuden per kort. Eftersom kommunikationen sker inuti varje lager kräver metoden hög bandbredd och används därför inom en nod, över NVLink, medan pipeline- och dataparallellism används mellan noder. Kombinationen dokumenterades i uppföljaren om 3D-parallellism och ligger till grund för i stort sett alla stora träningskörningar sedan dess.