Megatron-LM
Nvidias Referenzimplementierung zum Trainieren großer Transformer-Modelle, veröffentlicht 2019. Der Aufsatz, der Tensorparallelismus in der Form einführte, die heute überall verwendet wird.
Die Kernidee: Statt das Modell in Schichten aufzuteilen, wird jede einzelne Matrixmultiplikation über mehrere Karten verteilt. In einem Feed-Forward-Block wird das erste Gewicht spaltenweise, das zweite zeilenweise aufgeteilt, sodass pro Block nur eine einzige Reduktion nötig ist. Attention-Köpfe werden entsprechend verteilt, ein oder mehrere pro Karte. Da die Kommunikation innerhalb jeder Schicht stattfindet, braucht das Verfahren hohe Bandbreite und wird deshalb innerhalb eines Knotens über NVLink eingesetzt, während Pipeline- und Datenparallelismus zwischen Knoten laufen. Die Kombination wurde im Folgeaufsatz zu 3D-Parallelismus dokumentiert und liegt praktisch jedem großen Trainingslauf seither zugrunde.