Megatron-LM
L'implémentation de référence de Nvidia pour entraîner de grands modèles transformer, publiée en 2019. L'article qui a introduit le parallélisme tensoriel dans la forme utilisée partout aujourd'hui.
L'idée centrale consiste à répartir chaque multiplication matricielle sur plusieurs cartes plutôt que de découper le modèle en couches. Dans un bloc feed-forward, le premier poids est découpé par colonnes et le second par lignes, ce qui ne nécessite qu'une seule réduction par bloc. Les têtes d'attention sont réparties de façon analogue, une ou plusieurs têtes par carte. Comme la communication a lieu à l'intérieur de chaque couche, la méthode exige une bande passante élevée et s'utilise donc au sein d'un même nœud, via NVLink, tandis que les parallélismes pipeline et de données s'utilisent entre les nœuds. Cette combinaison a été documentée dans l'article suivant sur le parallélisme 3D et sous-tend pratiquement tous les grands entraînements depuis lors.