Parallélisme tensoriel
Découper les matrices de poids individuelles entre plusieurs GPU, de sorte que chaque carte calcule une partie de la même couche. Indispensable quand un modèle ne tient tout simplement pas dans la mémoire d'une seule carte.
Chaque multiplication matricielle est divisée par colonnes ou par lignes, les cartes calculent en parallèle et les résultats sont combinés par un all-reduce. Cela se produit plusieurs fois par couche, ce qui rend la méthode extrêmement sensible à la latence de communication — on l'emploie donc presque exclusivement à l'intérieur d'un même serveur, via NVLink, et rarement entre nœuds. Les alternatives font d'autres compromis : le parallélisme de pipeline place des couches différentes sur des cartes différentes et ne communique qu'aux frontières, mais souffre de bulles pendant lesquelles les cartes s'attendent les unes les autres, tandis que le parallélisme de données copie le modèle entier sur chaque carte et répartit le lot. Les grands entraînements combinent les trois. Megatron-LM a popularisé la technique.