Parallélisme d'experts
Répartir les experts d'un modèle MoE sur plusieurs cartes graphiques, chacune n'en portant que quelques-uns. La forme de parallélisme qui rend exécutables les modèles à mille milliards de paramètres.
Un modèle avec deux cent cinquante-six experts par couche ne tient nulle part si chaque carte doit tous les avoir. Les répartir résout ça, mais crée un autre problème : une fois que le routeur a décidé quel expert doit recevoir chaque token, il faut envoyer ce token vers la carte qui héberge cet expert, puis rapatrier le résultat. Ça fait deux opérations all-to-all par couche MoE, et c'est cette communication qui domine le temps total — l'inférence MoE est en pratique limitée par le réseau plutôt que par le calcul. Le gros du travail dans le domaine consiste donc à recouvrir la communication par du calcul, comme le DualPipe de DeepSeek. Se combine généralement avec le parallélisme tensoriel et le parallélisme de pipeline en même temps.