Expertparallellisme
De experts van een MoE-model verdelen over verschillende GPU's, zodat elke kaart er maar een paar hoeft te bewaren. De vorm van parallellisme die modellen met biljoenen parameters überhaupt draaibaar maakt.
Een model met tweehonderdzesenvijftig experts per laag past nergens als elke kaart ze allemaal moet bevatten. Splitsen levert echter een nieuw probleem op: zodra de router bepaald heeft naar welke expert elk token gaat, moet het token naar de kaart die die expert toevallig bevat worden gestuurd en moeten de resultaten terug. Dat zijn twee all-to-all-operaties per MoE-laag, en die communicatie bepaalt de tijd — MoE-inferentie is in de praktijk netwerkgebonden in plaats van rekengebonden. Het werk op dit gebied draait daarom vooral om het laten overlappen van communicatie en berekening, zoals DeepSeeks DualPipe. Wordt doorgaans gelijktijdig met tensor- en pipelineparallellisme gecombineerd.