Параллелизм экспертов (expert parallelism)
Распределение экспертов MoE-модели по разным GPU, так что каждая карта хранит лишь несколько. Вид параллелизма, благодаря которому триллионные модели вообще запускаются.
Модель с двумястами пятьюдесятью шестью экспертами в слое не поместится нигде, если каждая карта должна держать всех. Но разбиение создаёт новую проблему: когда маршрутизатор решил, к какому эксперту идёт токен, его надо отправить на ту карту, где этот эксперт лежит, а результат вернуть. Это две операции all-to-all на каждый MoE-слой, и именно коммуникация занимает основное время — инференс MoE на практике упирается в сеть, а не в вычисления. Поэтому работа в этой области в основном про перекрытие коммуникации с вычислениями, как в DualPipe от DeepSeek. Обычно сочетается с тензорным и конвейерным параллелизмом одновременно.