エキスパート並列化
MoE モデルのエキスパートを複数の GPU に分散し、各カードには数個だけ持たせる並列化。兆単位のパラメータを持つモデルを動かせる唯一の方法である。
層あたり256個のエキスパートを、全カードが丸ごと抱えるのでは収まらない。ところが分割すると新たな問題が生じる。ルーターが各トークンの行き先を決めたら、そのエキスパートを持つカードへトークンを送り、結果を送り返さなければならない。つまり MoE 層ごとに all-to-all 通信が2回発生し、時間を支配するのはこの通信である。MoE の推論は実際には計算ではなくネットワークが律速になる。そのため研究の中心は、DeepSeek の DualPipe のように通信と計算を重ねて隠すことにある。通常はテンソル並列・パイプライン並列と同時に組み合わせて使う。