MoEルーティング
Mixture-of-Expertsの仕組みの一つで、「ルーター」がトークンごとに上位k個のエキスパートを選ぶ。top-1(Switch Transformer)とtop-2(Mixtral)が最も一般的。
ルーティングは負荷分散に影響する。素朴なやり方だと、人気のある少数のエキスパートに偏ってしまう。対策は補助損失(分散を促す)、エキスパート容量の上限、ノイズ付きゲーティング(Shazeer 2017)。DeepSeek-V3(2025年)はバイアス調整による「補助損失なし」のルーティングを導入した。最大のボトルネックであり、ルーティングが悪ければ計算は無駄になる。