IT用語集 › AI & 機械学習 › MoEルーティング

MoEルーティング

AI & 機械学習 Svenska → 更新: 2026-10-23

Mixture-of-Expertsの仕組みの一つで、「ルーター」がトークンごとに上位k個のエキスパートを選ぶ。top-1(Switch Transformer)とtop-2(Mixtral)が最も一般的。

ルーティングは負荷分散に影響する。素朴なやり方だと、人気のある少数のエキスパートに偏ってしまう。対策は補助損失(分散を促す)、エキスパート容量の上限、ノイズ付きゲーティング(Shazeer 2017)。DeepSeek-V3(2025年)はバイアス調整による「補助損失なし」のルーティングを導入した。最大のボトルネックであり、ルーティングが悪ければ計算は無駄になる。

← 用語集に戻る