エキスパートルーター
MoEで、各トークンをどのエキスパートに送るかを決める小さなニューラルネットワーク。たいていは線形層とsoftmax、そしてtop-k選択でできている。
モデルの他の部分とエンドツーエンドで学習される。出力はN個のエキスパートに対する確率分布で、上位k個を選ぶ。MoEの効率を左右する要で、ルーティングが悪いと少数のエキスパートに偏って崩壊する（負荷分散損失がこれを防ぐ）。DeepSeek-V3は1層あたり256エキスパートのうち、トークンごとに8個が有効になる。
MoEで、各トークンをどのエキスパートに送るかを決める小さなニューラルネットワーク。たいていは線形層とsoftmax、そしてtop-k選択でできている。
モデルの他の部分とエンドツーエンドで学習される。出力はN個のエキスパートに対する確率分布で、上位k個を選ぶ。MoEの効率を左右する要で、ルーティングが悪いと少数のエキスパートに偏って崩壊する（負荷分散損失がこれを防ぐ）。DeepSeek-V3は1層あたり256エキスパートのうち、トークンごとに8個が有効になる。