エキスパートルーティング
MoEモデルの仕組みで、N個のエキスパートのうち、トークンごとにどの1〜2個を動かすかをゲーティング関数が選ぶ。疎活性化の要で、順伝播ごとに動くのはパラメータの1〜2割程度だけ。
古典的なtop-kルーティングでは、ゲーティングネットワークが全エキスパートのスコアを出し、上位2つが選ばれる。負荷分散損失がないと、「全トークンがエキスパート0に集中する」状態に収束してしまうため、負荷を均等にばらす項を加える。Switch Transformer(Google、2021年)はtop-1ルーティングを広めた。
近年の派生には、Expert Choice(DeepSeek、2024年)、Soft MoE(Google)、Mixture-of-Depths(層ごとのエキスパート選択)などがある。コード担当、数学担当のように暗黙的に専門化するエキスパートも観察されるが、明示的にそう訓練されたわけではない。ルーティングのオーバーヘッドは遅延になるため、CerebrasやGroqはMoE推論を徹底的に最適化している。