補助損失なし負荷分散

従来の方法は、エキスパート間の偏りにペナルティを課す補助損失を加える。機能はするが、本来学習したいものと競合する。勾配が言語モデリングの改善と統計の均等化に分かれて引っ張られ、後者は品質を目に見えて下げる。DeepSeek-V3はこの均衡化を勾配の外に出した。各エキスパートにバイアス値を持たせ、上位k個を選ぶときのルーティングスコアにだけ加算する。この値は学習中に継続的に調整され、受け取る量が少なすぎるエキスパートは上げ、多すぎるものは下げる。出力を合成する際の重みには手を触れない。結果は、負荷がより均等になり、モデルも良くなった。