Auxiliary-loss-free lastbalansering
Att balansera lasten mellan experter i en MoE-modell med ett justerbart bias-tal istället för med en straffterm i förlustfunktionen.
Den etablerade metoden lägger till en hjälpförlust som bestraffar ojämn fördelning mellan experterna. Den fungerar, men den konkurrerar med det man faktiskt vill träna på: gradienten drar delvis mot bättre språkmodellering och delvis mot jämnare statistik, och den senare kostar mätbart i kvalitet. DeepSeek-V3 gjorde istället balanseringen till något som ligger utanför gradienten. Varje expert får ett bias-tal som adderas till dess routingpoäng enbart när topplistan tas fram, och det talet justeras löpande under träningen — upp för experter som får för lite, ner för dem som får för mycket. Vikterna som används för att väga ihop utdata rörs inte. Resultatet blev både jämnare last och bättre modell.