Auxiliary-loss-free-Lastausgleich
Den Lastausgleich zwischen Experten in einem MoE-Modell über einen justierbaren Bias-Wert regeln, statt über einen Strafterm in der Verlustfunktion.
Die etablierte Methode fügt einen Hilfsverlust hinzu, der eine ungleiche Verteilung auf die Experten bestraft. Das funktioniert, konkurriert aber mit dem eigentlichen Trainingsziel: Der Gradient zieht teils in Richtung besserer Sprachmodellierung, teils in Richtung gleichmäßigerer Statistik, und Letzteres kostet messbar Qualität. DeepSeek-V3 verlegte den Ausgleich stattdessen vollständig aus dem Gradienten heraus. Jeder Experte erhält einen Bias-Wert, der nur bei der Bildung der Top-k-Liste zu seinem Routing-Score addiert wird, und dieser Wert wird während des Trainings laufend nachjustiert — hoch für Experten, die zu wenig abbekommen, runter für jene, die zu viel bekommen. Die Gewichte, mit denen die Ausgaben kombiniert werden, bleiben unangetastet. Das Ergebnis: gleichmäßigere Last und ein besseres Modell.