Auxiliary-loss-free load balancing
Bir MoE modelinde uzmanlar arasındaki yükü, kayıp fonksiyonunda bir ceza yerine ayarlanabilir bir önyargı (bias) terimiyle dengelemek.
Yerleşik yöntem, uzmanlar arasındaki dengesiz dağılımı cezalandıran bir yardımcı kayıp ekler. İşe yarar, ama gerçekte eğitmek istediğinizle yarışır: gradyan kısmen daha iyi dil modellemeye, kısmen daha dengeli istatistiklere çeker ve ikincisi kaliteden ölçülebilir ölçüde götürür. DeepSeek-V3 ise dengelemeyi tümüyle gradyanın dışına taşıdı. Her uzmanın yönlendirme puanına, yalnızca top-k listesi oluşturulurken eklenen bir önyargı değeri verilir ve bu değer eğitim boyunca sürekli ayarlanır: az yük alan uzmanlar için yukarı, çok alanlar için aşağı. Çıktıları birleştirmekte kullanılan ağırlıklara dokunulmaz. Sonuç hem daha dengeli yük hem de daha iyi bir model oldu.