Równoważenie obciążenia bez dodatkowej straty
Równoważenie obciążenia ekspertów w modelu MoE za pomocą regulowanego członu bias, zamiast kary w funkcji straty.
Utarta metoda dodaje pomocniczą stratę karzącą nierówny rozkład między ekspertami. Działa, ale konkuruje z tym, czego naprawdę chcemy się nauczyć: gradient ciągnie częściowo w stronę lepszego modelowania języka, a częściowo w stronę równiejszych statystyk, i to drugie mierzalnie kosztuje jakość. DeepSeek-V3 przeniósł równoważenie całkowicie poza gradient. Każdy ekspert dostaje wartość bias dodawaną do jego wyniku routingu wyłącznie przy tworzeniu listy top-k, a tę wartość dostraja się na bieżąco w trakcie treningu — w górę dla ekspertów dostających za mało, w dół dla tych z nadmiarem. Wagi służące do łączenia wyjść pozostają nietknięte. Efekt: równiejsze obciążenie i lepszy model.