Балансировка нагрузки без вспомогательной функции потерь

Общепринятый метод добавляет вспомогательную функцию потерь, штрафующую неравномерное распределение между экспертами. Это работает, но конкурирует с тем, что вы на самом деле обучаете: градиент тянет отчасти к лучшему моделированию языка, отчасти к более ровной статистике, и второе ощутимо стоит качества. В DeepSeek-V3 балансировку вынесли за пределы градиента вовсе. Каждому эксперту добавляется смещение к оценке маршрутизации — только при формировании списка top-k, — и оно непрерывно подстраивается в ходе обучения: растёт у экспертов, получающих слишком мало, и падает у получающих слишком много. Веса, которыми комбинируются выходы, не меняются. Результат: и нагрузка ровнее, и модель лучше.