Balanceamento de carga sem perda auxiliar
Equilibrar a carga entre os especialistas de um modelo MoE com um termo de viés ajustável, em vez de uma penalidade na função de perda.
O método consagrado adiciona uma perda auxiliar que penaliza a distribuição desigual entre os especialistas. Funciona, mas concorre com aquilo que você realmente quer treinar: o gradiente puxa em parte para uma modelagem de linguagem melhor e em parte para estatísticas mais uniformes, e esta última custa qualidade de forma mensurável. O DeepSeek-V3 tirou o balanceamento do gradiente por completo. Cada especialista recebe um valor de viés somado ao seu score de roteamento apenas na hora de montar a lista top-k, e esse valor é ajustado continuamente durante o treinamento — para cima nos especialistas que recebem pouco, para baixo nos que recebem demais. Os pesos usados para combinar as saídas ficam intactos. O resultado foi uma carga mais uniforme e um modelo melhor.