Roteador de especialistas
Rede neural pequena que decide para qual especialista enviar cada token em um MoE. Geralmente uma camada linear com softmax e seleção top-k.
É treinado de ponta a ponta junto com o resto do modelo. Saída: uma distribuição de probabilidade sobre N especialistas, da qual se escolhem os k melhores. É crítico para a eficiência do MoE — um roteamento ruim leva ao colapso em poucos especialistas (a perda de balanceamento de carga existe para evitar isso). O DeepSeek-V3 tem 256 especialistas por camada, com 8 ativos por token.