Especialista compartilhado
Um especialista pelo qual todo token passa, além dos escolhidos pelo roteador. Existe para que o mesmo conhecimento básico não precise ser aprendido em duzentas cópias.
Numa arquitetura MoE pura, o roteador escolhe alguns poucos especialistas por token e o resto fica ocioso. A consequência é que tudo de que todo token precisa — gramática, formas comuns de palavras, estrutura geral da linguagem — tem de existir em praticamente todos os especialistas, já que qualquer um deles pode ser o escolhido. É um desperdício considerável de capacidade. O DeepSeekMoE isolou essa parte em um ou dois especialistas sempre ativos, o que libera os roteados para se especializarem de verdade no que difere. Junto com os especialistas de granularidade fina — muitos pequenos em vez de poucos grandes —, é a principal contribuição estrutural da arquitetura, e o desenho já foi adotado por várias outras famílias de modelos.