Mixture of Experts
Rede neural em que só um subconjunto de "especialistas" é ativado por token — inferência mais barata com a mesma capacidade.
A ideia é antiga (Jacobs, 1991), mas foi escalada pelo Switch Transformer do Google (2021) e pelo GShard. Um módulo roteador escolhe, por exemplo, 2 de 8 FFNs especialistas para cada token. O resultado: um modelo com 7B de parâmetros ativos e 56B no total guarda o conhecimento de um modelo de 56B ao custo de inferência de um de 7B. O Mixtral 8x7B da Mistral (2023), o DeepSeek-V3 e (segundo consta) o GPT-4 usam MoE. O preço: a memória cresce (todos os especialistas precisam ficar carregados), mas o custo de computação cai.