Mixture of Experts
Rete neurale in cui per ogni token si attiva solo un sottoinsieme di «esperti»: inferenza più economica a parità di capacità.
L'idea è vecchia (Jacobs, 1991), ma è stata portata su larga scala dallo Switch Transformer di Google (2021) e da GShard. Un modulo router sceglie, per esempio, 2 FFN esperte su 8 per ogni token. Il risultato: un modello con 7 miliardi di parametri attivi ma 56 miliardi in totale possiede la conoscenza di un modello da 56B al costo di inferenza di uno da 7B. Usano MoE Mixtral 8x7B di Mistral (2023), DeepSeek-V3 e, a quanto si dice, GPT-4. Il compromesso: la memoria cresce (tutti gli esperti vanno tenuti caricati), ma il calcolo diminuisce.