MoE
Architettura con più reti «esperte», di cui solo poche si attivano per ogni token: così i modelli enormi costano poco da eseguire.
Mixtral 8x7B ha 8 esperti da 7B ciascuno, ma ne lavorano solo 2 per volta. Il vantaggio è la scalabilità: si possono avere migliaia di miliardi di parametri senza usarli tutti a ogni passaggio. È l'architettura alla base di molti grandi modelli moderni. Nota anche come Mixture of Experts.