Mélange d'experts
Réseau de neurones où seule une sous-partie des « experts » s'active par token — une inférence moins coûteuse à capacité égale.
L'idée est ancienne (Jacobs, 1991) mais a été mise à l'échelle par le Switch Transformer de Google (2021) et GShard. Un module de routage choisit par exemple 2 experts sur 8 par token. Résultat : un modèle à 7 milliards de paramètres actifs mais 56 milliards au total conserve les connaissances d'un modèle de 56 B pour le coût d'inférence d'un modèle de 7 B. Mixtral 8x7B de Mistral (2023), DeepSeek-V3 et GPT-4 (selon certaines sources) reposent tous sur le MoE. Contrepartie : la mémoire augmente, puisqu'il faut garder tous les experts chargés, mais le calcul par token diminue.