Mezcla de expertos
Red neuronal en la que solo se activa un subconjunto de «expertos» por cada token: misma capacidad, inferencia más barata.
La idea es vieja —Jacobs, 1991— pero quien la llevó a escala fue Google con Switch Transformer (2021) y GShard. Un módulo enrutador elige, por ejemplo, dos de ocho redes expertas para cada token. El resultado es un modelo con 7000 millones de parámetros activos y 56 000 en total: guarda el conocimiento del grande y cuesta como el pequeño al ejecutarse.
Mixtral 8x7B de Mistral (2023), DeepSeek-V3 y, según se ha publicado, GPT-4 emplean esta arquitectura. El precio está en la memoria: hay que tener todos los expertos cargados aunque solo se use un par.