Enrutamiento de expertos
Mecanismo de los modelos MoE: una función de compuerta que selecciona cuáles de los N expertos, normalmente 1 o 2, se activan por cada token. Es lo que hace posible la activación dispersa — solo entre un 10 % y un 20 % de los parámetros se ejecuta en cada pasada.
El enrutamiento clásico top-k: la red de compuertas calcula una puntuación para cada experto y selecciona los dos mejores. Una pérdida de balance de carga obliga a la red a repartir la carga de forma uniforme — de lo contrario todo converge hacia "todos los tokens al experto 0". Switch Transformer (Google, 2021) popularizó el enrutamiento top-1. Variantes más recientes: Expert Choice (DeepSeek, 2024), Soft MoE (Google) y Mixture-of-Depths (selección de experto por capa). Al visualizar el enrutamiento de tokens, algunos expertos se especializan de forma implícita —uno en código, otro en matemáticas— sin haber sido entrenados explícitamente para ello. La sobrecarga del enrutamiento cuesta latencia, y Cerebras y Groq optimizan a fondo la inferencia de MoE por esa razón.