MoE routing
En Mixture of Experts: la red de enrutamiento decide qué 1-2 expertos (de entre 8-128) se activan por token. Define tanto el rendimiento como la calidad del entrenamiento.
Top-K routing (elegir los k expertos mejor puntuados), hash routing (determinista por token), Switch (k=1, el más simple), Expert Choice (los expertos eligen los tokens en vez de al revés). Hace falta una pérdida auxiliar para el balanceo de carga — si no, el enrutamiento colapsa siempre sobre los mismos 1-2 expertos. Factor de capacidad: cuántos tokens puede gestionar como máximo cada experto.