MoE-routing
Mechanisme in Mixture-of-Experts: een "router" kiest per token de top-k experts. Top-1 (Switch Transformer) en top-2 (Mixtral) komen het vaakst voor.
Routing bepaalt de load balancing — naïeve routing klapt in elkaar op een paar populaire experts. Oplossingen: een hulpverlies (spreiding afdwingen), capaciteitslimieten per expert en noisy gating (Shazeer, 2017). DeepSeek-V3 (2025) introduceerde routing zonder hulpverlies, met bias-afstemming. Een cruciaal knelpunt: slechte routing betekent verspilde rekenkracht.