Expert routing
Mechanisme in MoE-modellen: een gatingfunctie kiest per token welke 1-2 van de N experts worden geactiveerd. Onmisbaar voor sparse activatie, want slechts zo'n 10-20% van de parameters draait per forward pass.
Bij klassieke top-k-routing geeft het gatingnetwerk een score aan alle experts en worden de beste twee geselecteerd. Een load-balancing loss dwingt het netwerk de belasting gelijk te verdelen. Anders eindigt het bij «alle tokens naar expert 0». Switch Transformer (Google, 2021) maakte top-1-routing bekend. Moderne varianten: Expert Choice (DeepSeek, 2024), Soft MoE (Google) en Mixture-of-Depths (expertkeuze per laag). Sommige experts specialiseren zich impliciet (een code-expert, een rekenexpert), maar dat wordt niet expliciet getraind. De routing kost latentie, dus Cerebras en Groq steken veel energie in het optimaliseren van MoE-inferentie.