MoE routing
I Mixture of Experts: routing-nätverket bestämmer vilka 1-2 experter (av 8-128) ska aktiveras per token. Definierar både prestanda + utbildningskvalitet.
Top-K routing (välj k högst-rankade experter), Hash routing (deterministisk per token), Switch (k=1, enklast), Expert Choice (experter väljer tokens istället tvärtom). Auxiliary loss krävs för load balance — annars kollapsar routing till samma 1-2 experter. Capacity factor: hur många tokens varje expert max får hantera.