Routing MoE
Mechanizm w Mixture-of-Experts: „router” wybiera dla każdego tokenu k najlepszych ekspertów. Najczęściej top-1 (Switch Transformer) i top-2 (Mixtral).
Routing wpływa na równoważenie obciążenia — naiwny zapada się na kilku popularnych ekspertach. Rozwiązania: strata pomocnicza (zachęca do rozproszenia), limity pojemności ekspertów i bramkowanie z szumem (Shazeer 2017). DeepSeek-V3 (2025) wprowadził routing „bez straty pomocniczej” z dostrajaniem biasów. Krytyczne wąskie gardło — zły routing to zmarnowane obliczenia.