Маршрутизация экспертов
Механизм в MoE-моделях: управляющая (gating) функция выбирает, какие 1–2 из N экспертов активировать для каждого токена. Основа разреженной активации — за один проход работает лишь около 10–20 % параметров.
Классический top-k: сеть-маршрутизатор выдаёт оценки всем экспертам, выбираются два лучших. Штраф за балансировку нагрузки заставляет распределять токены равномерно — иначе всё сходится к «все токены идут к эксперту 0». Switch Transformer (Google, 2021) популяризировал top-1. Современные варианты: Expert Choice (DeepSeek, 2024), Soft MoE (Google), Mixture-of-Depths. Некоторые эксперты неявно специализируются (код, математика), хотя этому их явно не учили. Маршрутизация добавляет задержку, поэтому Cerebras и Groq усиленно оптимизируют инференс MoE.