Коэффициент ёмкости (capacity factor)
Насколько больше справедливой доли может получить эксперт модели MoE, прежде чем лишние токены просто отбрасываются.
Проблема возникает потому, что маршрутизатор распределяет нагрузку неравномерно: одни эксперты становятся популярными, другие почти ничего не получают, а вычисления идут в тензорах фиксированной формы, так что каждому эксперту выделяется буфер одного размера. Коэффициент задаёт этот буфер как кратное среднему: при 1,25 эксперт может принять на четверть больше своей доли. Токены, которые не поместились, пропускают слой и идут дальше по остаточной связи — не теряются, но остаются необработанными. Слишком низкий коэффициент вредит качеству, слишком высокий тратит память и вычисления на padding. Новые схемы маршрутизации пытаются обойтись без этого параметра, балансируя нагрузку напрямую.