Capacity Factor
Wie viel mehr als seinen fairen Anteil ein Experte in einem MoE-Modell aufnehmen darf, bevor überzählige Tokens einfach verworfen werden.
Das Problem entsteht, weil der Router nicht gleichmäßig verteilt. Manche Experten werden populär, andere bekommen fast nichts — die Berechnung läuft aber in Tensoren fester Form ab, sodass jedem Experten ein gleich großer Puffer zugewiesen wird. Der Faktor gibt diesen Puffer als Vielfaches des Durchschnitts an: Bei 1,25 darf ein Experte ein Viertel mehr als seinen Anteil aufnehmen. Tokens, die keinen Platz mehr finden, überspringen die gesamte Schicht und laufen über die Residualverbindung direkt durch — sie gehen also nicht verloren, bleiben aber unverarbeitet. Ist der Faktor zu niedrig, leidet die Qualität; ist er zu hoch, verschwenden Speicher und Rechenleistung auf Auffüllung. Neuere Routing-Verfahren versuchen, den Parameter überflüssig zu machen, indem sie die Last direkt ausgleichen.