Capacity factor
Hoeveel meer dan zijn eerlijke deel een expert in een MoE-model mag ontvangen voordat overtollige tokens simpelweg worden weggelaten.
Het probleem ontstaat doordat de router niet gelijkmatig verdeelt. Sommige experts worden populair en andere krijgen bijna niets, maar de berekening gebeurt in tensors met vaste vorm, dus elke expert krijgt een buffer van dezelfde grootte. De factor geeft die buffer als veelvoud van het gemiddelde: bij 1,25 kan een expert een kwart meer dan zijn deel aannemen. Tokens die niet passen slaan de laag helemaal over en gaan via de residuele verbinding rechtdoor — ze gaan dus niet verloren, maar worden niet verwerkt. Is de factor te laag, dan lijdt de kwaliteit; is hij te hoog, dan gaan geheugen en rekenkracht op aan rekenen over padding. Nieuwere routeringsschema's proberen de parameter overbodig te maken door de belasting direct te balanceren.