Kapasite faktörü
Bir MoE modelinde bir uzmanın, fazla token’lar sessizce atılmadan önce adil payından ne kadar fazlasını alabileceği.
Sorun, yönlendiricinin dağılımı eşit yapmamasından doğar. Bazı uzmanlar popüler olur, bazıları neredeyse hiçbir şey almaz; oysa hesaplama sabit biçimli tensörlerde yapılır ve her uzmana aynı büyüklükte bir tampon ayrılır. Faktör bu tamponu ortalamanın katı olarak belirtir: 1,25’te bir uzman payının dörtte biri kadar fazlasını alabilir. Sığmayan token’lar katmanı tümüyle atlar ve artık bağlantı üzerinden doğrudan geçer — yani kaybolmazlar ama işlenmezler. Faktör çok düşükse kalite düşer, çok yüksekse bellek ve hesaplama dolguyu işlemeye gider. Yeni yönlendirme yöntemleri yükü doğrudan dengeleyerek bu parametreyi gereksiz kılmaya çalışır.