キャパシティファクター

発端はルータの割り振りが均等にならないことにある。人気のエキスパートがある一方でほとんど仕事のないエキスパートも出るが、計算は固定形状のテンソル上で行うため、どのエキスパートにも同じ大きさのバッファを確保しなければならない。その大きさを平均の何倍にするかがこの係数で、1.25なら均等配分より4分の1多く受け入れられる。入りきらなかったトークンはそのレイヤーを素通りし、残差接続を経てそのまま先へ進む。失われはしないが、処理されない。係数が低すぎれば品質が落ち、高すぎればパディングの計算にメモリと計算資源を浪費する。新しいルーティング方式では、負荷を直接均すことでこのパラメータ自体を不要にしようとしている。