共有エキスパート
ルーターが選ぶエキスパートに加えて、すべてのトークンが必ず通るエキスパート。同じ基礎知識を200通りものコピーで覚え直さずに済ませるための仕組み。
純粋なMoEでは、ルーターがトークンごとに数個のエキスパートを選び、残りは休んでいる。その結果、文法、一般的な語形、言語の基本構造といったすべてのトークンが必要とする知識を、どれが選ばれるか分からない以上ほぼすべてのエキスパートが持たねばならない。これは容量の大きな無駄だ。DeepSeekMoEはこの部分を常時活性の1〜2個のエキスパートに切り出し、ルーティングされるエキスパートが本当に異なる内容へ専門化できるようにした。少数の大きなエキスパートではなく多数の小さなエキスパートを使う細粒度エキスパートと並び、このアーキテクチャの主な構造上の貢献であり、その後、他のモデルファミリーにも採用されている。