専門家混合（MoE）
トークンごとに「専門家」の一部だけを動かすニューラルネットワーク。同じ容量のまま推論コストを抑えられる。
発想自体は古く（Jacobsら、1991年）、GoogleのGShardとSwitch Transformer（2021年）で大規模化された。ルーターが、トークンごとに複数のフィードフォワード層（専門家）から、たとえば8個中2個を選ぶ。その結果、有効パラメータ7B・総パラメータ56Bのモデルが、56B相当の知識を7B相当の推論コストで扱える。MistralのMixtral 8x7B（2023年）、DeepSeek-V3、そして（報道によれば）GPT-4もMoEを採用している。代償はメモリで、全専門家を保持する必要があるため増えるが、計算量は減る。