スパースモデル
入力ごとにネットワークの一部だけが活性化する構造で、計算量を節約できる。現代のLLMで最も一般的な形がMixture-of-Experts（MoE）。
Mixtral 8x7Bはトークンごとに120億パラメータだけを活性化するが、総数は460億ある。GPT-4もMoE（総計約1.8T、有効約280B）だと報じられている。ほかのスパース性には2:4構造化スパース性（NVIDIA Ampere、対応する演算で2倍の高速化）がある。密なモデルがデータや計算の壁にぶつかるにつれ、スパースなアーキテクチャが主流になりつつある。