Sparse models
Solo una parte de la red se activa por cada entrada — ahorra cómputo. Mixture-of-Experts (MoE) es la forma más común en los LLM modernos.
Mixtral 8x7B activa solo 12 B de parámetros por token, pero tiene 46 B en total. Se rumorea que GPT-4 es MoE (~1,8 billones en total, ~280 B activos). Otra forma de sparsity: 2:4 structured sparsity (NVIDIA Ampere, 2× de aceleración en las operaciones compatibles). Tendencia: a medida que los modelos densos chocan con los límites de datos y cómputo, las arquitecturas dispersas dominan.