Modelos esparsos
Só uma parte da rede é ativada para cada entrada — economiza computação. Mixture-of-Experts (MoE) é a forma mais comum nos LLMs modernos.
O Mixtral 8x7B ativa apenas 12B de parâmetros por token, embora tenha 46B no total. O GPT-4 seria, segundo relatos, um MoE (~1,8T no total, ~280B ativos). Outra esparsidade: a esparsidade estruturada 2:4 (NVIDIA Ampere, aceleração de 2x nas operações suportadas). Tendência: à medida que os modelos densos batem nos limites de dados e computação, as arquiteturas esparsas passam a dominar.