MoE
Architektura modelu z wieloma sieciami „ekspertami” — na token aktywuje się tylko kilka, więc duże modele są tanie w uruchomieniu.
Mixtral 8x7B to 8 ekspertów po 7 mld parametrów, ale naraz pracują tylko 2. Skalowalne: można mieć biliony parametrów, nie uruchamiając ich wszystkich za każdym razem. Napędza nowoczesne duże modele.