Mixture of Experts
Sieć neuronowa, w której na token aktywuje się tylko podzbiór „ekspertów” — tańsza inferencja przy tej samej pojemności.
Pomysł jest stary (Jacobs 1991), ale na dużą skalę zastosowały go Switch Transformer Google’a (2021) i GShard. Moduł routera wybiera dla każdego tokenu np. 2 z 8 ekspertów FFN. Efekt: model z 7 mld parametrów aktywnych i 56 mld łącznie zawiera wiedzę modelu 56B przy koszcie inferencji modelu 7B. MoE stosują Mixtral 8x7B od Mistrala (2023), DeepSeek-V3 i (podobno) GPT-4. Kompromis: pamięć rośnie (trzeba trzymać wszystkich ekspertów), ale obliczeń jest mniej.