Mixture of Experts
Neuraal netwerk waarin per token maar een deel van de "experts" actief is — goedkopere inferentie bij gelijke capaciteit.
Het idee is oud (Jacobs, 1991), maar werd opgeschaald door Google's Switch Transformer (2021) en GShard. Een routermodule kiest per token bijvoorbeeld 2 van de 8 expert-FFN's. Het resultaat: een model met 7 miljard actieve en 56 miljard totale parameters, dat de kennis van een 56B-model bevat tegen de inferentiekosten van een 7B-model. Mixtral 8x7B van Mistral (2023), DeepSeek-V3 en (naar verluidt) GPT-4 gebruiken allemaal MoE. De afweging: het geheugengebruik groeit (alle experts moeten geladen blijven), maar de rekenlast daalt.