Mixture of Agents
Methode van Together AI uit 2024: meerdere LLM's in lagen op elkaar stapelen, waarbij elke laag de uitvoer van de vorige verfijnt. Haalt met kleinere open modellen soms betere benchmarkscores dan GPT-4o.
Gebaseerd op het paper "Mixture-of-Agents Enhances Large Language Model Capabilities" (juni 2024). Anders dan bij MoE zijn de agents volwaardige LLM's, geen experts binnen één model. Een MoA met drie lagen en zes open modellen scoorde 65,1% op AlpacaEval 2.0, tegenover 57,5% voor GPT-4 Omni. Inferentie is duurder (veel aanroepen), maar de kwaliteit ligt hoger.