Mixture of Agents
Metoda Together AI z 2024 roku: kilka LLM-ów ułożonych w warstwy, z których każda doskonali wynik poprzedniej. Czasem na benchmarkach bije GPT-4o, używając mniejszych modeli open source.
Artykuł „Mixture-of-Agents Enhances Large Language Model Capabilities” (czerwiec 2024). Różni się od MoE: agenci to pełnoprawne LLM-y (nie eksperci w jednym modelu). Trójwarstwowy MoA z sześcioma otwartymi modelami osiągnął 65,1% w AlpacaEval 2.0 wobec 57,5% dla GPT-4 Omni. Inferencja jest droższa (wiele wywołań), ale jakość wyższa.