Mixture of Agents
Метод Together AI 2024 года: несколько LLM выстраиваются слоями, и каждый слой дорабатывает ответ предыдущего. Небольшие открытые модели порой обходят GPT-4o в бенчмарках.
Статья «Mixture-of-Agents Enhances Large Language Model Capabilities» (июнь 2024). От MoE отличается тем, что агенты — полноценные LLM, а не эксперты внутри одной модели. Трёхслойная MoA из шести открытых моделей набрала 65,1 % в AlpacaEval 2.0 против 57,5 % у GPT-4 Omni. Инференс дороже (много вызовов), зато качество выше.