Mixture of Agents
Together AIs Methode von 2024: mehrere LLMs werden in Schichten gestapelt, jede verfeinert die Ausgabe der vorherigen. Schlägt teils GPT-4o in Benchmarks — mit kleineren offenen Modellen.
Aus dem Paper „Mixture-of-Agents Enhances Large Language Model Capabilities“ (Juni 2024). Unterschied zu MoE: Die Agenten sind vollständige LLMs, keine Experten innerhalb eines Modells. Eine dreischichtige MoA mit sechs offenen Modellen erreichte 65,1 % auf AlpacaEval 2.0, gegenüber 57,5 % für GPT-4 Omni. Die Inferenz ist teurer (viele Aufrufe), die Qualität dafür höher.