Mixture of Agents
Il metodo di Together AI del 2024: impilare più LLM in strati, ciascuno dei quali raffina l'output dello strato precedente. A volte batte GPT-4o nei benchmark usando modelli aperti più piccoli.
L'articolo «Mixture-of-Agents Enhances Large Language Model Capabilities» è del giugno 2024. Si distingue dal MoE perché gli agenti sono LLM completi (non esperti all'interno di un unico modello). Un MoA a 3 strati con 6 modelli aperti ha raggiunto il 65,1% su AlpacaEval 2.0, contro il 57,5% di GPT-4 Omni. L'inferenza costa di più (molte chiamate), ma la qualità è superiore.