Mixture of Agents
Together AIが2024年に発表した手法。複数のLLMを層状に積み、各層が前の層の出力を洗練する。小型のオープンモデルでも、ベンチマークでGPT-4oを上回ることがある。
論文は「Mixture-of-Agents Enhances Large Language Model Capabilities」（2024年6月）。MoEとは異なり、エージェントは一つのモデル内のエキスパートではなく、完全なLLMである。6つのオープンモデルによる3層のMoAはAlpacaEval 2.0で65.1%を記録し、GPT-4 Omniの57.5%を上回った。推論は呼び出しが多いぶん高価になるが、品質は上がる。