Düşünce Ağacı
Düşünce zincirinin genellemesi: LLM birden fazla muhakeme dalını paralel keşfeder, değerlendirir ve gerektiğinde geri döner; tıpkı düşünceler üzerinde çalışan bir arama motoru gibi.
Yao ve ark. (Princeton/Google, 2023). Bileşenler: bir düşünce üretici (sonraki adımları önerir), bir durum değerlendirici (kısmi durumları puanlar) ve bir arama stratejisi (BFS, DFS, ışın). Game of 24’te GPT-4’ün başarı oranı %4’ten (CoT) %74’e (ToT) çıktı.
Pahalıdır: problem başına çok sayıda model çağrısı gerekir. o1/R1’in tasarımını somut biçimde etkiledi; oradaki “düşünme” aşaması ToT’nin öğrenilmiş, içselleştirilmiş bir sürümüdür. İlgili: Graph of Thoughts, Algorithm of Thoughts.