Tree of Thoughts
Een generalisatie van chain-of-thought waarbij het LLM meerdere redeneertakken tegelijk verkent, beoordeelt en zo nodig terugkeert, een soort zoekmachine over gedachten.
Yao et al. (Princeton/Google, 2023). Onderdelen: een gedachtegenerator (stelt vervolgstappen voor), een toestandsevaluator (beoordeelt deeltoestanden) en een zoekstrategie (BFS, DFS, beam). Bij Game of 24 steeg het slagingspercentage van GPT-4 van 4 % (CoT) naar 74 % (ToT).
Duur: er zijn veel modelaanroepen per probleem nodig. Heeft het ontwerp van o1/R1 aantoonbaar beïnvloed, waar de „denkfase” een aangeleerde, geïnternaliseerde variant van ToT is. Verwant: Graph of Thoughts, Algorithm of Thoughts.