Tree of Thoughts
Обобщение цепочки рассуждений: LLM параллельно исследует несколько ветвей, оценивает их и возвращается назад — по сути, поисковик по мыслям.
Яо и др. (Принстон/Google, 2023). Компоненты: генератор мыслей (предлагает следующие шаги), оценщик состояний (оценивает промежуточные состояния) и стратегия поиска (BFS, DFS, beam). В задаче «Игра в 24» GPT-4 вырос с 4 % (CoT) до 74 % (ToT).
Дорого: на одну задачу уходит много вызовов модели. Заметно повлиял на устройство o1 и R1, где фаза «размышления» — выученная, внутренняя версия ToT. Родственные подходы: Graph of Thoughts, Algorithm of Thoughts.