思考の木 (Tree of Thoughts)
思考の連鎖を一般化したもので、LLMが複数の推論の枝を並行して探り、評価し、行き詰まれば引き返す。いわば思考に対する探索エンジンである。
Yaoら（プリンストン大学／Google、2023年）による。構成要素は、次の一歩を提案する思考生成器、途中状態を採点する状態評価器、そして探索戦略（幅優先、深さ優先、ビームなど）の三つ。Game of 24ではGPT-4の成功率がCotの4%からToTの74%に上がった。
ただし1問につき何度もモデルを呼ぶので高コストだ。o1やR1の設計にも影響を与えたとされ、その「思考」フェーズはToTを学習によって内部化したものと言える。関連：Graph of Thoughts、Algorithm of Thoughts。