モンテカルロ木探索
ランダムなプレイアウトでゲーム木を育て、見返りが大きそうな箇所に時間を集中させる探索アルゴリズム。
4つのステップを繰り返す。木をたどって経路を選び(選択)、新しいノードを追加し(展開)、終局までランダムにプレイし(シミュレーション)、結果を上へ伝える(逆伝播)。選択は通常UCB1で行われ、未知の手を試すことと、有望な手を深掘りすることのバランスをとる。
手作業の評価関数が要らないため、誰も良い評価関数を書けなかった囲碁で決定的な役割を果たした。AlphaGoは、MCTSにニューラルネットワークを組み合わせ、選択と評価の両方を導かせた。