自己一貫性(Self-consistency)
同じ質問をランダム性(サンプリング)を加えて複数回実行し、独立した推論の連鎖を複数得て、最も多くの連鎖がたどり着いた答えを採用する技法。モデル自身の試行による「多数決」で、推論タスクの精度が上がる。
発想はこうだ。chain-of-thoughtを1回走らせるだけでは、たまたま誤った道に入ることがある。自己一貫性では、N通りの解答経路を(temperature > 0で多様性を持たせて)生成し、最終的な答えの多数決をとる。正解にたどり着く推論の道筋は何通りもあるが、誤った道は別々の方向に散らばりやすい。その結果、正解が最頻値になる。
数学や論理の問題では、1回の連鎖より目に見えて精度が上がる。代償はコストがN倍(複数回の生成)になることで、計算量と精度のトレードオフという典型例であり、「推論時スケーリング」の初期の形でもある。chain-of-thoughtの上に成り立つ技法だ。