テストタイム計算
計算資源を学習ではなく推論に多く費やす考え方。モデルにより長く考えさせ、複数の候補を生成させ、最良のものを選ぶ。
2024年のDeepMindとOpenAIの研究は、推論に10倍の予算を与えた小さなモデルが、標準的なデコードを使う10倍大きなモデルに勝ち得ることを示した。手法には、長い思考の連鎖（o1、R1）、best-of-Nサンプリング、木探索（ToT）、プロセス報酬モデルがある。
この転換はLLM運用の経済性を変えた。クエリあたりの推論は高くつくが、学習コストは償却される。「推論モデル」というパラダイムそのものが、テストタイム計算のスケーリングを実践したものだ。