温度(Temperature, LLM)
LLMの出力のランダム性を決めるサンプリングパラメータ。T=0なら常に最も確率の高いトークンを選び(貪欲法)、T=1は本来の分布どおり、T>1ではより創造的で、ときに支離滅裂になる。
技術的には、softmaxの前にロジットをTで割る操作である。使い分けの目安は、JSON抽出やコード修正などの構造化出力ではT=0、創作文では0.7〜1.0、ブレインストーミングでは1.5以上。ただしT=0でも、浮動小数点の誤差やバッチ推論の影響で、完全に決定的とは限らない。同じプロンプトでも呼び出しごとに答えが変わることがある。
top_p(累積確率がpを超えるまでの上位トークンから選ぶ、nucleus sampling)やtop_k(候補を上位k個に絞る)と併用するのが普通で、品質のバランスを取るならT=1にtop_p=0.9という設定が現在の定石である。本当に再現性が必要なら、T=0ではなくseedパラメータが要る(OpenAIには存在する)。