サンプリング

最も単純なのは貪欲デコードで、常に最も確率の高い語を選ぶ。理にかなって見えるが、平板で反復的な文になり、ループに陥りやすい。そこで、ロジットを温度でスケールし、調整後の分布からトークンを引く。無意味な語を選ばないよう、先に裾を切り落とす。top-kは上位k個を残し、top-p（ニュークリアス）は累積確率がpに達するまでを残し、min-pは最有力候補に対する相対的な下限を設ける。反復ペナルティと頻度ペナルティはループを抑える。コードや構造化出力では温度をゼロ近くに、創作的な文章では高めにする。