Top-pサンプリング
「ニュークリアスサンプリング」(Holtzman et al. 2019)。各ステップで、累積確率がp以上になる最小のトークン集合からだけサンプリングし、確率を再正規化する。
適応的に働く。「樹齢800年の___」ならp=0.9に入るトークンは3つほどかもしれないが、「そして___」なら50個になることもある。貪欲法や温度だけでは通り抜けてしまう、確率の低い裾野のゴミを切り捨てつつ、モデルが迷っている場面では多様性を残す。
温度0.7〜1.0と組み合わせるのが、ほぼすべてのLLM APIでの事実上のデフォルト。固定個数で切るTop-kは、その単純な親戚。ほかにmin-p(最上位トークンとの相対値)やtypical samplingなどの変種がある。