IT用語集 › AI & 機械学習 › Top-pサンプリング

Top-pサンプリング

AI & 機械学習 Svenska → 更新: 2026-10-23

「ニュークリアスサンプリング」(Holtzman et al. 2019)。各ステップで、累積確率がp以上になる最小のトークン集合からだけサンプリングし、確率を再正規化する。

適応的に働く。「樹齢800年の___」ならp=0.9に入るトークンは3つほどかもしれないが、「そして___」なら50個になることもある。貪欲法や温度だけでは通り抜けてしまう、確率の低い裾野のゴミを切り捨てつつ、モデルが迷っている場面では多様性を残す。

温度0.7〜1.0と組み合わせるのが、ほぼすべてのLLM APIでの事実上のデフォルト。固定個数で切るTop-kは、その単純な親戚。ほかにmin-p(最上位トークンとの相対値)やtypical samplingなどの変種がある。

← 用語集に戻る