Top-kサンプリング
各ステップで、確率の高い上位k個(たとえば40個)のトークンだけから次の語を選び、残りは完全に除外するサンプリング手法。nucleus sampling(top-p)の素朴な前身。
仕組みは、全トークンを確率順に並べて上位k個を残し、確率を正規化し直してその中から抽選する、というもの。確率の低い裾野を切り捨てるので、ときどき出る意味不明な語を避けつつ、妥当な候補の間では多様性を保てる。
top-pと比べた弱点は、kが固定であることだ。ほぼ1つの語に確定している場面でもk−1個の見込みの薄い候補が入り込み、逆に良い候補が多数ある場面ではkが小さすぎて有力な語を切ってしまう。そのため、候補数を動的に変えるnucleus sampling(top-p)のほうが好まれることが多い。両者の併用も可能だ。temperatureやtop-pと並んで公開されることの多い、基本のサンプリングパラメータである。