Próbkowanie top-k
Metoda próbkowania, w której w każdym kroku model może wybierać tylko spośród k najbardziej prawdopodobnych tokenów (np. 40 najlepszych), a reszta jest całkowicie wykluczona. Prosty poprzednik próbkowania jądrowego (top-p).
Mechanika: posortować wszystkie możliwe tokeny według prawdopodobieństwa, zostawić k najwyższych, znormalizować ich prawdopodobieństwa na nowo i losować spośród nich. Zysk: odcina długi ogon mało prawdopodobnych tokenów (które w przeciwnym razie czasem dawałyby bzdury), ale zachowuje różnorodność wśród rozsądnych. Słabość w porównaniu z top-p: k jest stałe, co źle pasuje do obu skrajności — gdy jeden token jest niemal pewny, top-k i tak wpuszcza k−1 mało prawdopodobnych alternatyw, a gdy wiele opcji jest równie dobrych, k może być za małe i obciąć dobre wybory. Dlatego często woli się próbkowanie jądrowe (top-p), które dostosowuje liczbę dynamicznie; można je też łączyć. Podstawowy parametr próbkowania, zwykle udostępniany obok temperatury i top-p. Powiązane z próbkowaniem jądrowym i temperaturą.