Top-k sampling
Un metodo di campionamento in cui, a ogni passo, il modello può scegliere solo tra i k token più probabili (per esempio i primi 40), mentre tutti gli altri sono esclusi. Un semplice predecessore del nucleus sampling (top-p).
Il meccanismo: si ordinano tutti i token possibili per probabilità, si tengono i k più alti, si rinormalizzano le loro probabilità e si campiona tra questi. Il vantaggio: esclude la lunga coda di token improbabili (che altrimenti darebbero ogni tanto risultati senza senso) ma conserva la varietà tra quelli ragionevoli.
Il limite rispetto al top-p: k è fisso, e si adatta male ai due estremi: quando un token è quasi certo, il top-k lascia comunque entrare k-1 alternative improbabili, mentre quando molte alternative sono ugualmente valide, k può essere troppo piccolo e scartare buone scelte. Per questo si preferisce spesso il nucleus sampling (top-p), che adatta dinamicamente il numero; i due si possono anche combinare. Un parametro di campionamento fondamentale, spesso esposto accanto a temperatura e top-p. Imparentato con nucleus sampling e temperatura.