Campionamento nucleus (top-p)
Metodo di campionamento (detto anche «top-p») in cui il modello sceglie solo tra il più piccolo insieme di token la cui probabilità complessiva raggiunge una soglia p (ad es. 0,9). Elimina dinamicamente la «coda» improbabile: il numero di candidati si adatta alla sicurezza del modello.
Il meccanismo: si ordinano i token per probabilità, si somma dall'alto e si tengono solo quelli che insieme coprono la massa p (ad es. il 90 %); poi si campiona tra questi. La parte ingegnosa: quando il modello è molto sicuro (un token ha il 95 %) il nucleo è piccolo e il comportamento quasi deterministico; quando è incerto (molte alternative equivalenti) il nucleo è ampio e c'è più variazione. Diverso dal top-k, che tiene sempre esattamente k token, siano essi probabili o no. Il vantaggio è evitare che il modello peschi per caso un token molto improbabile (con esiti privi di senso) mantenendo una variazione naturale. Spesso combinato con la temperatura; è il metodo di campionamento più diffuso negli LLM moderni.