Échantillonnage top-k
Une méthode d'échantillonnage où, à chaque étape, le modèle ne peut choisir que parmi les k tokens les plus probables (par exemple les 40 premiers) ; tous les autres sont exclus. Un prédécesseur simple de l'échantillonnage par noyau (top-p).
Mécanique : trier tous les tokens possibles par probabilité, garder les k plus élevés, renormaliser leurs probabilités et tirer au sort parmi eux. Avantage : on coupe la longue traîne des tokens improbables (qui donneraient de temps en temps du n'importe quoi) tout en gardant de la variation parmi les choix raisonnables. Faiblesse face au top-p : k est fixe, ce qui convient mal aux deux extrêmes — quand un token est presque certain, le top-k laisse quand même entrer k-1 alternatives improbables, et quand de nombreuses alternatives se valent, k peut être trop petit et élaguer de bons choix. C'est pourquoi l'échantillonnage par noyau (top-p), qui adapte dynamiquement le nombre, est souvent préféré ; les deux peuvent aussi se combiner. Un paramètre d'échantillonnage fondamental, souvent exposé à côté de la température et du top-p.