Échantillonnage par noyau (top-p) Nucleus sampling
Méthode d'échantillonnage (aussi appelée « top-p ») où le modèle ne peut choisir que parmi le plus petit ensemble de jetons candidats dont la probabilité cumulée atteint un seuil p (par ex. 0,9). Elle élague dynamiquement la « queue » improbable — le nombre de candidats s'adapte à l'assurance du modèle.
Mécanique : trier les jetons par probabilité, les additionner depuis le haut, et ne garder que ceux qui totalisent ensemble une masse p (par ex. 90 %) ; puis tirer au sort parmi eux. Le malin : quand le modèle est très sûr de lui (un jeton à 95 %), le noyau est petit (quasi déterministe) ; quand il hésite (beaucoup d'alternatives de poids comparable), le noyau est grand (plus de variation) → adaptation dynamique. À distinguer du top-k, qui garde toujours exactement k jetons, qu'ils soient vraisemblables ou non. Avantage : le modèle ne pioche pas par accident un jeton très improbable (source de charabia) tout en conservant une variation naturelle. Souvent combiné à la température. La méthode d'échantillonnage la plus courante dans les LLM modernes.