Min-p sampling
Метод сэмплирования, в котором порог задаётся не абсолютно, а относительно самого вероятного токена. Когда модель уверена, пул узкий; когда сомневается, он расширяется сам.
Правило простое: умножить вероятность лучшего токена на коэффициент, часто 0,05, и отбросить всё, что ниже. Если у лидера вероятность 90 процентов, порог равен 4,5 процента и остаётся почти только он; если распределение плоское и лидер имеет три процента, порог — 0,15 процента, и выживают сотни альтернатив. Это противоположность top-p, который всегда отсекает одну и ту же долю вероятностной массы независимо от формы распределения и потому либо душит творческие фрагменты, либо пропускает откровенную чушь после неуверенного токена. Метод предложило сообщество локальных моделей в 2023 году, и теперь он есть в большинстве движков инференса.