Penalità di ripetizione
Parametro di campionamento che attenua la probabilità dei token già comparsi nel contesto, contrastando i loop degli LLM ("il il il…").
Applica una correzione ai logit: se il token è già nella sequenza, il logit viene diviso per un fattore (di solito 1,0–1,3). Varianti più raffinate: la frequency penalty (proporzionale al numero di occorrenze) e la presence penalty (binaria: visto o no).
Aiuta i modelli piccoli o poco rifiniti; per i grandi modelli moderni addestrati a seguire istruzioni, di solito bastano il valore predefinito 1,0 (disattivata) e temperature/top-p. Con una penalità troppo alta il modello salta da un argomento all'altro in modo incoerente.