Kara za powtórzenia (repetition penalty)
Parametr próbkowania, który zmniejsza prawdopodobieństwo tokenów już obecnych w kontekście — przeciwdziała pętlom LLM („the the the…”).
Polega na korekcie logitów: logit dzieli się przez współczynnik (zwykle 1,0–1,3), jeśli token już wystąpił w sekwencji. Subtelniejsze warianty: frequency penalty (proporcjonalna do liczby wystąpień) i presence penalty (binarna: był lub nie).
Pomaga małym lub słabo dostrojonym modelom; dla dużych, współczesnych modeli instrukcyjnych zwykle wystarcza domyślne 1,0 (wyłączone) plus sama temperatura i top-p. Zbyt wysoka kara sprawia, że model niespójnie skacze między tematami.