Штраф за повторения (Repetition penalty)
Параметр сэмплирования, снижающий вероятность токенов, которые уже встречались в контексте, — лекарство от зацикливания LLM («the the the…»).
Корректирует логиты: если токен уже есть в последовательности, логит делится на коэффициент (обычно 1,0–1,3). Есть более тонкие варианты: frequency penalty (пропорционален числу вхождений) и presence penalty (двоичный: встречался или нет).
Помогает небольшим или плохо дообученным моделям; для крупных современных instruct-моделей обычно хватает значения 1,0 (выключено) и одних temperature/top-p. Слишком сильный штраф — и модель бессвязно перескакивает с темы на тему.