Repetition Penalty
Sampling-Parameter, der die Wahrscheinlichkeit bereits im Kontext aufgetauchter Tokens dämpft — wirkt LLM-Schleifen entgegen ("die die die …").
Grundmechanismus: eine Logit-Anpassung — der Logit wird durch den Faktor (typisch 1,0–1,3) geteilt, falls das Token bereits in der Sequenz vorkommt. Feinere Varianten: frequency penalty (proportional zur Häufigkeit) und presence penalty (binär: gesehen oder nicht).
Hilft kleinen oder schlecht feinjustierten Modellen; bei großen modernen Instruction-Tunes reichen oft der Default 1,0 (aus) und temperature/top-p allein. Zu hohe Penalty → das Modell springt unzusammenhängend zwischen Themen.