IT-lexikon › AI & ML › Repetition penalty

Repetition penalty

AI & ML In English → Uppdaterad: 2026-05-23

Sampling-parameter som dämpar sannolikheten för tokens som redan dykt upp i kontexten — motverkar LLM-loopar ("the the the...").

Bibehåller logit-justering: dela logit med faktorn (typiskt 1.0–1.3) om token redan finns i sequence. Mer raffinerade varianter: frequency penalty (proportionell mot antal upprepningar) och presence penalty (binär: synts eller inte).

Hjälper små eller dåligt finetunade modeller; för stora moderna instruction-tunes räcker ofta default 1.0 (av) och temperature/top-p ensam. För hög penalty → modellen byter ämne osammanhängande.

← Tillbaka till lexikonet