Léxico de TI › IA & ML › Penalidade de repetição

Penalidade de repetição

IA & ML Svenska → Atualizado: 2026-09-30

Parâmetro de amostragem que reduz a probabilidade de tokens que já apareceram no contexto, combatendo os loops dos LLMs ("o o o o…").

Aplica um ajuste nos logits: divide o logit pelo fator (tipicamente 1,0–1,3) se o token já estiver na sequência. Variantes mais refinadas: frequency penalty (proporcional à contagem) e presence penalty (binária: já visto ou não).

Ajuda modelos pequenos ou mal ajustados; para os grandes modelos modernos com instruction tuning, o padrão 1,0 (desligado) mais temperatura/top-p costuma bastar. Penalidade alta demais → o modelo pula de assunto de forma incoerente.

← Voltar ao léxico