Léxico de TI › IA & ML › Decodificação gulosa (greedy decoding)

Decodificação gulosa (greedy decoding)

IA & ML Svenska → Atualizado: 2026-10-01

Estratégia de amostragem de LLMs: escolher sempre o token de maior probabilidade. Equivale a temperature=0 + top_k=1. Determinística; o caminho mais curto do prompt à resposta. Padrão para tarefas factuais ou de geração de código.

O trade-off: a escolha gulosa é "localmente ótima", mas pode perder sequências globalmente melhores — no meio de uma frase, escolher um token comum pode reduzir a probabilidade dos seguintes. A alternativa é o beam search: manter os N melhores candidatos em paralelo, expandir todos e ficar com a melhor probabilidade total. Qualidade melhor, com custo computacional de 3 a 5 vezes maior. Amostrar com temperature>0 dá mais variância e diversidade (para escrita criativa). A saída de LLMs modernos costuma ser uma mistura: gulosa para blocos de código, amostragem para textos de "introdução" e "explicação". O modo JSON combina decodificação gulosa com restrição por gramática.

← Voltar ao léxico