Amostragem top-k
Método de amostragem em que, a cada passo, o modelo só pode escolher entre os k tokens mais prováveis (por exemplo, os 40 primeiros), e o resto fica totalmente de fora. Um antecessor simples da amostragem nucleus (top-p).
Mecânica: ordenar todos os tokens possíveis por probabilidade, manter os k maiores, renormalizar as probabilidades e sortear entre eles. Ganho: tira de jogo a cauda longa de tokens improváveis (que de vez em quando produziria besteira), mas mantém a variação entre os razoáveis. Fraqueza em relação ao top-p: k é fixo, o que combina mal com os dois extremos — quando um token é quase certo, o top-k ainda deixa entrar k-1 alternativas improváveis, e quando muitas alternativas são igualmente boas, k pode ser pequeno demais e podar boas escolhas. Por isso a amostragem nucleus (top-p), que ajusta o número dinamicamente, costuma ser preferida; também dá para combinar as duas. Parâmetro fundamental, geralmente exposto junto com temperatura e top-p.