Perplexidade
Medida de quão "confuso" um modelo de linguagem está quanto ao próximo token — quanto menor, melhor.
Calculada a partir da perda de entropia cruzada. O GPT-2 tinha perplexidade de ~30 na Wikipédia; o GPT-4, algo em torno de 2-3. Uma métrica clássica de LMs, mas que diz pouco sobre seguir instruções. Não confundir com o Perplexity.ai (o buscador).