Perplexity (metrica)
Misura di quanto un modello linguistico sia «confuso» sui dati di test: più bassa, meglio è. Si calcola come 2^cross-entropy ed è la metrica intrinseca standard per valutare gli LLM, prima che LLM-as-judge e suite di benchmark prendessero il sopravvento.
Intuizione: una perplexity di 50 significa che il modello è incerto tra 50 token successivi equiprobabili. GPT-2 small ha circa 30 su WikiText; Llama-3-70B circa 3 sullo stesso test. Una perplexity più bassa tende a correlare con una migliore qualità di generazione.
Limiti: dipende dal tokenizer (modelli con vocabolari diversi non sono confrontabili direttamente) e misura solo la modellazione della distribuzione del testo, non il ragionamento, l'accuratezza fattuale o l'utilità. Per questo oggi si preferiscono HumanEval, MMLU, GPQA e i benchmark di allineamento. Da non confondere con Perplexity AI (la startup di ricerca).