Perplexity
Maß dafür, wie „verwirrt" ein Sprachmodell vor dem nächsten Token ist — niedriger ist besser.
Berechnet aus dem Cross-Entropy-Loss. GPT-2 hatte auf Wikipedia eine Perplexity von rund 30; GPT-4 liegt bei etwa 2–3. Eine klassische LM-Metrik, die aber wenig über das Befolgen von Anweisungen aussagt. Nicht zu verwechseln mit Perplexity.ai (der Suchmaschine).