Perplexity (Metrik)
Maß dafür, wie „verwirrt" ein Sprachmodell auf Testdaten ist. Niedriger ist besser. Berechnet als 2 hoch Kreuzentropie. Die klassische intrinsische Metrik für LLM-Evaluation – bevor LLM-as-Judge und Benchmark-Suiten übernahmen.
Zur Intuition: Perplexity 50 bedeutet, das Modell schwankt unsicher zwischen 50 gleichwertigen nächsten Tokens. GPT-2 Small liegt bei etwa 30 auf WikiText, Llama-3-70B bei etwa 3 auf demselben Datensatz. Niedrigere Perplexity korreliert mit höherer Qualität bei Generierungsaufgaben. Einschränkung: abhängig vom Tokenizer (Modelle mit unterschiedlichem Vokabular sind nicht direkt vergleichbar) und nur eine Aussage über die Modellierung der Textverteilung – nichts über logisches Schließen, Faktentreue oder Hilfsbereitschaft. Modernere Evaluation läuft über HumanEval, MMLU, GPQA und Alignment-Benchmarks, die verwertbarere Werte liefern. Nicht zu verwechseln mit Perplexity AI, dem Such-Startup.