Perplexité (métrique)
Mesure du degré de « confusion » d'un modèle de langage sur des données de test. Plus c'est bas, mieux c'est. Calculée comme 2^entropie croisée. Métrique intrinsèque standard pour évaluer les LLM, avant que le LLM-juge et les suites de benchmarks ne prennent le relais.
Intuition : une perplexité de 50 signifie que le modèle hésite entre 50 tokens suivants équiprobables. GPT-2 small tourne autour de 30 sur WikiText ; Llama-3-70B autour de 3 sur le même corpus. Une perplexité basse va de pair avec une meilleure qualité de génération. Limites : elle dépend du tokenizer (deux modèles aux vocabulaires différents ne sont pas directement comparables) et ne mesure que la modélisation de la distribution du texte — rien sur le raisonnement, la factualité ou l'utilité. L'évaluation moderne — HumanEval, MMLU, GPQA, benchmarks d'alignement — donne des scores plus exploitables. À ne pas confondre avec Perplexity AI, la start-up de recherche.