Перплексия (метрика)
Мера того, насколько языковая модель «озадачена» тестовыми данными: чем меньше, тем лучше. Считается как 2^кросс-энтропия. Стандартная внутренняя метрика оценки LLM — до того как её потеснили LLM-as-judge и наборы бенчмарков.
Интуиция: перплексия 50 означает, что модель колеблется между 50 равновероятными следующими токенами. У GPT-2 small она около 30 на WikiText, у Llama-3-70B — около 3 на тех же данных. Низкая перплексия коррелирует с качеством генерации.
Ограничения: метрика зависит от токенизатора (модели с разными словарями напрямую не сравнить) и описывает только моделирование распределения текста — ничего не говорит о рассуждении, фактической точности и полезности. Для этого есть HumanEval, MMLU, GPQA и бенчмарки на согласованность. Не путать с Perplexity AI — поисковым стартапом.