Перплексия
Мера того, насколько языковая модель «озадачена» выбором следующего токена: чем ниже, тем лучше.
Вычисляется из кросс-энтропийных потерь. У GPT-2 перплексия на Википедии была около 30, у GPT-4 — 2–3. Классическая метрика языковых моделей, но о следовании инструкциям она говорит мало. Не путать с Perplexity.ai (поисковой системой).