パープレキシティ（指標）
テストデータに対して言語モデルがどれだけ「迷っているか」を表す指標。低いほど良い。2のクロスエントロピー乗で計算する。LLM-as-judgeやベンチマーク群が主役になる前の、標準的な内部評価指標。
直感的には、パープレキシティ50とは、同程度に有力な50個の次トークン候補のあいだで迷っている状態を指す。WikiTextでGPT-2 smallは約30、Llama-3-70Bは同じデータで約3。低いほど生成タスクの品質とも相関する。限界は、トークナイザーに依存するため語彙の異なるモデル同士を直接比べられないこと、そしてテキスト分布のモデル化しか測れず、推論力や事実性、有用性については何も語らないことだ。現代の評価ではHumanEval、MMLU、GPQA、アライメント系ベンチマークのほうが実用的な指標になる。検索スタートアップのPerplexity AIとは別物なので注意。