Perplexity (perpleksja)
Miara tego, jak bardzo model językowy jest „zdezorientowany” przy przewidywaniu następnego tokenu — im niższa, tym lepiej.
Liczona z entropii krzyżowej. GPT-2 miał perpleksję rzędu 30 na Wikipedii, GPT-4 schodzi do 2–3. Klasyczna metryka modeli językowych, ale niewiele mówi o tym, jak model wykonuje polecenia. Nie mylić z Perplexity.ai (wyszukiwarką).