LLM-as-judge
Utiliser un LLM pour évaluer les réponses d'un autre LLM — un moyen bon marché de faire passer l'« évaluation humaine » de quelques centaines à plusieurs millions d'échantillons.
L'article MT-Bench (2023) a popularisé la technique : utiliser GPT-4 pour comparer deux réponses de LLM et désigner la meilleure. Deux modes : pairwise (A contre B), pointwise (note de 1 à 5 selon une grille). Critiques : les juges ont des biais systématiques (préférence pour les réponses longues, « biais de position » — favoriser la première option présentée), et ne peuvent pas dépasser leurs propres connaissances. Bonne pratique actuelle : calibrer le juge sur une base de référence annotée par des humains, utiliser des modèles spécialement affinés pour ce rôle (Prometheus, JudgeLM). Une méthode devenue standard dans toutes les stacks LLMOps.