LLM como juez
Usar un LLM para valorar las respuestas de otro LLM — una forma barata de escalar la "evaluación humana" de cientos a millones de muestras.
El paper de MT-Bench (2023) popularizó la técnica: usar GPT-4 para comparar dos respuestas de LLM y elegir la mejor. Dos modalidades: pairwise (A contra B) y pointwise (puntuación de 1 a 5 con rúbrica). Crítica: los jueces tienen sesgos sistemáticos (preferencia por respuestas más largas, "position bias", que favorece la primera opción) y no pueden superar su propio conocimiento. Mejor práctica actual: calibrar el juez contra una base humana etiquetada y usar ajustes finos específicos para jueces (Prometheus, JudgeLM). Ya es estándar en cualquier stack de LLMOps.