Hakem olarak LLM
Bir LLM’in çıktılarını başka bir LLM’e notlatmak; “insan değerlendirmesini” yüzlerce örnekten milyonlarca örneğe ölçeklemenin ucuz yolu.
Teknik, MT-Bench makalesiyle (2023) yaygınlaştı: GPT-4’e iki LLM yanıtını karşılaştırtıp daha iyisini seçtirmek. İki kip vardır: ikili (A’ya karşı B) ve noktasal (rubrikle 1–5 puan). Eleştiri: hakemlerin sistematik yanlılıkları vardır (daha uzun yanıtları tercih etme, “konum yanlılığı” yani ilk seçeneği tercih etme) ve kendi bilgilerinin ötesine geçemezler. Güncel en iyi uygulama: hakemi insan etiketli bir referansa göre kalibre etmek ve hakeme özel ince ayarlı modeller (Prometheus, JudgeLM) kullanmak. Artık her LLMOps yığınında standarttır.