Test zamanı hesaplama
Daha fazla işlem gücünü eğitim yerine çıkarım sırasında harcama fikri — modelin daha uzun düşünmesine, daha çok aday yanıt üretmesine ve en iyisini seçmesine izin ver.
DeepMind ve OpenAI'ın 2024 tarihli araştırmaları, 10 kat fazla çıkarım bütçesine sahip küçük bir modelin, standart kod çözmeyle çalışan 10 kat büyük bir modeli geçebildiğini gösterdi. Teknikler: uzun düşünce zinciri (o1, R1), best-of-N örnekleme, ağaç araması (ToT), süreç ödül modelleri.
Bu kayma LLM dağıtımının ekonomisini değiştirdi — sorgu başına çıkarım daha pahalı, eğitim ise yayılmış maliyet. "Akıl yürütme modeli" paradigmasının tamamı, uygulamadaki test zamanı hesaplama ölçeklemesidir.