Talimat ayarlama (instruction tuning)
Ham bir dil modelinin, metni sadece sürdürmek yerine talimatları izlemeyi öğrenmesi için çok sayıda (talimat, yanıt) çiftiyle ince ayarlanması. “Metin devam ettiricisini” işe yarar bir asistana çeviren adım.
Neden: önceden eğitilmiş bir taban model yalnızca bir sonraki belirteci tahmin eder — ondan bir şey isterseniz yanıtlamak yerine daha fazla soruyla devam edebilir. Talimat ayarlama (denetimli ince ayarın, SFT, bir biçimi) onu istenen yanıtlarla birlikte binlerce görev örneği üzerinde, çok çeşitli görev türlerinde eğitir; böylece “kullanıcı ne isterse yap” davranışına genelleşir. Genellikle bir sohbet modeli yapmanın ilk adımıdır; ardından ton ve güvenlik için tercih ayarı (RLHF/DPO) gelir. Öncü çalışmalar: Google’ın FLAN’ı ve ChatGPT’nin arkasındaki InstructGPT. Tercih ayarından farklıdır (o, karşılaştırmalara göre NASIL yanıtladığını ayarlar) — talimat ayarlama ise modele yanıtlamayı öğretir. RLHF ve DPO ile ilişkilidir.