Eğitim (training)
Bir sinir ağına gradyan inişiyle öğretmek — örnek veri + kayıp fonksiyonu + geri yayılım. Modern LLM’lerde birden fazla aşama vardır.
Klasik hat: Ön eğitim (ham veri üzerinde devasa denetimsiz öğrenme, temel modeli kurar) → SFT (talimatlarla denetimli ince ayar) → RLHF/RLAIF (insan/yapay zekâ geri bildirimiyle hizalama) → RLVR (matematik/kod için doğrulanabilir ödüllerle pekiştirmeli öğrenme). Maliyet başa yüklüdür: GPT-4’ün ön eğitiminin yaklaşık 100 milyon $ tuttuğu söylenir. Sonraki aşamalar daha ucuzdur ama kalite için kritiktir.