Guardrails (YZ)
Bir LLM’in etrafındaki koruyucu katmanlar: girenleri ve çıkanları denetler, sınırlar — zararlı sorguları engeller, uygunsuz yanıtları süzer, modeli konuda tutar ya da bir biçimi zorunlu kılar. Modelin kendi eğitiminin ötesinde ayrı bir güvenlik katmanı.
Neden: modelin yerleşik hizalamasının her zaman tutacağına güvenemezsiniz (jailbreak’ler, uç durumlar), bu yüzden dışarıdan denetim eklersiniz. Türler: girdi korumaları (prompt injection, yasaklı konular, KKB’yi model görmeden tespit eder), çıktı korumaları (nefret içerikli/tehlikeli içeriği süzer, yanıtın izin verilen konularda kalıp kalmadığını kontrol eder, biçim/şemayı doğrular) ve diyalog politikaları (botun neyden söz edebileceğini belirler). Kurallar, sınıflandırıcılar ya da ayrı bir “hakem” LLM ile uygulanır. Araçlar: NVIDIA NeMo Guardrails, Guardrails AI, Llama Guard. Ödünleşim: aşırı sıkı korumalar yanlış ret ve sinir bozucu “Bu konuda yardımcı olamam” yanıtları verir; fazla gevşek olanlar sorunları geçirir. Üretimdeki LLM sistemlerinde standarttır. Jailbreak ve yapılandırılmış çıktıyla ilişkilidir.