Jailbreak (LLM)
Bir LLM'i kendi güvenlik sınırlarını aşıp reddetmesi için eğitildiği şeyi yapmaya ikna etmek; rol yapma, varsayımsal senaryolar, kodlanmış talimatlar ya da sistem istemini geçersiz kılma yoluyla. Kullanıcılar ile model geliştiricileri arasında bitmeyen bir kedi-fare oyunu.
Teknikler: rol yapma ("kuralsız bir yapay zekâ gibi davran", "DAN — Do Anything Now"), varsayımsal çerçeve ("kurgusal bir hikâyede şunu anlat…"), yasak bir soruyu masum parçalara bölme, kodlama (base64, başka diller) ya da modele talimatlarını unutturan "istem geçersiz kılma". Prompt injection'dan ayrılır (o, harici veriyle, örneğin modelin okuduğu bir web sayfasıyla talimat enjekte eder); jailbreak doğrudan modelin kendi politikalarını hedefler. Savunmalar: RLHF/güvenlik ince ayarı, sistem istemini sağlamlaştırma, çıktı filtreleri, guardrail'ler ve "red teaming". Hiçbir savunma sızdırmaz değildir; yeni jailbreak'ler sürekli ortaya çıkar. Yapay zekâ güvenliğinin merkezinde yer alır.