Bağlam sıkıştırma
Bir RAG hattında getirilen materyali modele gönderilmeden önce küçültmek — ilgisiz kısımları eleyerek ya da özetleyerek. Token'dan (maliyet/gecikme) tasarruf sağlar ve modelin dikkatini dağıtacak gürültüyü azaltır.
Neden: kaba bir getirme çoğu zaman yalnızca kısmen ilgili parçalar ve düpedüz gürültü de çeker. Hepsini ham göndermek bağlam penceresini boşa harcar, maliyeti artırır ve yanıtı gerçekten kötüleştirebilir (model "ortada kaybolur" ya da ilgisiz metinle dağılır). Bağlam sıkıştırma, her parçadan yalnızca ilgili cümleleri çıkaran ya da özetleyen bir ara adım çalıştırır; modele sadece öz ulaşır. Yöntemler: çıkarım/özet yapan daha küçük bir LLM, cümle bazında çıkarımcı filtreleme ya da yeniden sıralayıcıyla ilgi filtrelemesi. Ödünleşim: ek bir adım (gecikme/maliyet) — getirme gürültülü olduğunda karşılığını verir. Yeniden sıralamaya benzer ama sırayı değiştirmeye değil kısaltmaya odaklanır.