Geç parçalama (late chunking)
Bir RAG tekniği (Jina AI, 2024): tüm belgeyi ÖNCE uzun bağlamlı bir gömme modelinden geçirir, parçalara SONRA böler — parça başına token gömmelerini havuzlayarak. Böylece her parça gömmesi belgenin tamamından bağlam taşır.
Çözdüğü sorun: olağan (“naif”) parçalamada her parça yalnızca kendi başına gömülür → “onu 1998’de kurdu” diyen bir parça, ismin önceki parçada geçtiği için “o”nun kim olduğunu kaybeder. Geç parçalama önce tüm belgeyi modelden geçirir (token gömmeleri tüm bağlamı görmüş olur), sonra token’ları parça vektörlerine havuzlar → her parça çevresindeki bağlamı (zamirleri, göndermeleri, konuyu) “hatırlar”. Kazanç: göndermelerle ve bağlantılarla dolu belgelerde, daha fazla depolamadan daha iyi erişim. Yeterince uzun bağlam penceresine sahip bir gömme modeli gerektirir. Anlamsal parçalamanın üzerine modern bir iyileştirme. Anlamsal parçalama ve gömme modeli ile ilişkili.