Late chunking
Una tecnica RAG (Jina AI, 2024) in cui l'intero documento passa PRIMA in un modello di embedding a contesto lungo e viene suddiviso in chunk DOPO, facendo il pooling degli embedding dei token per ciascun chunk. Ogni embedding di chunk porta così con sé il contesto dell'intero documento.
Il problema che risolve: nel chunking normale («naive») ogni pezzo viene codificato isolatamente → un chunk che dice «lo fondò nel 1998» perde l'informazione su chi sia «lui», perché il nome compariva in un chunk precedente. Il late chunking fa prima passare l'intero documento nel modello (così gli embedding dei token hanno visto tutto il contesto) e solo dopo ne fa il pooling in vettori di chunk → ogni chunk «ricorda» il contesto circostante (pronomi, riferimenti, argomento). Vantaggio: un retrieval migliore per documenti pieni di rimandi e collegamenti, senza memorizzare di più. Richiede un modello di embedding con una finestra di contesto abbastanza ampia. Un perfezionamento moderno rispetto al semantic chunking. Affine a semantic chunking e modello di embedding.