Chunking semantico
Suddividere un documento nei punti in cui l'argomento cambia davvero, invece che a un limite fisso di caratteri. Misura la similarità tra frasi consecutive e pone un confine dove la similarità cala, così che ogni chunk contenga un argomento coerente.
Il meccanismo: si calcola l'embedding di ogni frase e si confrontano quelle adiacenti; quando la similarità scende sotto una soglia l'argomento è cambiato e si inserisce un confine. Il risultato sono chunk di lunghezza variabile, ciascuno dedicato a un solo tema, con embedding più puliti e corrispondenze migliori rispetto a tagli arbitrari a metà ragionamento. Il compromesso: la preparazione è più costosa (bisogna prima calcolare tutti gli embedding) e la soglia va calibrata. Si distingue dal chunking a dimensione fissa (semplice ma maldestro) e da quello basato sulla struttura (per intestazioni). Un passo verso un'indicizzazione RAG più intelligente, spesso abbinata al late chunking.