Semantische chunking
Een document splitsen op de plekken waar het onderwerp daadwerkelijk wisselt, in plaats van bij een vaste tekenlimiet. De gelijkenis tussen opeenvolgende zinnen wordt gemeten en bij een dip komt een chunkgrens, zodat elke chunk één samenhangend onderwerp bevat.
Werking: elke zin krijgt een embedding en naburige zinnen worden vergeleken; zakt de gelijkenis onder een drempel, dan is het onderwerp verschoven en komt daar een grens. Het resultaat zijn chunks van wisselende lengte die elk over één ding gaan, met zuiverder embeddings en betere treffers dan willekeurig knippen midden in een betoog. Keerzijde: de voorbereiding is duurder (eerst alles embedden) en de drempel vraagt afstemming. Verschilt van chunking met vaste grootte (eenvoudig maar plomp) en van structuurgebaseerde chunking (op kopjes). Een stap richting slimmere RAG-indexering, vaak in combinatie met late chunking.