Text-Splitter Chunking-Strategie
Wie man lange Dokumente für Embedding und RAG in Stücke (Chunks) zerlegt — womöglich die wichtigste Architekturentscheidung einer RAG-Pipeline.
Naiv: feste Größe (256–512 Tokens), vielleicht mit 10–20 % Überlappung. Besser: rekursiver Zeichen-Splitter (erst bei \n\n trennen, dann bei \n, dann beim Punkt, dann beim Leerzeichen), Markdown-/HTML-bewusst (Trennung pro Überschrift). Modern: semantisches Chunking (Trennung dort, wo der Embedding-Abstand zwischen Sätzen groß ist), Late Chunking (Jina, 2024 — das gesamte Dokument embedden, Chunk-Embeddings per Mean-Pooling ableiten), agentisches Chunking (ein LLM entscheidet, wo getrennt wird). Anthropics Contextual Retrieval fügt jedem Chunk zusätzlich eine Zusammenfassung hinzu.