Text splitter (fragmentador de texto)
Cómo trocear documentos largos en fragmentos (chunks) para embedding y RAG — posiblemente la decisión de arquitectura más importante de un pipeline RAG.
Lo ingenuo: tamaño fijo (256–512 tokens), quizá con un 10–20 % de solape. Mejor: el divisor recursivo de caracteres (intenta dividir primero por \n\n, luego por \n, luego por puntos, luego por espacios), y el que respeta markdown/HTML (divide por encabezado). Lo actual: el chunking semántico (divide donde la distancia entre embeddings de frases es grande), el late chunking (Jina, 2024 — se embebe el documento entero y los embeddings de cada fragmento salen por mean-pooling) y el chunking agéntico (un LLM decide dónde cortar). El contextual retrieval de Anthropic añade un resumen a cada fragmento.