Семантический чанкинг
Разбиение документа в тех местах, где действительно меняется тема, а не по фиксированному числу символов. Измеряется сходство соседних предложений, и граница чанка ставится там, где оно падает, — так каждый чанк содержит связную тему.
Механика: для каждого предложения считается эмбеддинг, соседние предложения сравниваются; если сходство падает ниже порога, тема сменилась → здесь ставится граница. Получаются чанки разной длины, каждый из которых посвящён одному вопросу, — эмбеддинги чище, а поиск точнее, чем при произвольной нарезке посреди рассуждения. Компромисс: подготовка дороже (сначала надо посчитать эмбеддинги всего текста) и требует подбора порога. Отличается от чанкинга фиксированного размера (просто, но грубо) и структурного (по заголовкам). Шаг к более умной индексации для RAG, часто вместе с late chunking.