Позднее разбиение на чанки
Приём для RAG (Jina AI, 2024): сначала весь документ целиком пропускают через эмбеддинг-модель с длинным контекстом, а на чанки делят уже потом — усредняя токенные эмбеддинги.
Проблема: при обычном разбиении каждый фрагмент кодируется изолированно, и чанк «он основал её в 1998 году» не знает, кто такой «он» — имя осталось в предыдущем куске. При позднем разбиении токены сначала «видят» весь документ, и лишь затем из них собираются векторы чанков, так что каждый помнит контекст: местоимения, ссылки, тему. Выигрыш — лучший поиск по документам, полным перекрёстных ссылок, без роста хранилища. Нужна эмбеддинг-модель с достаточно длинным окном. Современное развитие идеи семантического разбиения.