テキストスプリッター
長い文書を埋め込みやRAG用のチャンクに切り分ける方法。RAGパイプラインのアーキテクチャ選択のなかで、おそらく最も重要な一つ。
素朴な方法は固定サイズ（256〜512トークン）で、10〜20%のオーバーラップを持たせる程度。それより良いのが再帰的文字分割（まず\n\n、次に\n、次に句点、最後に空白で分ける）と、Markdown/HTML対応（見出しごとに分割）。最近のものとしては、セマンティックチャンキング（文同士の埋め込み距離が大きい箇所で分ける）、レイトチャンキング（Jina、2024年。文書全体を埋め込み、平均プーリングでチャンクの埋め込みを得る）、エージェンティックチャンキング（LLMが分割位置を決める）がある。Anthropicのcontextual retrievalは各チャンクに要約を付ける。