レイトチャンキング
Jina AIが2024年に提案したRAG向け手法。先に文書全体を長文脈の埋め込みモデルに通し、チャンクへの分割は後から、トークン埋め込みをチャンクごとにプーリングして行う。各チャンクの埋め込みに文書全体の文脈が反映される。
解決する問題はこうだ。通常（ナイーブ）なチャンキングでは各断片が単独で埋め込まれるため、「彼は1998年にそれを設立した」というチャンクは、名前が前のチャンクにあった場合、「彼」が誰か分からなくなる。レイトチャンキングでは文書全体をモデルに通してからトークンをチャンクのベクトルへまとめるので、各チャンクが代名詞や参照、話題といった周囲の文脈を「覚えている」。参照関係の多い文書で検索精度が上がり、保存量も増えない。十分に長いコンテキスト長を持つ埋め込みモデルが必要になる。セマンティックチャンキングをさらに洗練させた手法である。