セマンティックチャンキング

仕組みは、各文を埋め込みベクトルに変換して隣り合う文どうしの類似度を比べ、類似度がしきい値を下回った所を話題の転換点とみなして境界を置くというもの。結果として長さはまちまちだが、それぞれ一つの話題にまとまったチャンクが得られ、議論の途中でぶった切る分割よりも埋め込みの質と検索の一致度が良くなる。

代償は、先に全文を埋め込む必要があるため準備のコストが高いことと、しきい値の調整が要ること。固定長分割（単純だが雑）や見出しに基づく構造ベースの分割とは別物で、レイトチャンキングと組み合わせて使われることも多い。RAGのインデックス作りを賢くするための一歩である。