チャンク分割

チャンクが大きすぎるとノイズが増え、小さすぎると文脈が失われる。一般的には500〜1500トークンで、10〜20%の重なりを持たせる。RAGの品質は、モデルの選択よりもチャンク分割の出来で決まることが多い。