コンテキスト圧縮
RAGパイプラインで、検索結果をモデルに渡す前に不要な部分の除去や要約で縮めること。トークン(コストと遅延)を節約し、モデルの注意を散らすノイズも減らす。
大まかな検索では、一部しか関係のないチャンクや純粋なノイズが混ざりやすい。それを生のまま渡すとコンテキストウィンドウを無駄にし、コストが上がり、場合によっては回答も悪化する(「真ん中が抜け落ちる」問題や、無関係な文章への気移り)。そこで中間工程として、各チャンクから関連する文だけを抽出するか要約し、要点だけをモデルに届ける。方法は、小型LLMによる抽出・要約、文単位の抽出的フィルタリング、リランカーによる関連度フィルタなど。工程が一つ増えるぶん遅延とコストがかかるが、検索がノイズだらけなら元が取れる。リランキングと近いが、目的は並べ替えでなく短縮である。