RAGパイプライン
文書から回答までの一連の流れ。取り込み(解析+チャンク分割)→ 埋め込み → ベクトルDBへの保存、問い合わせ時は検索 → 必要ならリランク → 生成。
素朴なRAGは単純なtop-kコサイン検索にすぎない。現代のRAGには、チャンク分割戦略(意味単位、スライディングウィンドウ、再帰的、レイトチャンキング)、ハイブリッド検索(ベクトル+BM25)、リランカー(Cohere Rerankなどのクロスエンコーダー)、クエリ拡張(HyDE、マルチクエリ)、コンテキスト圧縮、コンテキスチュアル・リトリーバル(Anthropicの手法)が加わる。LLMのコンテキスト長が伸びて「全部渡せばいい」という長文脈派が魅力的に見えるようになったが、精度は劣りコストも高い。