Kontextkomprimierung
Das hergeholte Material einer RAG-Pipeline verkleinern, bevor es an das Modell geht — durch Herausfiltern irrelevanter Teile oder Zusammenfassen. Spart Token (Kosten, Latenz) und reduziert das Rauschen, das das Modell sonst ablenkt.
Warum: Eine grobe Suche zieht oft Chunks heran, die nur teilweise relevant sind, dazu reines Rauschen. Alles roh an das Modell zu schicken verschwendet das Kontextfenster, treibt die Kosten hoch und kann die Antwort sogar verschlechtern, weil das Modell mittendrin etwas verliert oder sich an irrelevantem Text festhält. Kontextkomprimierung schaltet einen Zwischenschritt dazwischen, der nur die relevanten Sätze aus jedem Chunk extrahiert oder sie zusammenfasst, sodass nur das Wesentliche beim Modell ankommt. Methoden: ein kleineres LLM zum Extrahieren oder Zusammenfassen, satzweise extraktive Filterung, oder Relevanzfilterung per Reranker. Der Kompromiss ist ein zusätzlicher Schritt, der sich lohnt, sobald die Suche verrauscht ist. Verwandt mit Reranking, aber auf Kürzen statt Umsortieren fokussiert.