Prompt Caching
Eine Funktion, bei der ein LLM-Anbieter die Verarbeitung eines wiederkehrenden Prompt-Präfixes (etwa eines langen Systemprompts oder Dokuments) zwischenspeichert, sodass nachfolgende Anfragen es nicht neu berechnen müssen — das senkt Latenz und Kosten erheblich.
Mechanik: Der teure Prefill-Schritt (die Eingabe verarbeiten, den KV-Cache füllen) muss nicht wiederholt werden, wenn der Anfang des Prompts zwischen Anfragen identisch bleibt. Der Anbieter speichert den internen Zustand (den KV-Cache) für das Präfix; die nächste Anfrage mit demselben Anfang nutzt ihn wieder und verarbeitet nur den neuen Teil. Gewinn: Gecachte Input-Tokens kosten typischerweise nur einen Bruchteil (Anthropic ~10 %, OpenAI ~50 %), und die Time-to-First-Token sinkt drastisch. Einsatzfälle: ein langer fester Systemprompt, ein großes Dokument, zu dem viele Fragen gestellt werden, Few-Shot-Beispiele oder die Werkzeugdefinitionen eines Agenten, die bei jedem Schritt wiederholt werden. Man gestaltet den Prompt so, dass der stabile Teil zuerst kommt (cachefähig) und der variable Teil zuletzt — eine zentrale Kostenoptimierung für produktive LLM-Anwendungen.