Prompt caching
Funzione con cui un fornitore di LLM mette in cache l'elaborazione di un prefisso ricorrente del prompt (ad esempio un lungo prompt di sistema o un documento), così che le chiamate successive non debbano ricalcolarlo: latenza minore e costi fortemente scontati.
Meccanismo: il costoso passo di prefill (elaborazione dell'input e riempimento della KV cache) non va ripetuto se l'inizio del prompt è identico tra le chiamate. Il fornitore salva lo stato interno (la KV cache) del prefisso; la chiamata successiva con lo stesso inizio lo riutilizza ed elabora solo la parte nuova. Vantaggio: i token di input in cache costano in genere una frazione (Anthropic circa il 10%, OpenAI circa il 50%) e il time-to-first-token cala drasticamente. Casi d'uso: un lungo prompt di sistema fisso, un documento voluminoso su cui si pongono molte domande, esempi few-shot, le definizioni degli strumenti di un agente ripetute a ogni passo. Il prompt si progetta mettendo prima la parte stabile (memorizzabile) e per ultima quella variabile. Un'ottimizzazione dei costi centrale per le applicazioni LLM in produzione.