Prefix caching
Conservare la cache KV di un segmento di prompt condiviso da molte richieste, invece di ricalcolare diecimila volte al giorno lo stesso prompt di sistema.
Quasi tutto il traffico di produzione verso un modello linguistico ha un inizio in comune: un prompt di sistema, qualche esempio, un documento su cui vengono poste più domande. Poiché l'attenzione è causale, chiavi e valori di quei token non dipendono da nulla di ciò che viene dopo, quindi si possono calcolare una volta sola e riutilizzare. L'implementazione divide la sequenza in blocchi, calcola l'hash del contenuto in token di ciascun blocco e cerca le corrispondenze in una tabella condivisa: vLLM lo chiama automatic prefix caching, mentre SGLang ha costruito la variante RadixAttention attorno a un albero radix. Il guadagno si vede soprattutto nel tempo al primo token, che con prefissi condivisi lunghi può scendere di un ordine di grandezza.