Prefix caching
Att spara KV-cachen för en promptdel som flera förfrågningar delar, istället för att räkna om samma systemprompt tiotusen gånger om dagen.
Nästan all produktionstrafik mot en språkmodell har en gemensam början: en systemprompt, ett par exempel, ett dokument som flera frågor ställs mot. Eftersom uppmärksamheten är kausal beror nycklarna och värdena för de tokenen inte alls på vad som kommer senare, vilket betyder att de kan beräknas en gång och återanvändas. Implementationen delar sekvensen i block, hashar tokeninnehållet blockvis och slår upp träffar i en delad tabell — vLLM kallar det automatic prefix caching, SGLang byggde varianten RadixAttention kring ett radixträd. Vinsten syns framför allt i tiden till första token, som kan falla med en storleksordning för långa delade prefix.