Cache de prefixo
Manter o KV cache de um trecho de prompt que muitas requisições compartilham, em vez de recalcular o mesmo prompt de sistema dez mil vezes por dia.
Quase todo o tráfego de produção para um modelo de linguagem começa igual: um prompt de sistema, alguns exemplos, um documento sobre o qual várias perguntas são feitas. Como a atenção é causal, as chaves e os valores desses tokens não dependem de nada que vem depois, e por isso podem ser calculados uma vez e reaproveitados. A implementação divide a sequência em blocos, calcula o hash do conteúdo de tokens de cada bloco e procura correspondências em uma tabela compartilhada — o vLLM chama isso de automatic prefix caching, enquanto o SGLang construiu a variante RadixAttention em torno de uma árvore radix. O ganho aparece principalmente no tempo até o primeiro token, que pode cair uma ordem de grandeza em prefixos longos compartilhados.