Caché de prefijos (prefix caching)

Casi todo el tráfico de producción contra un modelo de lenguaje comparte un principio: un prompt de sistema, un puñado de ejemplos, un documento sobre el que se hacen varias preguntas. Como la atención es causal, las claves y valores de esos tokens no dependen en absoluto de lo que viene después, así que pueden calcularse una sola vez y reutilizarse. La implementación divide la secuencia en bloques, calcula el hash del contenido de cada bloque y busca coincidencias en una tabla compartida — vLLM lo llama automatic prefix caching, y SGLang construyó su variante RadixAttention alrededor de un árbol radix. La ganancia se nota sobre todo en el tiempo hasta el primer token, que puede caer un orden de magnitud con prefijos compartidos largos.