RadixAttention
El método de SGLang para reutilizar la caché KV entre peticiones, guardando cada prefijo visto en un árbol radix en lugar de descartar la caché cuando termina cada petición.
La idea parte de una observación sobre el tráfico real: las peticiones casi siempre comparten el principio. El mismo system prompt, los mismos ejemplos de few-shot, el mismo documento, el mismo historial de conversación un turno atrás. Los sistemas de servicio clásicos recalculan esa parte cada vez. Aquí, en cambio, los tensores de clave y valor en caché se indexan en un árbol radix donde cada arista representa una secuencia de tokens, así que una petición nueva puede hacer coincidir el prefijo común más largo y calcular solo el resto. El árbol se desaloja con LRU cuando se agota la memoria, y el planificador lo tiene en cuenta — agrupa las peticiones que comparten prefijo para que un nodo no se descarte justo antes del siguiente acierto. En cargas con mucho prefijo compartido, como los bucles de agentes y la salida estructurada, el efecto es varias veces más rendimiento, no solo unos puntos porcentuales.