SGLang
Servidor de inferencia LLM de UC Berkeley/LMSYS — desafía a vLLM con RadixAttention para compartir caché de prefijos y decodificación restringida rápida.
RadixAttention almacena la caché KV en un árbol radix para que los prefijos de prompt comunes se compartan entre solicitudes sin lógica adicional del usuario. Incluye xgrammar para salida estructurada (JSON, regex), 5–10× más rápido que outlines/lm-format-enforcer.
Suele superar a vLLM en cargas de chat con muchos prompts de sistema compartidos y en salida estructurada. vLLM suele ganar en benchmarks puros de una sola pasada. A menudo se combinan — la elección depende de la carga de trabajo.