SGLang
Servidor de inferência de LLMs de UC Berkeley/LMSYS que desafia o vLLM com RadixAttention para compartilhar cache de prefixos e decodificação restrita rápida.
O RadixAttention guarda o KV cache numa árvore radix, de modo que prefixos de prompt em comum são compartilhados entre requisições sem nenhuma lógica extra do usuário. O xgrammar embutido gera saída estruturada (JSON, regex) 5 a 10 vezes mais rápido que outlines/lm-format-enforcer.
Costuma superar o vLLM em cargas de chat com muitos system prompts compartilhados e em saída estruturada. O vLLM muitas vezes leva a melhor em benchmarks de requisição única. É comum combinar os dois: escolha conforme a carga de trabalho.