vLLM
Servidor de inferência de alto throughput para LLMs — a inovação central é o PagedAttention, que gerencia o cache KV como memória virtual em vez de um buffer contíguo.
Vindo da UC Berkeley (2023). O PagedAttention divide o cache KV em blocos de tamanho fixo e os referencia por uma tabela de consulta, viabilizando continuous batching e compartilhamento de prefixos sem desperdiçar memória de GPU com padding. Resultado: throughput 2 a 10 vezes maior que o HuggingFace TGI no mesmo hardware.
Suporta a maioria dos modelos abertos (Llama, Mistral, Qwen, DeepSeek), paralelismo tensorial entre várias GPUs, quantização (AWQ, GPTQ, FP8) e decodificação especulativa. API compatível com a da OpenAI. A escolha padrão para servir LLMs on-premises em 2025.