vLLM
Servidor de inferencia de alto rendimiento para modelos de lenguaje, cuya idea central es PagedAttention: gestionar la caché KV como memoria virtual en lugar de como un búfer contiguo.
Salió de UC Berkeley en 2023. PagedAttention parte la caché KV en bloques de tamaño fijo y los referencia mediante una tabla, lo que habilita el agrupamiento continuo de peticiones y el reparto de prefijos sin desperdiciar memoria de GPU en relleno. El resultado son entre dos y diez veces más peticiones por segundo sobre el mismo hardware.
Admite la mayoría de modelos abiertos (Llama, Mistral, Qwen, DeepSeek), paralelismo de tensores entre varias GPU, cuantización (AWQ, GPTQ, FP8) y descodificación especulativa, con una API compatible con la de OpenAI. En 2025 es la opción por defecto para servir modelos en infraestructura propia.