vLLM
Plus d'infos
- Créé par
- UC Berkeley Sky Lab
- Année
- Propriétaire
- PyTorch Foundation
- Type
- Serveur d'inférence pour LLM
- Licence
- Apache 2.0
- Site officiel
- docs.vllm.ai
- Code source
- github.com/vllm-project/vllm
Serveur d'inférence à haut débit pour LLM — son innovation centrale, PagedAttention, gère le cache KV comme de la mémoire virtuelle plutôt que comme un tampon contigu.
Issu d'UC Berkeley (2023). PagedAttention découpe le cache KV en blocs de taille fixe et les référence via une table de correspondance — ce qui permet le continuous batching et le partage de préfixes sans gaspiller de mémoire GPU en remplissage. Résultat : un débit 2 à 10× supérieur à celui de HuggingFace TGI, sur le même matériel.
Prend en charge la plupart des modèles ouverts (Llama, Mistral, Qwen, DeepSeek), le parallélisme tensoriel sur plusieurs GPU, la quantification (AWQ, GPTQ, FP8) et le décodage spéculatif. API compatible OpenAI. Le choix par défaut pour servir des LLM sur site en 2025.