vLLM
Daha fazla bilgi
- Geliştiren
- UC Berkeley Sky Lab
- Yıl
- Sahibi
- PyTorch Foundation
- Tür
- LLM çıkarım sunucusu
- Lisans
- Apache 2.0
- Resmî site
- docs.vllm.ai
- Kaynak kodu
- github.com/vllm-project/vllm
LLM’ler için yüksek verimli çıkarım sunucusu; temel yeniliği, KV önbelleğini bitişik bir tampon yerine sanal bellek gibi yöneten PagedAttention’dır.
UC Berkeley çıkışlıdır (2023). PagedAttention, KV önbelleğini sabit boyutlu bloklara böler ve bunlara bir arama tablosuyla başvurur; bu da GPU belleğini dolgu için harcamadan sürekli gruplamayı (continuous batching) ve önek paylaşımını mümkün kılar. Sonuç: aynı donanımda HuggingFace TGI’dan 2–10 kat yüksek verim.
Çoğu açık modeli (Llama, Mistral, Qwen, DeepSeek), birden çok GPU’da tensör paralelliğini, nicemlemeyi (AWQ, GPTQ, FP8) ve spekülatif kod çözmeyi destekler. OpenAI uyumlu API sunar. 2025’te şirket içi LLM sunumunun varsayılan tercihi.