vLLM
詳細情報
- 開発元
- UC Berkeley Sky Lab
- 公開年
- 運営
- PyTorch Foundation
- 種類
- LLM推論サーバー
- ライセンス
- Apache 2.0
- 公式サイト
- docs.vllm.ai
- ソース
- github.com/vllm-project/vllm
高スループットなLLM推論サーバー。中核はPagedAttentionで、KVキャッシュを連続バッファではなく仮想メモリのように管理する。
2023年にUCバークレーから登場した。PagedAttentionはKVキャッシュを固定長ブロックに分け、参照テーブルで引く。これにより、パディングでGPUメモリを無駄にせずに、連続バッチ処理とプレフィックス共有ができる。同じハードウェアでHuggingFace TGIの2〜10倍のスループットが出る。
Llama、Mistral、Qwen、DeepSeekなど主要なオープンモデル、複数GPUにまたがるテンソル並列、量子化(AWQ、GPTQ、FP8)、投機的デコーディングに対応し、OpenAI互換APIも備える。2025年時点で、オンプレミスのLLM提供における標準的な選択肢である。