SGLang
Daha fazla bilgi
- Yaratıcı
- UC Berkeley / LMSYS
- Yayın
- Ocak 2024
- Tür
- LLM çıkarım sunucusu
- Lisans
- Apache 2.0
- Kaynak
- github.com/sgl-project/sglang
UC Berkeley/LMSYS'den LLM çıkarım sunucusu: önek önbelleği paylaşımı için RadixAttention ve hızlı kısıtlı kodlama ile vLLM'e rakip olur.
RadixAttention, KV önbelleğini bir radix ağacında tutar; böylece ortak istem önekleri, kullanıcıdan ek mantık istemeden istekler arasında paylaşılır. Yerleşik xgrammar, yapılandırılmış çıktıyı (JSON, regex) outlines ya da lm-format-enforcer'a göre 5–10 kat hızlı üretir.
Ortak sistem istemlerinin çok olduğu sohbet yüklerinde ve yapılandırılmış çıktıda genelde vLLM'i geçer. Salt tek seferlik kıyaslamalarda vLLM çoğu zaman önde kalır. Sık sık birlikte kullanılırlar; seçim iş yüküne göre yapılır.