RadixAttention
SGLang’in KV önbelleğini istekler arasında yeniden kullanma yöntemi: bir istek bitince önbelleği atmak yerine, görülen her öneki bir radix ağacında tutar.
Fikir, gerçek trafiğe dair bir gözleme dayanır: istekler neredeyse her zaman aynı başlangıcı paylaşır. Aynı sistem istemi, aynı few-shot örnekleri, aynı belge, bir tur öncesine kadar aynı konuşma geçmişi. Klasik sunum sistemleri bu kısmı her seferinde yeniden hesaplar. Burada önbelleğe alınmış key ve value tensörleri, her kenarı bir token dizisi olan bir radix ağacında indekslenir; böylece yeni bir istek en uzun ortak öneki eşleştirir ve yalnızca kalanı hesaplar. Bellek dolduğunda ağaç LRU ile boşaltılır ve zamanlayıcı bunun farkındadır: ortak öneki paylaşan istekleri gruplar, böylece bir düğüm bir sonraki isabetten hemen önce atılmaz. Ajan döngüleri ve yapılandırılmış çıktı gibi yoğun önek paylaşımı olan iş yüklerinde etki birkaç yüzde değil, birkaç kat verimdir.