Önek önbellekleme
Birçok isteğin paylaştığı istem parçasının KV önbelleğini saklamak; aynı sistem istemini günde on bin kez yeniden hesaplamamak.
Bir dil modeline giden üretim trafiğinin neredeyse tamamı ortak bir başlangıç taşır: sistem istemi, birkaç örnek, üzerine birden çok soru sorulan bir belge. Dikkat nedensel olduğu için bu token'ların anahtar ve değerleri sonrasında gelenlere bağlı değildir; yani bir kez hesaplanıp yeniden kullanılabilir. Uygulamada dizi bloklara bölünür, her bloğun token içeriği hash'lenir ve eşleşmeler ortak bir tabloda aranır — vLLM buna otomatik önek önbellekleme der, SGLang ise radix ağacı üzerine kurulu RadixAttention varyantını geliştirdi. Kazanç asıl olarak ilk token süresinde görülür; uzun ortak öneklerde bir büyüklük mertebesi düşebilir.