PagedAttention
Трюк с виртуальной памятью для KV-кэша, позволяющий LLM-серверам батчить несколько запросов без расточительного расхода GPU-памяти.
Придумана командой vLLM в Беркли (2023). Классически под каждый запрос выделяют непрерывный KV-кэш, что даёт внутреннюю фрагментацию: резервируют под максимальный контекст, а используют малую часть. PagedAttention нарезает кэш на «страницы» фиксированного размера (например, по 16 токенов) и ведёт таблицу страниц для каждой последовательности — в точности как виртуальная память операционной системы. Результат: рост пропускной способности в 2–4 раза и место для заметно большего числа одновременных пользователей.