KV-кэш
Кэш, хранящий векторы «ключей» и «значений» механизма внимания для уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового. Без него быстрая авторегрессионная генерация текста невозможна.
Зачем: LLM генерирует по одному токену, и каждому новому нужно «посмотреть» на все предыдущие через внимание. Без кэша вся последовательность пересчитывалась бы на каждом шаге (квадратичная потеря). KV-кэш сохраняет ключи и значения всех прошлых токенов; на каждом шаге вычисляются только векторы нового токена, и он сравнивается с кэшем. Проблема: кэш растёт линейно и с длиной последовательности, И с размером батча, а на длинном контексте быстро становится главным потребителем памяти — узким местом пропускной способности. Решения: PagedAttention (эффективное управление памятью), grouped-query attention (меньше KV-голов) и квантизация KV-кэша. Центральная структура данных инференса LLM. Связан с grouped-query attention и continuous batching.