Многоголовое латентное внимание (MLA)
Архитектура внимания (DeepSeek, 2024), которая сжимает ключи и значения в небольшой латентный вектор вместо кэширования полных K/V по головам, — KV-кэш получается ещё меньше, чем с GQA. Одна из причин низкой стоимости инференса DeepSeek.
Идея: вместо хранения полноразмерных векторов ключей и значений (как в MHA) или совместного использования голов (как в GQA) MLA проецирует K и V в общее низкоранговое «латентное» представление, которое и кэшируется; полные K/V восстанавливаются на лету. Результат — заметно меньший KV-кэш (DeepSeek говорит о порядках величины относительно MHA), а значит более длинный контекст, выше пропускная способность и ниже расход памяти при сохранении качества. Отличие от GQA: та сокращает число KV-голов, а MLA сжимает само содержимое низкоранговой проекцией. Одно из самых заметных архитектурных достижений 2024 года.