MQA (Multi-Query Attention)
Вариант внимания, где все головы запросов делят одну пару ключ/значение: KV-кэш резко уменьшается, но страдает качество.
Ноам Шазир, 2019 год. В стандартном multi-head attention N голов запросов и N голов KV; в MQA — N и одна. Итог: KV-кэш меньше в N раз, а инференс на длинном контексте и больших батчах заметно быстрее. Потерянная выразительность, однако, видна в бенчмарках.
Применялся в PaLM, Falcon, StarCoder. В современных больших моделях по умолчанию уже закрепился GQA: он даёт качество почти как у полного MHA, не требуя платить цену MQA. DeepSeek с MLA идёт дальше и сжимает KV в латентный вектор.