Внимание с группировкой запросов (GQA)
Вариант внимания, в котором несколько голов запросов делят один набор голов ключей и значений; заметно уменьшает KV-кэш (быстрее инференс, меньше памяти) почти без потери качества. Стандарт в Llama 2/3, Mistral и других.
В обычном многоголовом внимании (MHA) у каждой головы свои проекции Q, K и V, поэтому KV-кэш получается большим. Противоположная крайность — multi-query attention (MQA): все головы запросов делят ОДНУ голову KV, кэш минимален, но качество немного страдает. GQA — золотая середина: головы запросов делятся на группы, каждая группа делит одну голову KV (например, 32 головы запросов и 8 голов KV). Качество почти как у MHA, экономия памяти близка к MQA: меньше KV-кэш, выше пропускная способность, длиннее контекст. Поскольку KV-кэш часто становится узким местом инференса, это одно из самых значимых архитектурных решений современных моделей.