Разреженное внимание (Sparse attention)
Варианты внимания, где каждый токен смотрит лишь на подмножество остальных, а не на все, — чтобы обойти квадратичную стоимость полного внимания и работать с гораздо более длинными последовательностями. Основа многих моделей с длинным контекстом.
Проблема: обычное («плотное») самовнимание сравнивает каждый токен со всеми остальными → стоимость растёт квадратично с длиной последовательности (O(n²)), что неприемлемо для длинных документов. Разреженное внимание ограничивает шаблон: каждый токен смотрит, скажем, только на ближайших соседей (локальное окно) плюс несколько глобальных «якорных» токенов. Примеры: Longformer (локальное + глобальное), BigBird (локальное + глобальное + случайное) и внимание со скользящим окном (Mistral). Выигрыш: линейное или почти линейное масштабирование → гораздо более длинный контекст при тех же вычислениях. Компромисс: токен больше не «видит» всё напрямую, и при неудачном шаблоне дальние зависимости могут теряться. Один из главных путей к увеличению длины контекста.