Перекрёстное внимание
Внимание, в котором запросы берутся из одной последовательности, а ключи и значения — из другой. Механизм, позволяющий модели строить выход в зависимости от чего-то, кроме неё самой.
В самовнимании (self-attention) последовательность смотрит на себя, в перекрёстном — наружу. Изначально оно стояло в декодере трансформера, который благодаря этому видел всё исходное предложение, генерируя перевод слово за словом. Сегодня важнейшее применение — условная генерация: в Stable Diffusion именно через перекрёстное внимание текстовый промпт управляет удалением шума из изображения, а в мультимодальных моделях так представления изображения или звука попадают в языковую модель. Вычислительно оно идентично самовниманию — различается лишь источник матриц.