Cross-attention
Atención en la que las consultas provienen de una secuencia y las claves y los valores de otra. El mecanismo que permite a un modelo condicionar su salida en algo distinto de sí mismo.
En la autoatención una secuencia se mira a sí misma; en la cross-attention mira hacia fuera. En su origen residía en el decodificador del transformer, que podía así ver la frase de origen entera mientras generaba una traducción palabra a palabra. Hoy la aplicación más importante es la generación condicionada: en Stable Diffusion es a través de la cross-attention como el prompt de texto guía el desruido de la imagen, y en los modelos multimodales es así como las representaciones de imagen o audio se introducen en el modelo de lenguaje. En lo computacional es idéntica a la autoatención — la única diferencia es de dónde salen las matrices.