Cross-attention
Attenzione in cui le query provengono da una sequenza e le chiavi e i valori da un'altra. Il meccanismo che permette a un modello di condizionare il proprio output su qualcosa di diverso da sé.
Nella self-attention una sequenza guarda se stessa; nella cross-attention guarda all'esterno. In origine stava nel decoder del transformer, che così poteva vedere l'intera frase di partenza mentre generava la traduzione parola per parola. Oggi l'applicazione più importante è la generazione condizionata: in Stable Diffusion è attraverso la cross-attention che il prompt testuale guida la rimozione del rumore dall'immagine, e nei modelli multimodali è il modo in cui le rappresentazioni di immagini o audio entrano nel modello linguistico. Dal punto di vista computazionale è identica alla self-attention: cambia solo l'origine delle matrici.