Cross-attention
Attention waarbij de queries uit de ene reeks komen en de keys en values uit een andere. Het mechanisme waarmee een model zijn uitvoer kan baseren op iets anders dan zichzelf.
Bij self-attention kijkt een reeks naar zichzelf; bij cross-attention kijkt ze naar buiten. Oorspronkelijk zat het in de decoder van de transformer, die zo de hele brontekst kon zien terwijl hij woord voor woord een vertaling schreef. Tegenwoordig is de belangrijkste toepassing conditionele generatie: in Stable Diffusion stuurt de tekstprompt via cross-attention het ontruisen van het beeld, en in multimodale modellen komen beeld- of audiorepresentaties zo in het taalmodel terecht. Rekentechnisch is het identiek aan self-attention — het enige verschil is waar de matrices vandaan komen.