Çapraz dikkat
Sorguların bir diziden, anahtarların ve değerlerin ise başka bir diziden geldiği dikkat mekanizması. Bir modelin çıktısını kendisinden başka bir şeye koşullandırmasını sağlayan yöntem.
Öz-dikkatte (self-attention) bir dizi kendine bakar; çapraz dikkatte dışarıya bakar. Başlangıçta Transformer'ın kod çözücüsündeydi; böylece çeviriyi kelime kelime üretirken kaynak cümlenin tamamını görebiliyordu. Bugün en önemli kullanımı koşullu üretimdir: Stable Diffusion'da metin isteminin görüntünün gürültüden arındırılmasını yönlendirmesi çapraz dikkat sayesindedir; çok kipli modellerde görüntü veya ses temsillerinin dil modeline aktarılma yolu da budur. Hesaplama olarak öz-dikkatle aynıdır; tek fark matrislerin nereden geldiğidir.