Dikkat mekanizması
Girdinin ilgili kısımlarına odaklanmayı sağlayan sinirsel mekanizma; Bahdanau ve arkadaşları 2014'te çeviri için geliştirdi, Vaswani ve arkadaşları 2017'de öz-dikkate genelleyerek Transformer'a ulaştı.
Matematiksel çekirdek: softmax(QK^T / √d) · V. Q (sorgu), K (anahtar) ve V (değer), girdinin doğrusal izdüşümleridir. Çok başlı dikkat, birkaç dikkat başlığını paralel çalıştırır. Dizi uzunluğuna göre karesel karmaşıklık klasik sınırlamadır; bu yüzden verimli dikkat üzerine çok araştırma yapıldı (Flash Attention, seyrek dikkat, doğrusal dikkat, alternatif olarak Mamba/SSM'ler). Çapraz dikkat iki diziyi (kodlayıcı-çözücü), öz-dikkat ise bir diziyi kendisiyle ilişkilendirir.