Mechanizm uwagi
Mechanizm sieci neuronowych pozwalający skupić się na istotnych fragmentach wejścia. Wprowadzili go Bahdanau i in. (2014) na potrzeby tłumaczenia, a Vaswani i in. (2017) uogólnili go do samouwagi → Transformer.
Matematyczny rdzeń to softmax(QK^T / √d) · V. Q (zapytanie), K (klucz) i V (wartość) są liniowymi rzutami wejścia. Uwaga wielogłowicowa uruchamia równolegle kilka takich głowic. Klasyczne ograniczenie to złożoność kwadratowa względem długości sekwencji, stąd tyle badań nad wydajną uwagą (Flash Attention, uwaga rzadka, uwaga liniowa, a jako alternatywy Mamba i inne SSM). Uwaga krzyżowa łączy dwie sekwencje (enkoder–dekoder), samouwaga łączy sekwencję samą ze sobą.