Mecanismo de atenção
Mecanismo neural para focar nas partes relevantes da entrada. Bahdanau et al. (2014) o introduziram para tradução. Vaswani et al. (2017) o generalizaram em self-attention → Transformer.
Núcleo matemático: softmax(QK^T / √d) · V. Q (query), K (key) e V (value) são projeções lineares da entrada. O multi-head attention roda vários "heads" de atenção em paralelo. A complexidade quadrática no tamanho da sequência é a limitação clássica → muita pesquisa em atenção eficiente (Flash Attention, sparse attention, linear attention, Mamba/SSMs como alternativa). Cross-attention conecta duas sequências (encoder-decoder); self-attention conecta a própria sequência com ela mesma.