Meccanismo di attenzione
Meccanismo neurale per concentrarsi sulle parti rilevanti dell'input. Introdotto da Bahdanau et al. (2014) per la traduzione automatica; generalizzato da Vaswani et al. (2017) in self-attention, da cui nasce il Transformer.
Nucleo matematico: softmax(QK^T / √d) · V. Q (query), K (key) e V (value) sono proiezioni lineari dell'input. La multi-head attention esegue più teste di attenzione in parallelo. Il limite classico è la complessità quadratica rispetto alla lunghezza della sequenza, da cui molta ricerca sull'attenzione efficiente (Flash Attention, attenzione sparsa, attenzione lineare, Mamba/SSM come alternative). La cross-attention collega due sequenze (encoder-decoder); la self-attention collega una sequenza con se stessa.