Autoatenção
Mecanismo em que cada token de uma sequência "olha" para todos os outros e decide quanto peso dar a cada um — o coração da expressividade do transformer.
Três projeções aprendidas por token: query (Q), key (K), value (V). Score de atenção = softmax(QK^T / √d) · V. Multi-head: roda várias self-attentions em paralelo com projeções diferentes e concatena o resultado.
Complexidade de tempo O(n²) no tamanho da sequência — o principal gargalo em LLMs de contexto longo. Otimizações: Flash Attention (melhor gestão de memória), Sparse Attention, Sliding Window, GQA, MLA.