Self-attention
Mechanisme waarbij elk token in een reeks naar alle andere tokens "kijkt" en bepaalt hoeveel gewicht ze krijgen: het hart van de expressiviteit van een transformer.
Drie aangeleerde projecties per token: query (Q), key (K) en value (V). Aandachtsscore = softmax(QK^T / √d) · V. Multi-head: meerdere self-attentions parallel met verschillende projecties, waarna de uitkomsten worden samengevoegd.
Tijdcomplexiteit O(n²) in de reekslengte, de belangrijkste bottleneck bij LLM's met lange context. Optimalisaties: Flash Attention (beter geheugengebruik), Sparse Attention, Sliding Window, GQA en MLA.