Auto-attention Self-attention
Mécanisme où chaque jeton d'une séquence « regarde » tous les autres et décide du poids à leur accorder — le cœur de l'expressivité d'un transformer.
Trois projections apprises par jeton : requête (Q), clé (K) et valeur (V). Score d'attention = softmax(QK^T / √d) · V. En multi-tête, on exécute plusieurs auto-attentions en parallèle avec des projections différentes, puis on concatène.
Complexité en O(n²) selon la longueur de la séquence — le principal goulot d'étranglement des LLM à long contexte. Optimisations : Flash Attention (meilleure gestion de la mémoire), attention parcimonieuse, fenêtre glissante, GQA, MLA.