セルフアテンション（Self-attention）
系列内の各トークンが他のすべてのトークンを「見て」、それぞれにどれだけ重みを置くかを決める仕組み。Transformerの表現力の中核である。
トークンごとに学習済みの射影を三つ用意する。クエリ（Q）、キー（K）、バリュー（V）である。注意スコアは softmax(QK^T / √d) · V で求める。マルチヘッドでは、異なる射影を持つセルフアテンションを並列に走らせ、結果を連結する。
計算量は系列長 n に対してO(n²)で、長いコンテキストを扱うLLMの最大のボトルネックになっている。対策としてFlash Attention（メモリ処理の改善）、Sparse Attention、Sliding Window、GQA、MLAなどがある。