アテンション機構
入力のうち関連する部分に焦点を当てるニューラルネットワークの仕組み。2014年にバフダナウらが翻訳向けに導入し、2017年にヴァスワニらが自己注意へ一般化してTransformerが生まれた。
数学的な核は softmax(QK^T / √d) · V だ。Q（クエリ）、K（キー）、V（バリュー）は入力の線形射影である。マルチヘッドアテンションは複数のヘッドを並列に走らせる。古典的な弱点は、系列長に対する二乗の計算量で、効率的なアテンション（Flash Attention、スパースアテンション、線形アテンション、代替としてのMamba/SSM）の研究が盛んだ。クロスアテンションは二つの系列（エンコーダ・デコーダ）をつなぎ、自己注意は同じ系列を自分自身とつなぐ。