クロスアテンション
クエリは一方の系列から、キーとバリューは別の系列から取るアテンション。モデルが自分自身以外のものを条件に出力できるようにする仕組みである。
セルフアテンションでは系列が自分自身を見るが、クロスアテンションでは外を見る。もともとはTransformerのデコーダにあり、翻訳を1語ずつ生成しながら原文全体を参照できるようにしていた。今日の最も重要な用途は条件付き生成だ。Stable Diffusionでは、テキストプロンプトが画像のノイズ除去を導くのがクロスアテンションを通してであり、マルチモーダルモデルでは画像や音声の表現を言語モデルに取り込む手段になっている。計算としてはセルフアテンションと同一で、違いは行列の出どころだけである。