Multi-head latent attention（MLA）
キーとバリューをヘッドごとに丸ごとキャッシュする代わりに、小さな潜在ベクトルへ圧縮するアテンション構造（DeepSeek、2024年）。KVキャッシュをGQAよりさらに小さくでき、DeepSeekの推論コストの低さを支える要の一つ。
発想はこうだ。MHAのようにフルサイズのKとVを保存するのでも、GQAのようにヘッドを共有するのでもなく、MLAはKとVを共有の低ランクな「潜在」表現へ射影してそれをキャッシュし、必要になったときにフルサイズのK/Vを復元する。結果としてKVキャッシュが大幅に小さくなり（DeepSeekはMHAより桁違いに小さいと報告している）、コンテキストを長くでき、スループットも上がり、メモリコストも下がる。しかもモデルの品質は保たれる。DeepSeekのモデルが異例の低コストで動いた理由の一つだ。KVヘッドの数を減らすGQAとは異なり、MLAは低ランク射影でKVの中身そのものを圧縮する。2024年に特に注目されたアーキテクチャ上の進歩の一つである。