FlashAttention-2
メモリ効率に優れたアテンション実装。2023年にTri Daoが発表（FA-1は2022年）。GPUのメモリアクセス（HBM ↔ SRAM）に合わせてセルフアテンションを組み直し、素朴な実装より学習が2〜4倍速く、メモリ消費は4〜8分の1になる。
FA-1からの主な改良は、スレッドブロック間の作業分割の改善と、行列積以外の演算の削減である。現代のLLM学習基盤（HuggingFace、Megatron、PyTorch）では標準になっている。2024年のFA-3はHopper（H100）専用で、非同期命令と低精度（FP8）によりFA-2より1.5〜2倍速い。32K以上のコンテキスト長でもメモリ不足にならずに学習できるのはこのおかげだ。その後Tri DaoはTogether AIに移り、事業化を進めている。vLLMやTGIなどの推論基盤でも標準的な部品である。