FlashAttention-2
Экономная по памяти реализация внимания (Tri Dao, 2023; FA-1 — 2022). Перестраивает self-attention под доступ к памяти GPU (HBM ↔ SRAM): обучение в 2–4 раза быстрее, памяти уходит в 4–8 раз меньше, чем в наивной версии.
Главное отличие от FA-1 — лучшее распределение работы между блоками потоков и меньше операций, не относящихся к матричному умножению. Это стандарт в современных стеках обучения LLM (HuggingFace, Megatron, PyTorch) и в инференсе (vLLM, TGI). FA-3 (2024) заточен под Hopper (H100) и в 1,5–2 раза быстрее FA-2 за счёт асинхронных инструкций и низкой точности (FP8). Благодаря ему можно обучать на контекстах от 32K без нехватки памяти. Позже Tri Dao перешёл в Together AI, где занялся коммерциализацией.