FlashAttention-2
Implémentation de l'attention économe en mémoire. Tri Dao, 2023 (FA-1 : 2022). Reformule la self-attention pour un meilleur schéma d'accès mémoire du GPU (HBM ↔ SRAM). Entraînement 2 à 4 fois plus rapide, consommation mémoire 4 à 8 fois moindre qu'une attention naïve.
Correctif clé par rapport à FA-1 : un meilleur partage du travail entre blocs de threads et moins d'opérations hors multiplication matricielle. Devenue standard dans les piles d'entraînement de LLM modernes (HuggingFace, Megatron, PyTorch). FA-3 (2024) cible Hopper (H100) et va 1,5 à 2 fois plus vite que FA-2 grâce aux instructions asynchrones et à la basse précision (FP8). Rend possible l'entraînement avec des fenêtres de contexte de 32K et plus sans dépassement de mémoire. Tri Dao a ensuite rejoint Together AI pour commercialiser l'ensemble. Brique standard de l'inférence moderne (vLLM, TGI) également.