FlashAttention-2
Bellek açısından verimli dikkat (attention) uygulaması. Tri Dao, 2023 (FA-1: 2022). Öz-dikkati, daha iyi bir GPU bellek erişim örüntüsü (HBM ↔ SRAM) için yeniden formüle eder. Saf dikkate kıyasla eğitimde 2-4 kat hızlı, 4-8 kat daha az bellek tüketimi.
FA-1'e göre temel düzeltme: iş parçacığı blokları arasında daha iyi iş bölümü ve matris çarpımı dışı daha az işlem. Modern LLM eğitim yığınlarında (HuggingFace, Megatron, PyTorch) standarttır. FA-3 (2024): Hopper'a özgü (H100); eşzamansız komutlar ve düşük hassasiyet (FP8) sayesinde FA-2'den 1,5-2 kat hızlı. Bellek yetmezliğine düşmeden 32K+ bağlam penceresiyle eğitimi mümkün kılar. Tri Dao daha sonra ürünleştirmek için Together AI'a geçti. Modern LLM çıkarımında da (vLLM, TGI) standart yapı taşıdır.