Flash Attention
Implementación astuta del mecanismo de atención — usa con eficiencia la memoria rápida de la GPU, 2–4× más veloz con el mismo resultado.
Tri Dao, 2022. La clave: evitar materializar la matriz de atención N×N en la memoria lenta de la GPU. Hizo posibles las ventanas de contexto largas. Las versiones 2 y 3 trajeron más optimizaciones. Hoy es estándar en cualquier pila seria de entrenamiento de LLM.