FlashAttention-2
Implementación de atención eficiente en memoria. Tri Dao, 2023 (FA-1 en 2022). Reformula la self-attention para un mejor patrón de acceso a memoria en la GPU (HBM ↔ SRAM). Entrenamiento 2-4 veces más rápido, 4-8 veces menos memoria que la atención ingenua.
Corrección clave respecto a FA-1: mejor reparto de trabajo entre los bloques de hilos, menos operaciones que no son multiplicación de matrices. Estándar en los stacks modernos de entrenamiento de LLM (HuggingFace, Megatron, PyTorch). FA-3 (2024): específico para Hopper (H100), 1,5-2 veces más rápido que FA-2 gracias a instrucciones asíncronas y baja precisión (FP8). Permite entrenar con ventanas de contexto de 32K+ sin quedarse sin memoria. Tri Dao pasó después a Together AI para comercializarlo. También es un componente estándar en la inferencia moderna de LLM (vLLM, TGI).