Flash Attention
Eine clevere Implementierung des Attention-Mechanismus — nutzt den schnellen GPU-Speicher effizient, 2–4× schneller bei identischem Ergebnis.
Tri Dao, 2022. Der Kniff: Die N×N-Attention-Matrix wird nicht im langsamen GPU-Speicher materialisiert. Das machte lange Context Windows praktikabel. v2 und v3 brachten weitere Optimierungen. Heute Standard in jedem ernstzunehmenden LLM-Trainings-Stack.