Flash Attention

2022年にTri Daoが発表した。肝は、N×Nのアテンション行列を低速なGPUメモリ上に実体化しないことにある。これで長いコンテキストウィンドウが現実的になった。v2、v3でさらに最適化が進み、いまや本格的なLLM学習スタックでは標準である。