标签：CUDA
-
FlashAttention-2/3 的改进点：把 IO 收益榨干FA-1 证明了少搬数据就能赢，FA-2 把循环次序和非矩阵乘开销一起砍掉，FA-3 则吃满 H100 的 TMA 与异步流水线。这篇按"还有多少油水"的顺序拆解三代各自改了什么、为什么。
-
FlashAttention 原理：分块与在线 softmax注意力的瓶颈不是 FLOPs 而是 HBM 访存。这篇从 IO 复杂度推出 FlashAttention 的分块设计，推导在线 softmax 的重缩放公式，并说明反向传播为什么要重算而不是存中间矩阵。