标签：稀疏注意力
-
稀疏注意力谱系：从 Longformer 到 BigBird把注意力矩阵的大部分位置置零就能压复杂度，但随便置零会把表达能力一起丢掉。BigBird 给出关键结果：窗口 + 全局 + 少量随机边的稀疏图，保持全连接的图论性质（常数直径、良好扩展性），稀疏注意力因此仍是序列 universal 函数逼近器。这篇梳理谱系并推导这个结果。
-
滑动窗口注意力与全局 token语言的局部性让注意力矩阵天然带状化：只算窗口内的交互就把复杂度压到 O(n·w)。但纯窗口丢掉全局信息，Longformer 的答案是少数"全局 token"——这篇推导窗口注意力的复杂度账，讲清全局 token 怎么补全局性，以及它给系统实现留下的麻烦。