标签：长文本
-
稀疏注意力谱系：从 Longformer 到 BigBird把注意力矩阵的大部分位置置零就能压复杂度，但随便置零会把表达能力一起丢掉。BigBird 给出关键结果：窗口 + 全局 + 少量随机边的稀疏图，保持全连接的图论性质（常数直径、良好扩展性），稀疏注意力因此仍是序列 universal 函数逼近器。这篇梳理谱系并推导这个结果。
-
线性注意力：用核函数视角把 O(n²) 降到 O(n)softmax(q·k) 是点积上的指数核，换成可分解的特征映射 φ，就能用矩阵乘法结合律把 (QKᵀ)V 改写成 Q(KᵀV)，O(n²) 直接降为 O(n)。这篇推导改写过程、盘点常用 φ 的取舍，并说明递归形式与表达能力代价。
-
滑动窗口注意力与全局 token语言的局部性让注意力矩阵天然带状化：只算窗口内的交互就把复杂度压到 O(n·w)。但纯窗口丢掉全局信息，Longformer 的答案是少数"全局 token"——这篇推导窗口注意力的复杂度账，讲清全局 token 怎么补全局性，以及它给系统实现留下的麻烦。