Press et al. 2021 年的 ALiBi（Attention with Linear Biases）是位置编码史上最"省"的方案：没有位置向量、没有位置参数，只在打分函数里加一项：
$$ a_{ij} = \frac{q_i^{\top} k_j}{\sqrt{d}} \;-\; s_h \cdot (i - j), \qquad j \le i, $$
$s_h > 0$ 是第 $h$ 个头的斜率。实现就是两行：scores 算完后减一个现成的距离矩阵。这篇讲三件事：形式为什么这么简、斜率怎么分配、它和 RoPE 的本质区别在哪。
动机：对"正弦外推"假设的证伪
ALiBi 论文的第一篇实验报告就做了一件得罪人的事：给 Transformer 换上正弦 PE，直接外推到更长序列，困惑度崩了——Sinusoidal 的"外推假设"（正弦曲线对任意位置有定义，所以应该能外推）被证伪。原因是固定的相位函数和训练时见过的相位区是两回事：超出训练长度后，模型面对的是从没优化过的相位取值（第 5110 篇会专门拆这个机制）。ALiBi 的替代思路是：位置项干脆不依赖内容，用一个对任意距离天然有定义的初等函数——线性函数。
softmax 里的线性偏置 = 指数衰减核
把偏置放进 softmax，逐元素看：
$$ \mathrm{softmax}_j\Big(\frac{q_i^{\top}k_j}{\sqrt{d}} - s(i-j)\Big) = \frac{\exp(q_i^{\top}k_j/\sqrt{d})\cdot e^{-s(i-j)}}{\sum_{j'} \exp(q_i^{\top}k_{j'}^{\vphantom{j}}/\sqrt{d})\cdot e^{-s(i-j')}}\;. $$
线性偏置等价于给注意力分数乘了一个指数衰减核 $e^{-s|i-j|}$：距离每增加 $1/s$，内容项的贡献被乘一次 $e^{-1}\approx0.37$。这个形式有两个好性质。其一，核只依赖 $|i-j|$，天然满足平移不变性——相对性由函数形式保证，不靠训练。其二，对任意大的 $i-j$ 取值良定义且单调，外推到训练没见过的距离时只是衰减得更狠，不会出现查表方案那种"表外随机值"。这和长序列语言建模的先验也吻合：就近依赖远多于远程依赖，距离惩罚本身就是合理先验。
斜率分配：多头 = 多尺度感受野
不同头需要看不同远的地方：句法头看几个字以内，篇章头要看几百字。ALiBi 给每个头一个不同的斜率，取几何序列
$$ s_h = 2^{-8\cdot\frac{h-1}{H-1}},\quad h=1,\dots,H, $$
即头间斜率从 $2^{-8}$（衰减最慢，全局视野）均匀铺到 $2^{-1}$（最快，只看邻近）。$H=16$ 时用这套；更少的头按同一公式取子集。效果上等价于给多头注意力装了一组从窄到宽的感受野——不需要位置编码的分层设计，一个标量就调度了每个头的空间尺度。注意这里和正弦 PE / RoPE 的"多尺度波长"是同构的思想：都是频率轴上的对数铺排，只是 ALiBi 把尺度参数化在衰减率上而不是振荡频率上。
与 RoPE 的分野：加性偏置 vs 乘性调制
两者的位置项都进打分函数、都满足相对性、都外推，但结构地位不同：
$$ \underbrace{a_{ij} = \frac{q_i^{\top}k_j}{\sqrt{d}} - s(i-j)}_{\text{ALiBi：位置项与内容无关，加在打分结果上}},\qquad \underbrace{a_{ij} = \mathrm{Re}\big[\tilde q_i\, \overline{\tilde k_j}\big],\ \ \tilde q_i = q_i e^{i i\theta}}_{\text{RoPE：位置调制内容内积的相位}}. $$
ALiBi 的偏置是常数平移，不管 query/key 内容是什么；RoPE 的旋转改变了 $q,k$ 本身，同样的距离在不同内容上可以放大也可以缩小打分的变化幅度——位置和内容在内积里相乘耦合，表达力高一个量级。代价是 RoPE 要动 Q/K 的表示（实现复杂一点、和 KV cache 有交互），ALiBi 只动 logits。
历史上 MPT-7B/30B、BLOOMZ 用了 ALiBi；LLaMA 系选择 RoPE。到 Gemma 2 出现了有趣的混合：局部层用滑窗+ALiBi 式的短程偏置，全局层用 RoPE，说明两条路线并不互斥，可以按层的职责分工。
小结
ALiBi 的贡献在于把"位置先验"压缩成一个标量，并顺手证明了外推能力可以来自初等函数的解析性质而不是查表。它和 RoPE 的对比是理解位置编码设计空间的最好坐标系：位置信息是加在打分上（加性、与内容解耦）还是乘进表示里（调制、与内容耦合），这个二分基本覆盖了后续所有方案。