标签：长度外推
-
可学习位置嵌入的局限BERT/GPT-2 时代的可学习绝对位置嵌入本质是一张查表：每个位置一个自由向量。它在训练区间内够用，但表外位置既没有结构约束也没有梯度信号，距离泛化和长度外推一起失效——这篇拆这张表的数学本质，以及它逼出来的相对位置方案。
-
ALiBi：线性偏置的极简方案ALiBi 不给每个位置生成向量，只在注意力 logits 上减一个与距离成正比的偏置：score(i,j) = q·k/√d − s·|i−j|。零位置参数、逐头分配斜率、外推免费。这篇推它的形式、为什么线性函数比查表更适配外推，以及它和 RoPE 的加性/乘性分野。
-
NoPE 实验：不要位置编码行不行把位置编码整个删掉，模型还能不能感知顺序？Kazemnejad et al. 2023 的 NoPE 实验给出了反直觉的答案：causal mask 本身就泄露位置信息——但只泄露「前缀长度」这一种。
-
NTK 缩放与 YaRN：RoPE 的长度外推方法谱系直接外推 RoPE 会崩（下一篇拆机制），插值全部维度又浪费局部精度。NTK 缩放通过改底数实现"高频不动、低频压缩"的平滑过渡；YaRN 把这条思路做成显式的分段斜坡加注意力温度修正，成了主流长上下文方案。这篇推两者的公式与动机。
-
RoPE 外推的高频失效分析直接外推 RoPE 时注意力打分变成 Σ|q||k|cos(Δθᵢ+φ) 的无约束组合：波长 ≳L 的维度相位从未见过、贡献系统性错误，波长远大于 L 的维度相对距离信息丢失。这篇把"哪里先坏"拆到单维度层面，这也是 NTK/YaRN 只压低频的理论根据。
-
LongRoPE：搜索出来的非均匀插值NTK/YaRN 假设维度的重要性随波长单调变化，LongRoPE 不信这个假设：用演化搜索逐维度组找各自的插值比，局部维度几乎不插值，再配合两阶段渐进扩展把 LLaMA2-7B 推到 2048k。这篇讲它的搜索问题怎么定义、为什么非均匀是本质改进，以及搜索得到的谱线长什么样。
-
位置插值 PI 的原理与代价PI（Position Interpolation）把位置刻度整体除以 s，让扩展后的上下文挤回 RoPE 训练过的相位范围。代价是相位差被压缩 s 倍：高频维的局部分辨率直接损失，这就是"变糊"的定量来源。这篇推 PI 的数学、它为什么必须微调、以及它和 NTK/YaRN 的恩怨。