标签：位置插值
-
LongRoPE：搜索出来的非均匀插值NTK/YaRN 假设维度的重要性随波长单调变化，LongRoPE 不信这个假设：用演化搜索逐维度组找各自的插值比，局部维度几乎不插值，再配合两阶段渐进扩展把 LLaMA2-7B 推到 2048k。这篇讲它的搜索问题怎么定义、为什么非均匀是本质改进，以及搜索得到的谱线长什么样。
-
位置插值 PI 的原理与代价PI（Position Interpolation）把位置刻度整体除以 s，让扩展后的上下文挤回 RoPE 训练过的相位范围。代价是相位差被压缩 s 倍：高频维的局部分辨率直接损失，这就是"变糊"的定量来源。这篇推 PI 的数学、它为什么必须微调、以及它和 NTK/YaRN 的恩怨。