标签：RoPE
-
RoPE 的唯一性讨论：相对位置的函数方程视角为什么「相对位置 + 线性编码 + 保范」几乎唯一地指向旋转矩阵？把要求写成函数方程 f(q,m)ᵀf(k,n)=g(q,k,m−n)，求解过程本身就是答案。
-
-
RoPE 的基频与波长分布RoPE 每个维度对的角频率 θᵢ = base^(−2i/d) 按对数均匀铺开，本质是复用正弦 PE 的多尺度波长思想。底数 10000 不是惯例而是约束的结果：最长波长要盖过训练上下文。这篇算波长账本，给出选底数的定量判据，再看 Llama-3 把 base 提到 500000 是在优化什么。
-
NTK 缩放与 YaRN：RoPE 的长度外推方法谱系直接外推 RoPE 会崩（下一篇拆机制），插值全部维度又浪费局部精度。NTK 缩放通过改底数实现"高频不动、低频压缩"的平滑过渡；YaRN 把这条思路做成显式的分段斜坡加注意力温度修正，成了主流长上下文方案。这篇推两者的公式与动机。
-
RoPE 外推的高频失效分析直接外推 RoPE 时注意力打分变成 Σ|q||k|cos(Δθᵢ+φ) 的无约束组合：波长 ≳L 的维度相位从未见过、贡献系统性错误，波长远大于 L 的维度相对距离信息丢失。这篇把"哪里先坏"拆到单维度层面，这也是 NTK/YaRN 只压低频的理论根据。
-
二维 RoPE 与多模态位置一维 RoPE 向图像/视频的自然推广是按轴拆分：head dim 切成几段，x、y（视频还有 t）各自用一段做独立旋转，打分内积只依赖 (Δx, Δy) —— 二维平移不变性由结构免费获得。这篇推轴向二维 RoPE 的形式，以及 Qwen2-VL 的 M-RoPE 三段式怎么解决图文混排。
-
LongRoPE：搜索出来的非均匀插值NTK/YaRN 假设维度的重要性随波长单调变化，LongRoPE 不信这个假设：用演化搜索逐维度组找各自的插值比，局部维度几乎不插值，再配合两阶段渐进扩展把 LLaMA2-7B 推到 2048k。这篇讲它的搜索问题怎么定义、为什么非均匀是本质改进，以及搜索得到的谱线长什么样。
-
RoPE 的复数形式与实现技巧RoPE 的实现把 query/key 的维度两两配对看成复数，乘上 e^{imθᵢ} 就完成了一次旋转。复数视角不仅省推导，还直接给出工程上最重要的三个技巧：rotate_half 等价于配对置换、cos/sin 表缓存、复数乘融进 attention kernel。
-
位置插值 PI 的原理与代价PI（Position Interpolation）把位置刻度整体除以 s，让扩展后的上下文挤回 RoPE 训练过的相位范围。代价是相位差被压缩 s 倍：高频维的局部分辨率直接损失，这就是"变糊"的定量来源。这篇推 PI 的数学、它为什么必须微调、以及它和 NTK/YaRN 的恩怨。