标签：NTK
-
NTK 缩放与 YaRN：RoPE 的长度外推方法谱系直接外推 RoPE 会崩（下一篇拆机制），插值全部维度又浪费局部精度。NTK 缩放通过改底数实现"高频不动、低频压缩"的平滑过渡；YaRN 把这条思路做成显式的分段斜坡加注意力温度修正，成了主流长上下文方案。这篇推两者的公式与动机。
直接外推 RoPE 会崩（下一篇拆机制），插值全部维度又浪费局部精度。NTK 缩放通过改底数实现"高频不动、低频压缩"的平滑过渡；YaRN 把这条思路做成显式的分段斜坡加注意力温度修正，成了主流长上下文方案。这篇推两者的公式与动机。