分类：AI 大模型
学习路径：由浅入深，按顺序阅读效果最好（共 147 篇）
-
81. 位置插值 PI 的原理与代价PI（Position Interpolation）把位置刻度整体除以 s，让扩展后的上下文挤回 RoPE 训练过的相位范围。代价是相位差被压缩 s 倍：高频维的局部分辨率直接损失，这就是"变糊"的定量来源。这篇推 PI 的数学、它为什么必须微调、以及它和 NTK/YaRN 的恩怨。
-
82. LongRoPE：搜索出来的非均匀插值NTK/YaRN 假设维度的重要性随波长单调变化，LongRoPE 不信这个假设：用演化搜索逐维度组找各自的插值比，局部维度几乎不插值，再配合两阶段渐进扩展把 LLaMA2-7B 推到 2048k。这篇讲它的搜索问题怎么定义、为什么非均匀是本质改进，以及搜索得到的谱线长什么样。
-
83. RoPE 外推的高频失效分析直接外推 RoPE 时注意力打分变成 Σ|q||k|cos(Δθᵢ+φ) 的无约束组合：波长 ≳L 的维度相位从未见过、贡献系统性错误，波长远大于 L 的维度相对距离信息丢失。这篇把"哪里先坏"拆到单维度层面，这也是 NTK/YaRN 只压低频的理论根据。
-
84. 二维 RoPE 与多模态位置一维 RoPE 向图像/视频的自然推广是按轴拆分：head dim 切成几段，x、y（视频还有 t）各自用一段做独立旋转，打分内积只依赖 (Δx, Δy) —— 二维平移不变性由结构免费获得。这篇推轴向二维 RoPE 的形式，以及 Qwen2-VL 的 M-RoPE 三段式怎么解决图文混排。
-
85. NoPE 实验：不要位置编码行不行把位置编码整个删掉，模型还能不能感知顺序？Kazemnejad et al. 2023 的 NoPE 实验给出了反直觉的答案：causal mask 本身就泄露位置信息——但只泄露「前缀长度」这一种。
-
86. RoPE 的唯一性讨论：相对位置的函数方程视角为什么「相对位置 + 线性编码 + 保范」几乎唯一地指向旋转矩阵？把要求写成函数方程 f(q,m)ᵀf(k,n)=g(q,k,m−n)，求解过程本身就是答案。
-
87. 位置编码与注意力分辨率的极限位置编码给每个距离分配的「区分度」是有预算的：RoPE 的相位导数随频率线性衰减，超出一定距离后相邻距离在 logits 上不可分辨。这篇算这笔分辨率账。
-
88. 滑动窗口与 RoPE 的交互：窗口内一致性的得与失滑窗让 RoPE 的相对位置永远落在训练分布内，KV 淘汰也天然安全；但窗口尺寸变更、混合层 cache 语义、流式切块三个场景各自有坑。
-
89. 解耦 RoPE：MLA 与位置信息的冲突及 DeepSeek 的解法MLA 靠把 W^{UK} 吸进投影矩阵省 cache，但 RoPE 的逐位置旋转挡在吸收路径上。DeepSeek-V2 的解耦 RoPE 用一条小维度位置通道化解了这个结构性冲突。
-
90. 位置编码的频域分析：把 PE 统一成核函数的谱正弦 PE、RoPE、ALiBi 看似三家方案，在频域里是同一个对象的三次取值：每种 PE 都定义一个关于距离的平稳核，核的傅里叶谱决定它能表达什么样的位置函数。
-
91. 训练长度与外推长度的鸿沟：长程依赖真的被学到了吗RoPE 缩放能让 4k 训练的模型在 128k 上困惑度不炸，但远距离检索任务照样崩——外推修的是位置编码的定义域，不是长程依赖的能力。这篇拆开这两件事。
-
92. 位置编码选型决策表：从约束到方案的推导路径没有最好的位置编码，只有约束下的推导：从头训还是微调、要多长、什么任务、KV cache 预算多少。这篇把前面 19 篇的结论压成一棵决策树和一张表。
-
93. RMSNorm vs LayerNorm：去均值化到底要不要LayerNorm 做减均值除方差两件事，RMSNorm 只做缩放一件；从不变性角度分析两者差别，解释 RMSNorm 为什么够用且更快。
-
94. BatchNorm 为什么在 Transformer 里消失了BN 靠 batch 统计量归一化，在 CNN 里是正则化神器；换到变长序列 + 小 batch 的 LLM 场景，统计量本身变成噪声源和耦合源。逐样本归一化的 LN 胜出不是审美选择，是约束倒逼。
-
95. 归一化的梯度流分析：LayerNorm 凭什么稳住深层网络LayerNorm 的反向不是简单缩放：它的雅可比是一个投影矩阵，把梯度中沿激活方向和均值方向的两个分量剥掉，顺手提供 1/σ 的负反馈。深层网络能训到几百层，靠的就是这个投影。
-
96. pre-LN 架构下残差流的量级增长pre-LN 把归一化移进分支，换来稳定的梯度，代价是残差主干上没有任何东西约束范数；推一遍经过 L 层累加后残差流向量范数随深度增长的定量规律，以及模型在输出端如何接住这个增长。
-
97. post-LN 的梯度消失机制post-LN 把 LayerNorm 压在残差主干上，归一化的雅可比把梯度中沿归一化向量的分量逐层吃掉；定量估计每层的收缩因子，解释为什么深层参数的梯度会被压制几个数量级。
-
98. GeLU 的推导：ReLU 的概率化软化GeLU 不是拍出来的光滑曲线：它等价于"随机门控 ReLU"在输入服从标准正态时的期望，高斯 CDF 的出现是概率建模的必然结果；给出完整推导与 tanh 近似，并解释非单调性带来的行为差异。
-
99. SwiGLU：门控线性单元为什么成为主流SwiGLU 把 FFN 从"投影-激活-投影"改成两个分支相乘的门控结构，三个矩阵多出的参数换来了逐通道的内容选择；推导 GLU 家族的来历、hidden size 的 8/3 账本，以及它与 FFN 键值记忆假说的呼应。
-
100. ReLU 死亡问题与初始化ReLU 负半轴梯度恒为零，一个神经元一旦整体滑入负区就永久失活；从 pre-activation 分布推死亡概率，解释 Kaiming 初始化为什么恰好对症，以及大模型里死神经元为什么换了形态依然存在。