标签：归一化
-
RMSNorm vs LayerNorm：去均值化到底要不要LayerNorm 做减均值除方差两件事，RMSNorm 只做缩放一件；从不变性角度分析两者差别，解释 RMSNorm 为什么够用且更快。
-
LayerNorm 的反向传播推导：均值-方差耦合带来的三项修正完整推导 LayerNorm 的反向梯度：均值与方差都依赖输入，VJP 因此多出两项投影修正，最终梯度是"去均值、去方向"后的缩放版本。
-
归一化的梯度流分析：LayerNorm 凭什么稳住深层网络LayerNorm 的反向不是简单缩放：它的雅可比是一个投影矩阵，把梯度中沿激活方向和均值方向的两个分量剥掉，顺手提供 1/σ 的负反馈。深层网络能训到几百层，靠的就是这个投影。
-
归一化摆放位置的其他变体pre-LN 与 post-LN 之间不只有 DeepNorm 一种折中：sandwich LN、peri-LN、ResiDual 等变体各自在梯度通路与有效深度之间找平衡点；梳理这些方案的改法、动机与实测表现。
-
BatchNorm 为什么在 Transformer 里消失了BN 靠 batch 统计量归一化，在 CNN 里是正则化神器；换到变长序列 + 小 batch 的 LLM 场景，统计量本身变成噪声源和耦合源。逐样本归一化的 LN 胜出不是审美选择，是约束倒逼。
-
pre-LN 与 post-LN 的稳定性差异同一个 Transformer block，LN 摆在子层前面（pre）还是后面（post），训练稳定性天差地别：post-LN 深了就梯度消失，pre-LN 有梯度高速公路但深层输出失控。这篇用 LN 的雅可比把两边的机制都推出来，说清楚为什么现代模型选 pre-LN、以及它欠的债用什么还。
-
pre-LN 架构下残差流的量级增长pre-LN 把归一化移进分支，换来稳定的梯度，代价是残差主干上没有任何东西约束范数；推一遍经过 L 层累加后残差流向量范数随深度增长的定量规律，以及模型在输出端如何接住这个增长。
-
归一化的不变性与尺度解耦LayerNorm/RMSNorm 对缩放不变的参数有 ∇f·w=0 的几何性质，权重衰减因此变成隐式学习率调度；推导尺度不变参数的有效学习率公式，解释为什么这类网络对 weight decay 异常敏感。
-
权重衰减与有效学习率：归一化层的尺度不变性让 WD 变成另一种学习率加了 LayerNorm/RMSNorm 之后，权重乘任意正数不改变层的输出，函数本身对权重范数免疫。这导致一个反直觉的结论：对这些"尺度不变参数"，权重衰减并不正则化函数空间，它的真实作用是间接缩放有效学习率。这篇从尺度不变性出发推导参数的径向-切向动力学，解释为什么调 WD 和调 lr 在归一化网络里高度耦合，以及 AdamW 下这个等价关系的具体形式。
-
DeepNorm 与极深 TransformerDeepNorm 只做两件事：残差乘 α=(2N)^1/2、分支输出乘小系数初始化，却能把 Transformer 稳定训到 1000 层；推导 α 取值的理论依据，看清它本质是 post-LN 的稳定化改造。
-
post-LN 的梯度消失机制post-LN 把 LayerNorm 压在残差主干上，归一化的雅可比把梯度中沿归一化向量的分量逐层吃掉；定量估计每层的收缩因子，解释为什么深层参数的梯度会被压制几个数量级。