标签：LayerNorm
-
RMSNorm vs LayerNorm：去均值化到底要不要LayerNorm 做减均值除方差两件事，RMSNorm 只做缩放一件；从不变性角度分析两者差别，解释 RMSNorm 为什么够用且更快。
-
LayerNorm 的反向传播推导：均值-方差耦合带来的三项修正完整推导 LayerNorm 的反向梯度：均值与方差都依赖输入，VJP 因此多出两项投影修正，最终梯度是"去均值、去方向"后的缩放版本。
-
BatchNorm 为什么在 Transformer 里消失了BN 靠 batch 统计量归一化，在 CNN 里是正则化神器；换到变长序列 + 小 batch 的 LLM 场景，统计量本身变成噪声源和耦合源。逐样本归一化的 LN 胜出不是审美选择，是约束倒逼。