标签：梯度流
-
pre-LN 与 post-LN 的稳定性差异同一个 Transformer block，LN 摆在子层前面（pre）还是后面（post），训练稳定性天差地别：post-LN 深了就梯度消失，pre-LN 有梯度高速公路但深层输出失控。这篇用 LN 的雅可比把两边的机制都推出来，说清楚为什么现代模型选 pre-LN、以及它欠的债用什么还。
-
post-LN 的梯度消失机制post-LN 把 LayerNorm 压在残差主干上，归一化的雅可比把梯度中沿归一化向量的分量逐层吃掉；定量估计每层的收缩因子，解释为什么深层参数的梯度会被压制几个数量级。