标签：post-LN

• 
  post-LN 的梯度消失机制

  2025-05-18 · ai

  归一化post-LN梯度流

  post-LN 把 LayerNorm 压在残差主干上，归一化的雅可比把梯度中沿归一化向量的分量逐层吃掉；定量估计每层的收缩因子，解释为什么深层参数的梯度会被压制几个数量级。