标签：残差网络

• 
  pre-LN 架构下残差流的量级增长

  2025-09-26 · ai

  归一化pre-LN残差网络

  pre-LN 把归一化移进分支，换来稳定的梯度，代价是残差主干上没有任何东西约束范数；推一遍经过 L 层累加后残差流向量范数随深度增长的定量规律，以及模型在输出端如何接住这个增长。