标签：DeepNorm

• 
  DeepNorm 与极深 Transformer

  2025-09-11 · ai

  归一化DeepNorm训练稳定性

  DeepNorm 只做两件事：残差乘 α=(2N)^1/2、分支输出乘小系数初始化，却能把 Transformer 稳定训到 1000 层；推导 α 取值的理论依据，看清它本质是 post-LN 的稳定化改造。