标签：pre-LN
-
归一化摆放位置的其他变体pre-LN 与 post-LN 之间不只有 DeepNorm 一种折中：sandwich LN、peri-LN、ResiDual 等变体各自在梯度通路与有效深度之间找平衡点；梳理这些方案的改法、动机与实测表现。
-
pre-LN 架构下残差流的量级增长pre-LN 把归一化移进分支，换来稳定的梯度，代价是残差主干上没有任何东西约束范数；推一遍经过 L 层累加后残差流向量范数随深度增长的定量规律，以及模型在输出端如何接住这个增长。