标签：深层网络
-
初始化理论：Xavier 与 Kaiming 的推导，方差守恒的动机网络一深，初始化就从一个"随便设的超参"变成决定训练成败的数值问题：激活方差逐层指数放大或衰减，信号在到达输出之前就已经饱和或消失。Xavier 和 Kaiming 两族初始化分别从方差守恒推出权重方差公式，这篇完整走一遍推导，并说明现代 Transformer 为什么不用它们。
网络一深，初始化就从一个"随便设的超参"变成决定训练成败的数值问题：激活方差逐层指数放大或衰减，信号在到达输出之前就已经饱和或消失。Xavier 和 Kaiming 两族初始化分别从方差守恒推出权重方差公式，这篇完整走一遍推导，并说明现代 Transformer 为什么不用它们。