标签：数值稳定性
-
缩放点积的 1/√d：方差视角的推导为什么注意力打分要除以 √d？因为 q·k 的方差恰好随 d 线性增长，logits 尺度膨胀会让 softmax 饱和、梯度消失。这篇用方差推导给出这个常数的来源，并讨论为什么不是 1/d。
-
初始化理论：Xavier 与 Kaiming 的推导，方差守恒的动机网络一深，初始化就从一个"随便设的超参"变成决定训练成败的数值问题：激活方差逐层指数放大或衰减，信号在到达输出之前就已经饱和或消失。Xavier 和 Kaiming 两族初始化分别从方差守恒推出权重方差公式，这篇完整走一遍推导，并说明现代 Transformer 为什么不用它们。