标签：初始化理论
-
ReLU 死亡问题与初始化ReLU 负半轴梯度恒为零，一个神经元一旦整体滑入负区就永久失活；从 pre-activation 分布推死亡概率，解释 Kaiming 初始化为什么恰好对症，以及大模型里死神经元为什么换了形态依然存在。
-
μP：超参数跨尺度迁移的数学，宽度趋于无穷时的参数化在小模型上调好的学习率，搬到 10 倍宽的大模型上往往直接发散或慢一个数量级——因为标准参数化下最优学习率随宽度漂移。μP 给每种参数（输入、隐藏、输出）指定了随宽度 n 缩放的初始化方差和学习率，让最优超参数在宽度之间保持不变。这篇推导 μP 的谱条件，解释 GPT-3 用它省下的算力从哪来。
-
GeLU 的推导：ReLU 的概率化软化GeLU 不是拍出来的光滑曲线：它等价于"随机门控 ReLU"在输入服从标准正态时的期望，高斯 CDF 的出现是概率建模的必然结果；给出完整推导与 tanh 近似，并解释非单调性带来的行为差异。