标签：激活函数
-
ReLU 死亡问题与初始化ReLU 负半轴梯度恒为零，一个神经元一旦整体滑入负区就永久失活；从 pre-activation 分布推死亡概率，解释 Kaiming 初始化为什么恰好对症，以及大模型里死神经元为什么换了形态依然存在。
-
激活函数的频谱偏差：网络为什么先学低频ReLU 网络拟合目标函数时总是先学低频分量再学高频细节，这个现象叫频谱偏差；从 NTK 本征值随频率衰减给出机制解释，并讨论它对训练策略的启示。
-
GeLU 的推导：ReLU 的概率化软化GeLU 不是拍出来的光滑曲线：它等价于"随机门控 ReLU"在输入服从标准正态时的期望，高斯 CDF 的出现是概率建模的必然结果；给出完整推导与 tanh 近似，并解释非单调性带来的行为差异。
-
SwiGLU：门控线性单元为什么成为主流SwiGLU 把 FFN 从"投影-激活-投影"改成两个分支相乘的门控结构，三个矩阵多出的参数换来了逐通道的内容选择；推导 GLU 家族的来历、hidden size 的 8/3 账本，以及它与 FFN 键值记忆假说的呼应。