标签：GeLU

• 
  GeLU 的推导：ReLU 的概率化软化

  2025-11-15 · ai

  激活函数GeLU初始化理论

  GeLU 不是拍出来的光滑曲线：它等价于"随机门控 ReLU"在输入服从标准正态时的期望，高斯 CDF 的出现是概率建模的必然结果；给出完整推导与 tanh 近似，并解释非单调性带来的行为差异。