标签：ReLU

• 
  ReLU 死亡问题与初始化

  2026-10-11 · ai

  激活函数ReLU初始化理论

  ReLU 负半轴梯度恒为零，一个神经元一旦整体滑入负区就永久失活；从 pre-activation 分布推死亡概率，解释 Kaiming 初始化为什么恰好对症，以及大模型里死神经元为什么换了形态依然存在。