标签：优化理论
-
激活函数的频谱偏差：网络为什么先学低频ReLU 网络拟合目标函数时总是先学低频分量再学高频细节，这个现象叫频谱偏差；从 NTK 本征值随频率衰减给出机制解释，并讨论它对训练策略的启示。
-
归一化的不变性与尺度解耦LayerNorm/RMSNorm 对缩放不变的参数有 ∇f·w=0 的几何性质，权重衰减因此变成隐式学习率调度；推导尺度不变参数的有效学习率公式，解释为什么这类网络对 weight decay 异常敏感。
ReLU 网络拟合目标函数时总是先学低频分量再学高频细节，这个现象叫频谱偏差；从 NTK 本征值随频率衰减给出机制解释，并讨论它对训练策略的启示。
LayerNorm/RMSNorm 对缩放不变的参数有 ∇f·w=0 的几何性质，权重衰减因此变成隐式学习率调度；推导尺度不变参数的有效学习率公式，解释为什么这类网络对 weight decay 异常敏感。