标签：训练理论
-
SGD 动量的物理类比：速度变量的指数平均为什么管用动量法给梯度下降加一个"速度"变量，让参数像带惯性的小球一样滚过 Loss 山谷。这篇从heavy ball 物理模型推出动量更新的离散形式，定量算它对一致方向的加速和对噪声方向的抑制分别是多少，并解释 β=0.9 这个默认值的来历。
-
cosine 与 linear decay 的实证对比：末端学习率该不该退到零cosine 衰减把中后期钉在中等学习率、末期快退到零；linear 全程匀速退坡。理论分析说末期低学习率等价于隐式平均迭代，能抹掉噪声；近年实证却说 linear 退到零反而更好，且不必退到零。这篇拆开各自的机制，解释 WSD 梯形调度为什么成为新默认。
-
Adam 的自适应学习率机制：一阶二阶矩估计与偏差修正的推导Adam 用梯度的一阶矩做方向、二阶矩定步长，让每个参数坐标拥有自己的学习率。这篇从"为什么除以 √v"出发，推出 Adam 的完整更新式，讲清偏差修正修的是什么，以及 sign 极限视角如何统一理解 SGD、RMSProp 和 Adam。