标签：Adam
-
Adam 的 ε 与数值稳定性：一个小常数的大作用ε=1e-8 看起来是防除零的保险丝，实际它决定了 Adam 在梯度趋零时的渐近行为、给有效学习率设了上限，还悄悄影响稀疏特征的更新节奏。这篇推导 ε 出现的三个场景，量化它该取多大，以及什么时候该主动调大。
-
AdamW：解耦权重衰减，L2 正则为什么在 Adam 里变了味在 Adam 的损失函数里加 L2 正则，并不等于给参数做权重衰减——衰减项被自适应步长除掉了。AdamW 把衰减从梯度里拿出来直接乘在参数上，一行改动换来稳定的正则强度和更好的泛化。这篇推导两种形式到底差在哪，并解释为什么归一化层让 weight decay 等价于学习率衰减。
-
Adam 的自适应学习率机制：一阶二阶矩估计与偏差修正的推导Adam 用梯度的一阶矩做方向、二阶矩定步长，让每个参数坐标拥有自己的学习率。这篇从"为什么除以 √v"出发，推出 Adam 的完整更新式，讲清偏差修正修的是什么，以及 sign 极限视角如何统一理解 SGD、RMSProp 和 Adam。
-
Lion 与 Sophia：两个挑战 Adam 的新优化器在改什么Lion 把动量插值后取符号，每步更新范数恒定为 η√d；Sophia 用对角 Hessian 的倒数替代 Adam 的二阶矩。两篇论文从相反方向质疑 Adam：前者嫌它记得太多、后者嫌它知道太少。这篇分别推导两者的更新形式、收敛依据和工程代价。