标签：优化器
-
SGD 动量的物理类比：速度变量的指数平均为什么管用动量法给梯度下降加一个"速度"变量，让参数像带惯性的小球一样滚过 Loss 山谷。这篇从heavy ball 物理模型推出动量更新的离散形式，定量算它对一致方向的加速和对噪声方向的抑制分别是多少，并解释 β=0.9 这个默认值的来历。
-
Adam 的 ε 与数值稳定性：一个小常数的大作用ε=1e-8 看起来是防除零的保险丝，实际它决定了 Adam 在梯度趋零时的渐近行为、给有效学习率设了上限，还悄悄影响稀疏特征的更新节奏。这篇推导 ε 出现的三个场景，量化它该取多大，以及什么时候该主动调大。
-
AdamW：解耦权重衰减，L2 正则为什么在 Adam 里变了味在 Adam 的损失函数里加 L2 正则，并不等于给参数做权重衰减——衰减项被自适应步长除掉了。AdamW 把衰减从梯度里拿出来直接乘在参数上，一行改动换来稳定的正则强度和更好的泛化。这篇推导两种形式到底差在哪，并解释为什么归一化层让 weight decay 等价于学习率衰减。
-
大 batch 的学习率缩放律：linear scaling 与 sqrt scaling 各自的适用区batch size 从 256 扩到 8192，学习率该乘几倍？linear scaling 说乘 32，sqrt scaling 说乘 5.7，答案取决于优化器噪声主导还是曲率主导。这篇从 SGD 噪声尺度的推导出发，给出两条规则的适用边界、临界 batch size 的概念，以及超过临界点后继续加卡为什么不划算。
-
梯度裁剪的机制与阈值选择：全局范数裁剪的几何意义全局范数裁剪把超限梯度整体缩放回球内，保留方向只改幅度。这篇从信赖域几何推导它何时是无害投影、何时在扭曲方向，给出阈值选 1.0 的依据，以及它和 Adam 自适应步长的隐式耦合。
-
权重衰减与有效学习率：归一化层的尺度不变性让 WD 变成另一种学习率加了 LayerNorm/RMSNorm 之后，权重乘任意正数不改变层的输出，函数本身对权重范数免疫。这导致一个反直觉的结论：对这些"尺度不变参数"，权重衰减并不正则化函数空间，它的真实作用是间接缩放有效学习率。这篇从尺度不变性出发推导参数的径向-切向动力学，解释为什么调 WD 和调 lr 在归一化网络里高度耦合，以及 AdamW 下这个等价关系的具体形式。
-
Muon 优化器：动量的矩阵正交化与 Newton-Schulz 迭代Muon 把 SGD 动量正交化成半正交矩阵再更新，让隐藏层权重的每步更新条件数接近 1。这篇推导它从谱范数信赖域问题出发的更新形式，拆解 Newton-Schulz 五次迭代为什么够用，以及 RMS 缩放系数怎么对齐 Adam 的更新幅度。
-
cosine 与 linear decay 的实证对比：末端学习率该不该退到零cosine 衰减把中后期钉在中等学习率、末期快退到零；linear 全程匀速退坡。理论分析说末期低学习率等价于隐式平均迭代，能抹掉噪声；近年实证却说 linear 退到零反而更好，且不必退到零。这篇拆开各自的机制，解释 WSD 梯形调度为什么成为新默认。
-
Adam 的自适应学习率机制：一阶二阶矩估计与偏差修正的推导Adam 用梯度的一阶矩做方向、二阶矩定步长，让每个参数坐标拥有自己的学习率。这篇从"为什么除以 √v"出发，推出 Adam 的完整更新式，讲清偏差修正修的是什么，以及 sign 极限视角如何统一理解 SGD、RMSProp 和 Adam。
-
warmup 为什么必需：训练初期 Adam 二阶矩估计的方差问题学习率 warmup 不是工程迷信：Adam 的二阶矩在训练头几千步既偏又抖，直接把每坐标步长顶到灾难级。这篇定量分析 v̂ 冷启动的偏差与方差，解释为什么偏差修正救不了，以及为什么 bf16 大模型训练把 warmup 从可选变成必选。
-
Lion 与 Sophia：两个挑战 Adam 的新优化器在改什么Lion 把动量插值后取符号，每步更新范数恒定为 η√d；Sophia 用对角 Hessian 的倒数替代 Adam 的二阶矩。两篇论文从相反方向质疑 Adam：前者嫌它记得太多、后者嫌它知道太少。这篇分别推导两者的更新形式、收敛依据和工程代价。