标签：正则化
-
贝叶斯视角下的正则化：先验即惩罚项L2 正则不是工程玄学，是零均值高斯先验在 MAP 框架下的化身。本文从贝叶斯定理推出先验↔惩罚项的对应表，给出 L2 系数与噪声方差的定量关系，并指出 L2 与 weight decay 在 Adam 下分道扬镳的原因。
-
AdamW：解耦权重衰减，L2 正则为什么在 Adam 里变了味在 Adam 的损失函数里加 L2 正则，并不等于给参数做权重衰减——衰减项被自适应步长除掉了。AdamW 把衰减从梯度里拿出来直接乘在参数上，一行改动换来稳定的正则强度和更好的泛化。这篇推导两种形式到底差在哪，并解释为什么归一化层让 weight decay 等价于学习率衰减。
-
权重衰减与有效学习率：归一化层的尺度不变性让 WD 变成另一种学习率加了 LayerNorm/RMSNorm 之后，权重乘任意正数不改变层的输出，函数本身对权重范数免疫。这导致一个反直觉的结论：对这些"尺度不变参数"，权重衰减并不正则化函数空间，它的真实作用是间接缩放有效学习率。这篇从尺度不变性出发推导参数的径向-切向动力学，解释为什么调 WD 和调 lr 在归一化网络里高度耦合，以及 AdamW 下这个等价关系的具体形式。