标签：MAP
-
贝叶斯视角下的正则化：先验即惩罚项L2 正则不是工程玄学，是零均值高斯先验在 MAP 框架下的化身。本文从贝叶斯定理推出先验↔惩罚项的对应表，给出 L2 系数与噪声方差的定量关系，并指出 L2 与 weight decay 在 Adam 下分道扬镳的原因。
L2 正则不是工程玄学，是零均值高斯先验在 MAP 框架下的化身。本文从贝叶斯定理推出先验↔惩罚项的对应表，给出 L2 系数与噪声方差的定量关系，并指出 L2 与 weight decay 在 Adam 下分道扬镳的原因。