标签：Muon
-
Muon 优化器：动量的矩阵正交化与 Newton-Schulz 迭代Muon 把 SGD 动量正交化成半正交矩阵再更新，让隐藏层权重的每步更新条件数接近 1。这篇推导它从谱范数信赖域问题出发的更新形式，拆解 Newton-Schulz 五次迭代为什么够用，以及 RMS 缩放系数怎么对齐 Adam 的更新幅度。
Muon 把 SGD 动量正交化成半正交矩阵再更新，让隐藏层权重的每步更新条件数接近 1。这篇推导它从谱范数信赖域问题出发的更新形式，拆解 Newton-Schulz 五次迭代为什么够用，以及 RMS 缩放系数怎么对齐 Adam 的更新幅度。