标签：二阶方法
-
Lion 与 Sophia：两个挑战 Adam 的新优化器在改什么Lion 把动量插值后取符号，每步更新范数恒定为 η√d；Sophia 用对角 Hessian 的倒数替代 Adam 的二阶矩。两篇论文从相反方向质疑 Adam：前者嫌它记得太多、后者嫌它知道太少。这篇分别推导两者的更新形式、收敛依据和工程代价。
Lion 把动量插值后取符号，每步更新范数恒定为 η√d；Sophia 用对角 Hessian 的倒数替代 Adam 的二阶矩。两篇论文从相反方向质疑 Adam：前者嫌它记得太多、后者嫌它知道太少。这篇分别推导两者的更新形式、收敛依据和工程代价。