标签：二阶优化

• 
  海森矩阵为什么在大模型里几乎不用：二阶信息的成本账

  2025-12-29 · ai

  Hessian二阶优化Gauss-Newton

  牛顿法收敛快但海森矩阵的存储是参数量平方级，7B 模型要 10^20 字节。算完这笔账，再看 Gauss-Newton、Hessian-向量积和 K-FAC 这些折中方案各自保住了什么。