标签：SGD
-
SGD 动量的物理类比：速度变量的指数平均为什么管用动量法给梯度下降加一个"速度"变量，让参数像带惯性的小球一样滚过 Loss 山谷。这篇从heavy ball 物理模型推出动量更新的离散形式，定量算它对一致方向的加速和对噪声方向的抑制分别是多少，并解释 β=0.9 这个默认值的来历。
-
从 SGD 的一行更新看深度学习的最小结构θ ← θ − ηĝ 这一行里藏着深度学习的全部最小要素：标量损失、无偏小批量梯度、欧拉离散的梯度流。逐件拆开看它们如何咬合，以及 minibatch 噪声的账本。