标签：数据并行
-
梯度累积与有效 batch size：显存换批量的等价性边界显存装不下目标 batch size 时，梯度累积把 k 个 micro-batch 的梯度加起来再走一步优化器，数学上近似等价于大 batch 训练。这篇推导这个等价的条件，拆解归一化方式、梯度裁剪、BN 统计量三个最常踩的坑，并说明它和多卡数据并行的组合关系。
显存装不下目标 batch size 时，梯度累积把 k 个 micro-batch 的梯度加起来再走一步优化器，数学上近似等价于大 batch 训练。这篇推导这个等价的条件，拆解归一化方式、梯度裁剪、BN 统计量三个最常踩的坑，并说明它和多卡数据并行的组合关系。