标签：泛化理论
-
大数定律与数据规模效应：为什么数据量压得住过拟合大数定律说样本均值以 1/√N 收敛到期望，Hoeffding 不等式给出不依赖维度的收敛速率。本文把经验风险与期望风险的差距写成 Concentration 不等式，看数据量如何在经典理论里压过拟合，以及这套语言和 scaling law 幂律的关系。
大数定律说样本均值以 1/√N 收敛到期望，Hoeffding 不等式给出不依赖维度的收敛速率。本文把经验风险与期望风险的差距写成 Concentration 不等式，看数据量如何在经典理论里压过拟合，以及这套语言和 scaling law 幂律的关系。