深度学习实践里"数据越多越好"是条不用论证的经验，但这条经验的理论根基值得拆开看：它到底在什么条件下成立，收敛多快，以及为什么经典理论的指数界和实测的幂律衰减少对不上账。答案的入口是概率论里最老的定理之一——大数定律，以及它带误差界的形式，集中不等式（concentration inequality）。
大数定律与 1/√N：随机性的系统退场
设 $X_1,\dots,X_N$ 是独立同分布样本，均值 $\mu=\mathbb{E}[X]$。大数定律说样本均值 $\bar X_N=\frac1N\sum_i X_i$ 依概率收敛到 $\mu$；中心极限定理给出收敛的形状：$\sqrt{N}(\bar X_N-\mu)\xrightarrow{d}\mathcal{N}(0,\sigma^2)$。两件事合起来的工程读法：误差以 $1/\sqrt{N}$ 的速度稳定收缩，且收缩速率只由方差决定，与 $X$ 的维度无关。
$1/\sqrt{N}$ 是个耐人寻味的速率：样本翻 100 倍，误差才小 10 倍。它解释了数据规模效应的一个不对称——数据从 1k 涨到 100k 是百倍投入，期望意义上的收益只是误差条缩小一个数量级。但也正因为它与维度无关，高维问题才有救：确定性积分方法在高维下误差随维度指数恶化，随机估计不会。
从样本均值到泛化界
把大数定律接到机器学习上，只需认出经验风险就是样本均值。期望风险 $R(h)=\mathbb{E}_{(x,y)\sim\mathcal{D}}[\ell(h(x),y)]$ 是目标，经验风险 $\hat R_N(h)=\frac1N\sum_i\ell(h(x_i),y_i)$ 是它的样本均值。单个假设上，Hoeffding 不等式直接给出二者差距的指数尾界：若损失有界（不失一般性设 $\ell\in[0,1]$），则
$$ P\big(|\hat R_N(h)-R(h)|\ge\varepsilon\big)\le 2\exp(-2N\varepsilon^2). $$
反解出可信度 $1-\delta$ 下的界：
$$ |\hat R_N(h)-R(h)|\le\sqrt{\frac{\ln(2/\delta)}{2N}}. $$
$N$ 在分母的平方根里——数据量以 $1/\sqrt{N}$ 压经验误差的噪声，与上一节的收敛速率同源。
但这个界只对固定的、事先选定的 $h$ 成立。训练的过程是从假设空间 $\mathcal{H}$ 里挑 $\hat h$——挑那个经验风险最小的——而"挑最小"这个动作让经验风险产生系统性乐观偏差：$\mathbb{E}[\hat R(\hat h)]$ 低于 $\min_h R(h)$，差距就是过拟合的量。要控制它，得对整个假设空间一起算概率。用 union bound：若 $|\mathcal{H}|$ 有限，
$$ P\big(\exists h:\ |\hat R_N(h)-R(h)|\ge\varepsilon\big)\le 2|\mathcal{H}|\exp(-2N\varepsilon^2), $$
反解：
$$ \sup_{h\in\mathcal{H}}|\hat R_N(h)-R(h)|\le\sqrt{\frac{\ln|\mathcal{H}|+\ln(2/\delta)}{2N}}. $$
假设空间的对数规模与数据量直接对垒：$\ln|\mathcal{H}|$ 是模型复杂度的记账单位，$N$ 是数据的记账单位，泛化差距由二者之比决定。无限假设空间（神经网络当然是）用 VC 维度或 Rademacher 复杂度替下 $\ln|\mathcal{H}|$，账本的结构不变：复杂度项除以 $N$ 的平方根。
这条线的实用推论有三个。其一，数据量以平方根进入界，所以"再加一倍数据"的边际收益恒在递减，但永不为零——不存在"数据已经足够"的理论点。其二，模型复杂度每翻一倍（$\ln|\mathcal{H}|$ 加 $\ln 2$），需要的样本只多一个常数倍，这是 log 级别的温和——参数多不必然过拟合，数据跟得上就行。其三，界里没有任何关于优化难度的内容：它假设你找到了经验风险最小者，深度学习里这个假设经常不成立，而实践里优化误差和泛化误差常常互相抵消，这是经典理论解释不了的部分。
与 scaling law 对账：指数界 vs 幂律
经典理论给 $1/\sqrt{N}$，实测的预训练 loss 曲线却是幂律 $L(N)=L_\infty+cN^{-\alpha}$，$\alpha$ 常在 0.05 到 0.1 之间——比 $1/\sqrt{N}$ 慢得多，但持续得更久。这两个描述不矛盾，因为它们说的是不同对象。Hoeffding 界是最坏情形的保证：它对任何数据分布、任何损失函数都成立，用到的是分布的支撑界（$[0,1]$）而非任何形状信息。幂律是典型情形的实测：真实语料有重尾、有结构、有冗余，经验误差的实际收敛由数据分布的有效复杂度决定，而非最坏情形。理论界的 $\sqrt{\ln(1/\delta)}$ 依赖也提示了这点：以 $1-10^{-4}$ 可信度成立的 worst-case 界，和"典型训练 run 的经验曲线"之间隔着几个数量级的松弛。
另一条连接更微妙：幂律的 $L_\infty$ 是数据无限时的残余 loss（不可约的标注噪声 + 数据内在熵），$N^{-\alpha}$ 是可约部分。大数定律管的是可约部分——它保证随机涨落被平均掉，但不保证 $L_\infty$ 以上的结构能被学到；那是表达能力（模型容量）的事。Chinchilla 章节会把 $N$（数据）和 $D$（参数量）放进同一个最优配比公式，这里的账本是对它的单变量切片。
小结
大数定律经 Hoeffding 不等式变成可操作的泛化界：经验风险以 $1/\sqrt{N}$ 收敛到期望风险，假设空间的复杂度（$\ln|\mathcal{H}|$ 或其连续类比）与 $N$ 在界的分子分母上对垒。数据压过拟合的机制由此显形——不是数据有什么神奇正则效果，而是样本均值把随机涨落平均掉，留下的差距只剩模型复杂度项。实测 scaling law 的幂律指数小于 $1/2$ 并不推翻理论：最坏情形界和典型情形行为隔着分布形状的松弛，两条描述各管一段。下一章进入 Tokenizer：数据进模型前的第一道压缩工序。