"这批数据质量很高，顶三倍普通数据。"训练团队的会议上这类话经常出现，但它到底是什么意思？三倍是指同样 token 数下 loss 更低，还是达到同等 loss 只需要三分之一算力？这篇文章把"质量"写进 scaling law 的参数里，给出可证伪的表述，再讨论过滤与去重各自改变了哪个参数。
把质量写进损失函数
Chinchilla 形式的参数 scaling law 是
$$ L(N, D) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta}, $$
$E$ 是不可约损失（数据的固有熵），$A/N^\alpha$ 是模型太小带来的逼近误差，$B/D^\beta$ 是数据太少带来的估计误差。数据质量的作用可以精确地分解到后两项上：高质量数据的分布更接近目标分布，相当于减小了估计误差的系数 $B$；同时好数据的条件熵本身更低，也会把 $E$ 往下压一点。数学上等效于
$$ L_{\text{filtered}}(N, D) = E' + \frac{A}{N^\alpha} + \frac{B}{c \cdot D^\beta}, \qquad c > 1, $$
其中 $c$ 就是"质量倍数"——$c=3$ 表示一份过滤后的数据在损失函数上等效于 $c$ 份未过滤数据。这个表述的直接推论是：过滤移动的是曲线的横向位置，不是斜率。同样翻一倍数据，过滤前后的 loss 下降量相同，只是过滤后的曲线整体左移 log $c$。所以"高质量数据突破规模上限"的说法是错的——上限 $E$ 由数据的真实信息含量决定，过滤只是让你更快逼近它。
实证里的 c 值有多大
Gemma 技术报告给过一个直接数字：用过滤和去重把 2T token 的语料质量做到"相当于 4 倍规模的未处理数据"，即 $c \approx 4$（这是他们自报口径，外部无法复核）。FineWeb 的对照实验更可复现：同一训练配方下，FineWeb（重过滤）比原始 CommonCrawl 直接训练在下游平均分上高出约 5 个点，折算到 Chinchilla 框架里约 $c \approx 2\text{–}3$。值得注意的是 TinyStories 这个极端反例：只用 2 万词表内的简单故事训出的 10M 参数模型，能做出流畅的语法和一致的人物指代——它说明当分布足够干净（噪声≈0）时，极小数据量就能逼近该分布的 $E$，规模定律里的 $B/D^\beta$ 项小得惊人。
反面同样存在：过度过滤会把 c 打回去。过滤器的误杀是有方向性的——困惑度过滤器偏爱写作规范的文本，会系统性地把口语、方言、代码注释这类"难但有用"的语料砍掉。FineWeb-Edu 的消融显示教育价值过滤在推理基准上多涨几个点，但在部分创意写作评测上回退。质量倍数的对价是分布偏移，$c$ 是相对于"你的目标评测"定义的，没有一个普适的过滤器。
数据受限 scaling：重复的边际收益
质量问题的另一半是"数据不够怎么办"。Muennighoff 等人的数据受限 scaling law 把重复训练写进公式：第 $k$ 次重复 epoch 的数据价值按幂律衰减，
$$ L\big(N, D_{\text{unique}}, R\big) \approx E + \frac{A}{N^\alpha} + \frac{B}{\big(D_{\text{unique}} \cdot f(R)\big)^\beta}, \qquad f(R) \approx \frac{1 - R^{-(1+\delta)}}{1 + \delta} \cdot R, $$
$D_{\text{unique}}$ 是不重复数据量，$R$ 是重复次数，$\delta$ 是衰减指数（拟合值约 0.2–0.6，依领域而异）。核心结论：重复 4 epoch 以内，收益接近线性（$f(R) \approx R$），超过 40 epoch 后基本无效。这给了"高质量小语料"另一条路：如果高质量子集只有 1T token，重复 4 遍等效 4T——比混进等量的低质未过滤数据更划算，只要重复次数压在曲线拐点之内。
这个结论和上一节的 c 值连起来读，就得到配比决策的完整图景：数据不足时，先提高过滤强度（把 c 做大、且让重复不浪费），再考虑引入未过滤的新域（用领域多样性补 $E$ 的下限）。DeepSeek-V3 报告里"中期用高质量数据多训几轮 + 末期退火换配比"的组合，就是这两个旋钮的工程化。
一个测量陷阱
比较两种数据配方时，"等 token 对比"和"等 FLOPs 对比"会给出相反结论。高质量数据通常预处理成本更高（清洗、去重、分类器打分），同样 1T token 的 wall-clock 预算下，过滤版可能只有 0.8T 训练量。公平比较应该用等 FLOPs——把预处理开销折算进去后，FineWeb 级别的过滤仍然是净收益（收益 2–3 倍，成本不到 20%），但轻量场景（小规模 SFT）里这个账可能反过来。报告 c 值时不注明口径，是数据论文里最常见的夸大来源。
小结
"高质量数据等效几倍规模"的严格含义是缩放系数 $c$：过滤把损失函数里估计误差项的 $B$ 除以 $c$，曲线左移 log $c$，斜率和上限 $E$ 都不动。实证 c 值在 2–4 之间，过度过滤会因分布偏移回吐收益；数据受限时重复 4 epoch 内近似无损，与高质量过滤形成互补。比较数据配方必须按等 FLOPs 口径，否则预处理成本会悄悄改写结论。