做预训练数据管线的人迟早要面对一个问题：你倒进训练机的十几万亿 token 里，有版权的内容占多少？答案几乎没人能说清——Common Crawl 本身就是整个公网的快照，而公网的大头是受版权保护的出版物、新闻、书籍扫描和论坛内容。法务在等判例，工程在做预案。这篇不谈法律观点（也谈不了），只整理管线层面有共识的操作口径：语料怎么分级、opt-out 怎么接、合规数据集长什么样。
规则现状：三个法域，三种逻辑
美国：合理使用四要素，等判例。 训练是否 fair use 取决于使用目的、作品性质、使用比例、市场影响的综合判断。美国版权局 2025 年的报告明确了一个中间立场：用受版权内容训练模型本身可能构成合理使用，但模型输出复制了受保护表达就不属于。诉讼仍在进行（纽约时报诉 OpenAI 等），在判决落地前，所有"训练合法"的论断都是赌注。工程含义：美国口径下没有黑名单可接，只能自己评估风险偏好。
欧盟：文本与数据挖掘例外 + opt-out。 DSM 指令（2019/790）第 3、4 条给了 TDM 法定例外，但第 4 条同时赋予权利人"opt-out"权——权利人在线保留权利（machine-readable 方式）的，不能抓。这把合规从"事后辩护"变成了"事前过滤"：你的爬虫和采购流程必须消费并尊重权利声明。工程含义：这是可以写进代码的合规要求，robots 协议和 tdm reservation 标记要在抓取层就解析。
中国：著作权法尚无 TDM 例外。 训练使用作品的合法性论证主要靠"转换性使用"的学理讨论和个案判断，生成式 AI 服务管理暂行办法（2023）要求训练数据"来源合法、不侵权"，实务上依赖数据来源的合同链路和侵权责任分配。工程含义：商业项目的语料采购要留合同和授权链路，纯爬内容的风险评估前置到立项。
语料分级：按可辩护性分四档
工程上可操作的做法是把来源按"出事后能不能拿出依据"分级，管线的每一档走不同的处理路径：
① 公共领域与开放许可（政府公文、古书、CC0/CC-BY 语料如 Wikipedia、Stack Exchange 的 CC-BY-SA 子集）：最干净的一档，操作要点是许可文本随语料一起走——数据集卡片里写明每子集的许可类型，下游使用者才能合规引用。
② 授权采购：近年最显著的行业变化。OpenAI 与新闻集团、Axel Springer、Reddit，Anthropic 与各大内容方的合作，把"语料"从免费资源变成了有价商品。工程要点：合同里的使用范围（能不能蒸馏、能不能转授权给下游微调用户）必须在数据元数据里编码，否则法务条款和实际训练配置会脱节。
③ 灰色地带：最大也最难的一档。操作口径通常包括：过滤付费墙内容（NYT 起诉后，各家管线都加了付费墙检测）、尊重 robots 和 tdm 保留标记、对高记忆化风险的内容（完整书籍扫描、歌词、长新闻特写）做降权或剔除。注意最后一项和去污染、防记忆化是同一套技术——版权合规和防逐字复现的技术手段高度重合，Lee et al. 的去重复研究在版权语境下重新成了合规工具。
④ 明确不可用：盗版书库（如 Library Genesis 类来源的批量书籍）、已知泄露库。这些在高质量语料的灰色市场里常年流通，接入的决策只能是拒绝——没有可辩护性。
opt-out：从协议到管线
DSM 指令之后，opt-out 不再是姿态而是技术要求。机器可读的声明有两个通道：robots.txt 的扩展（如 Disallow 加上 TDM 专用标记，W3C 的 tdmrep 方案）和页面级元数据（HTTP 头或 HTML meta 里的 tdm reservation 字段）。落地到管线：抓取调度器在域名级消费 robots 规则；已抓取的历史数据要按"声明生效时间"重放过滤——用声明发布前的快照算不算合规仍在争论，但声明之后继续用在所有口径下都站不住。几个公开数据集的实践可参考：Common Crawl 提供 robots 解析的元数据，LAION 数据集因 opt-out 处理不及时吃过集体诉讼，后来的版本把声明消费提前到了抓取环节。
数据集文档：合规的最终载体
管线的最后一环是数据出处台账（provenance ledger）。监管和诉讼的共同趋势是要求"说出你的训练数据构成"——欧盟 AI 法案对通用模型明确要求公开训练数据的"足够详细摘要"，美国多起诉讼的取证焦点也是数据管线日志。工程上的对应物：每个数据源进 pipeline 时打上不可变标签（来源、抓取时间、许可类别、opt-out 检查结果、是否授权采购），一路带到数据冻结快照。没有这套台账，事后无论合规与否都无法自证；有了它，法务的每一次问询都能在两小时内给出数据级回答。
小结
版权约束的现状是规则未定型、操作要定型：美国等判例、欧盟把 opt-out 写成了管线义务、中国靠授权链路。工程口径是把语料分四级——公共领域直接用、授权采购按合同、灰色爬取做 opt-out 过滤和付费墙过滤、盗版明确拒绝。opt-out 要消费到抓取层，声明生效后的数据必须重放过滤。最终载体是数据出处台账：每个数据源带着许可、时间、检查结果的标签进快照，这是唯一能在诉讼和监管面前自证的东西。