标签：预训练
-
数据去重的三个层次：exact、near 与 semantic 的成本收益账同一份网页可能被爬几十遍，不去重的语料等于把一部分 token 预算花在重复样本上。这篇按 exact → near → semantic 三个层次拆解去重的原理（哈希、MinHash-LSH、嵌入聚类）、各自的去重率和算力成本，给出什么规模该做到哪一层的实操建议。
-
预训练 loss 曲线的读法：尖峰、平台期与发散的诊断手册几万步的预训练里，loss 曲线是唯一的实时体检报告。正常曲线长什么样、突起的尖峰是数据脏了还是精度溢出、平台期是学习率该退还是数据见底了、发散时先回滚还是先降学习率——这篇按"看图 → 归因 → 处置"的顺序给一份现场手册。
-
数据质量与 scaling law 的交互：高质量数据等效于几倍规模「好数据值几倍数据量」不是修辞而是可测量的量：这篇把质量因子嵌进 Chinchilla 式损失函数，解释过滤与去重如何移动 scaling 曲线的截距而非斜率，并用数据受限 scaling law 定量讨论重复数据的边际收益。
-
Chinchilla 定律：token 数与参数量的最优配比是怎么算出来的Chinchilla 用 400 个模型拟合出损失关于参数量 N 与数据量 D 的显式函数，再约束在 FLOPs 预算下求最优配比，得到 N_opt 与 D_opt 都正比于 C^0.5 的结论。这篇把这套计算从头推一遍，并讨论为什么如今的主流模型都在"故意超配数据"。
-
预训练语料配比：代码数据为什么有用网页、代码、数学、多语言各占多少不是拍脑袋，配比本身服从可测量的 scaling 规律。这篇推导混合数据的损失分解，盘点代码数据提升推理能力的证据链，以及 DoReMi 这类自动配比方法的原理与局限。
-
上下文长度课程：从 4k 到 128k 的分阶段延长策略主流长上下文模型几乎没人从第一步就按 128k 训练——注意力成本随长度平方涨、长文数据稀缺、位置编码外推失效是三座大山。这篇给三阶段延长策略算账：各阶段该训多少 token、数据从哪来、为什么结尾要做长度退火。
-
UL2 与混合去噪目标：统一预训练目标的一次系统尝试Google 的 UL2 把 BERT 式去噪、T5 式 span corruption 和 GPT 式因果 LM 放进同一个损失函数，用 sentinel token 做模式切换。这篇推导混合目标的数学形式，拆解三种 denoiser 各自的分工，以及为什么"统一"在后续模型里并没有被原样继承。
-
自回归目标的最大似然本质：next token prediction 到底在优化什么自回归预训练不是工程 trick，而是对语料分布做最大似然估计：从链式法则分解出发，看清 loss 曲线的每一个单位就是语料被压缩后每 token 的编码长度，再讨论 MLE 框架的两个隐含假设如何塑造了今天的 LLM。
-
teacher forcing 的实现细节：标签位移的正确做法与常见错误自回归训练最基础的操作是把序列错一位当标签，但 BOS/EOS 怎么放、mask 怎么对齐、logits 怎么 gather、打包时文档边界怎么隔离，每一步都有真实的踩坑点。这篇把标签位移的正确做法和六种常见错误一次讲清。
-
课程学习在预训练中的应用：先易后难在大模型上是否仍然有效课程学习在经典 ML 里有坚实的理论与实验支持，但放进万亿 token 的预训练里几乎失灵。这篇分析课程起作用的数学条件、为什么自然语言缺乏可靠的难度排序信号，以及在长上下文扩展等少数场景中课程策略仍然有效的例外。
-
许可证与版权对语料的约束：合规数据集的工程现状训练语料里泡着整个互联网的版权内容，而"训练是否构成合理使用"在全球主要法域都没有定论。这篇从工程师视角整理现状：各地区规则差异、数据来源的风险分级、opt-out 机制的落地方式，以及合规数据集的实际做法——不提供法律意见，只提供管线的操作口径。
-
退火阶段：末期提高高质量数据比例的收益来源Llama 3 和 DeepSeek-V3 都在训练末期切换数据配比、收紧学习率，这段只占训练步数几个百分点的退火期贡献了超出比例的收益。这篇从学习率调度与损失景观的几何关系出发，解释退火为什么有效，以及末期数据该怎么选。
-
多语言语料的采样温度：p^(1/T) 背后的最优分配推导网络语料的语言分布极不均衡，直接按自然分布训练会让小语种饿死在数据里。采样温度 p^(1/T) 是经验修正，这篇用约束优化的"水资源分配"推导说明最优采样指数应该长什么样，以及 XLM-R 的 0.3 是怎么落在理论区间里的。
-
packing 与文档边界：序列拼接的效率收益与注意力隔离问题变长文档直接训会浪费大量算力在 padding 上，packing 把多文档拼进一个定长窗口补满利用率。但拼接引入了跨文档注意力污染、位置编码重置、边界 token 预测三个问题。这篇给效率账本和三种边界处理方案的对比。
-
MLM 与自回归的路线之争：BERT 为什么输给了 GPT 范式从目标函数的分解结构出发拆解 BERT 式 MLM 与 GPT 式自回归的本质差异：条件独立假设、100% vs 15% 的有效训练位、有无密度函数，解释为什么 decoder-only 胜出，以及 MLM 在哪些角落仍然活着。
-
cross attention 与 encoder-decoder 之争Transformer 原典是 encoder-decoder 加 cross attention 的双塔结构，GPT 范式却让 decoder-only 统一了江湖。这场更替不是 cross attention 本身输了，而是"两套参数两种预训练目标"的结构性成本输给了规模——这篇按时间线梳理争论的证据。