分类：AI 大模型
学习路径：由浅入深，按顺序阅读效果最好（共 147 篇）
-
101. 归一化的不变性与尺度解耦LayerNorm/RMSNorm 对缩放不变的参数有 ∇f·w=0 的几何性质，权重衰减因此变成隐式学习率调度；推导尺度不变参数的有效学习率公式，解释为什么这类网络对 weight decay 异常敏感。
-
102. DeepNorm 与极深 TransformerDeepNorm 只做两件事：残差乘 α=(2N)^1/2、分支输出乘小系数初始化，却能把 Transformer 稳定训到 1000 层；推导 α 取值的理论依据，看清它本质是 post-LN 的稳定化改造。
-
103. 归一化摆放位置的其他变体pre-LN 与 post-LN 之间不只有 DeepNorm 一种折中：sandwich LN、peri-LN、ResiDual 等变体各自在梯度通路与有效深度之间找平衡点；梳理这些方案的改法、动机与实测表现。
-
104. 激活函数的频谱偏差：网络为什么先学低频ReLU 网络拟合目标函数时总是先学低频分量再学高频细节，这个现象叫频谱偏差；从 NTK 本征值随频率衰减给出机制解释，并讨论它对训练策略的启示。
-
105. 自回归目标的最大似然本质：next token prediction 到底在优化什么自回归预训练不是工程 trick，而是对语料分布做最大似然估计：从链式法则分解出发，看清 loss 曲线的每一个单位就是语料被压缩后每 token 的编码长度，再讨论 MLE 框架的两个隐含假设如何塑造了今天的 LLM。
-
106. MLM 与自回归的路线之争：BERT 为什么输给了 GPT 范式从目标函数的分解结构出发拆解 BERT 式 MLM 与 GPT 式自回归的本质差异：条件独立假设、100% vs 15% 的有效训练位、有无密度函数，解释为什么 decoder-only 胜出，以及 MLM 在哪些角落仍然活着。
-
107. teacher forcing 的实现细节：标签位移的正确做法与常见错误自回归训练最基础的操作是把序列错一位当标签，但 BOS/EOS 怎么放、mask 怎么对齐、logits 怎么 gather、打包时文档边界怎么隔离，每一步都有真实的踩坑点。这篇把标签位移的正确做法和六种常见错误一次讲清。
-
108. UL2 与混合去噪目标：统一预训练目标的一次系统尝试Google 的 UL2 把 BERT 式去噪、T5 式 span corruption 和 GPT 式因果 LM 放进同一个损失函数，用 sentinel token 做模式切换。这篇推导混合目标的数学形式，拆解三种 denoiser 各自的分工，以及为什么"统一"在后续模型里并没有被原样继承。
-
109. 预训练语料配比：代码数据为什么有用网页、代码、数学、多语言各占多少不是拍脑袋，配比本身服从可测量的 scaling 规律。这篇推导混合数据的损失分解，盘点代码数据提升推理能力的证据链，以及 DoReMi 这类自动配比方法的原理与局限。
-
110. 数据清洗流水线：去重、过滤、脱敏与 MinHash 近重复检测从原始爬取到可训练语料要过语言识别、质量过滤、三级去重、去污染、PII 脱敏五道关。这篇推导 MinHash + LSH 的碰撞概率公式，讲清阈值怎么定，以及每道工序的成本与收益账本。
-
111. 数据质量与 scaling law 的交互：高质量数据等效于几倍规模「好数据值几倍数据量」不是修辞而是可测量的量：这篇把质量因子嵌进 Chinchilla 式损失函数，解释过滤与去重如何移动 scaling 曲线的截距而非斜率，并用数据受限 scaling law 定量讨论重复数据的边际收益。
-
112. 课程学习在预训练中的应用：先易后难在大模型上是否仍然有效课程学习在经典 ML 里有坚实的理论与实验支持，但放进万亿 token 的预训练里几乎失灵。这篇分析课程起作用的数学条件、为什么自然语言缺乏可靠的难度排序信号，以及在长上下文扩展等少数场景中课程策略仍然有效的例外。
-
113. 退火阶段：末期提高高质量数据比例的收益来源Llama 3 和 DeepSeek-V3 都在训练末期切换数据配比、收紧学习率，这段只占训练步数几个百分点的退火期贡献了超出比例的收益。这篇从学习率调度与损失景观的几何关系出发，解释退火为什么有效，以及末期数据该怎么选。
-
114. 领域适配的 continue pretrain 配比：混入通用数据防止遗忘在法律、医疗、金融这类垂直领域做 continue pretrain，配比决定成败：全领域数据会遗忘通用能力，纯通用数据又学不到领域。这篇推导混合配比的损失分解，盘点 Don't Stop Pretraining 以来的证据，给出可操作的配比起点与验收标准。
-
115. 合成数据的边界：model collapse 与自产自销数据的退化机制用模型自己生成的数据训下一代模型，表面上省钱，数学上却是分布向均值收缩的递归过程。这篇推导 model collapse 的高斯玩具模型，区分"尾部消失"与"全部退化"两个阶段，再讨论合成数据真正安全的用法。
-
116. Chinchilla 定律：token 数与参数量的最优配比是怎么算出来的Chinchilla 用 400 个模型拟合出损失关于参数量 N 与数据量 D 的显式函数，再约束在 FLOPs 预算下求最优配比，得到 N_opt 与 D_opt 都正比于 C^0.5 的结论。这篇把这套计算从头推一遍，并讨论为什么如今的主流模型都在"故意超配数据"。
-
117. 数据去重的三个层次：exact、near 与 semantic 的成本收益账同一份网页可能被爬几十遍，不去重的语料等于把一部分 token 预算花在重复样本上。这篇按 exact → near → semantic 三个层次拆解去重的原理（哈希、MinHash-LSH、嵌入聚类）、各自的去重率和算力成本，给出什么规模该做到哪一层的实操建议。
-
118. 多语言语料的采样温度：p^(1/T) 背后的最优分配推导网络语料的语言分布极不均衡，直接按自然分布训练会让小语种饿死在数据里。采样温度 p^(1/T) 是经验修正，这篇用约束优化的"水资源分配"推导说明最优采样指数应该长什么样，以及 XLM-R 的 0.3 是怎么落在理论区间里的。
-
119. 上下文长度课程：从 4k 到 128k 的分阶段延长策略主流长上下文模型几乎没人从第一步就按 128k 训练——注意力成本随长度平方涨、长文数据稀缺、位置编码外推失效是三座大山。这篇给三阶段延长策略算账：各阶段该训多少 token、数据从哪来、为什么结尾要做长度退火。
-
120. packing 与文档边界：序列拼接的效率收益与注意力隔离问题变长文档直接训会浪费大量算力在 padding 上，packing 把多文档拼进一个定长窗口补满利用率。但拼接引入了跨文档注意力污染、位置编码重置、边界 token 预测三个问题。这篇给效率账本和三种边界处理方案的对比。