分类：AI 大模型
学习路径：由浅入深，按顺序阅读效果最好（共 147 篇）
-
121. 评测去污染：n-gram 重叠与嵌入相似度两种检测的完整流程GSM8K 的解题过程在 GitHub 上被转载、MMLU 的题目进了维基和教科书——公开基准天生泡在训练语料里。这篇走一遍主流的两条去污染流水线：n-gram 重叠（精确、可解释）与嵌入相似度（抓改写），并讨论阈值怎么定、漏网的那部分怎么办。
-
122. 指令数据的构造：Self-Instruct 的自助扩增与 Evol-Instruct 的演化进化高质量人工指令数据贵且慢，Self-Instruct 用 175 条种子任务让模型自己扩增出 5 万条，Evol-Instruct 再用"演化算子"把简单题变复杂。这篇走一遍两条流水线的机制、各自的多样性瓶颈和过滤设计，以及为什么不能拿基准题当种子。
-
123. 预训练 loss 曲线的读法：尖峰、平台期与发散的诊断手册几万步的预训练里，loss 曲线是唯一的实时体检报告。正常曲线长什么样、突起的尖峰是数据脏了还是精度溢出、平台期是学习率该退还是数据见底了、发散时先回滚还是先降学习率——这篇按"看图 → 归因 → 处置"的顺序给一份现场手册。
-
124. 许可证与版权对语料的约束：合规数据集的工程现状训练语料里泡着整个互联网的版权内容，而"训练是否构成合理使用"在全球主要法域都没有定论。这篇从工程师视角整理现状：各地区规则差异、数据来源的风险分级、opt-out 机制的落地方式，以及合规数据集的实际做法——不提供法律意见，只提供管线的操作口径。
-
125. SGD 动量的物理类比：速度变量的指数平均为什么管用动量法给梯度下降加一个"速度"变量，让参数像带惯性的小球一样滚过 Loss 山谷。这篇从heavy ball 物理模型推出动量更新的离散形式，定量算它对一致方向的加速和对噪声方向的抑制分别是多少，并解释 β=0.9 这个默认值的来历。
-
126. Adam 的自适应学习率机制：一阶二阶矩估计与偏差修正的推导Adam 用梯度的一阶矩做方向、二阶矩定步长，让每个参数坐标拥有自己的学习率。这篇从"为什么除以 √v"出发，推出 Adam 的完整更新式，讲清偏差修正修的是什么，以及 sign 极限视角如何统一理解 SGD、RMSProp 和 Adam。
-
127. AdamW：解耦权重衰减，L2 正则为什么在 Adam 里变了味在 Adam 的损失函数里加 L2 正则，并不等于给参数做权重衰减——衰减项被自适应步长除掉了。AdamW 把衰减从梯度里拿出来直接乘在参数上，一行改动换来稳定的正则强度和更好的泛化。这篇推导两种形式到底差在哪，并解释为什么归一化层让 weight decay 等价于学习率衰减。
-
128. Adam 的 ε 与数值稳定性：一个小常数的大作用ε=1e-8 看起来是防除零的保险丝，实际它决定了 Adam 在梯度趋零时的渐近行为、给有效学习率设了上限，还悄悄影响稀疏特征的更新节奏。这篇推导 ε 出现的三个场景，量化它该取多大，以及什么时候该主动调大。
-
129. Lion 与 Sophia：两个挑战 Adam 的新优化器在改什么Lion 把动量插值后取符号，每步更新范数恒定为 η√d；Sophia 用对角 Hessian 的倒数替代 Adam 的二阶矩。两篇论文从相反方向质疑 Adam：前者嫌它记得太多、后者嫌它知道太少。这篇分别推导两者的更新形式、收敛依据和工程代价。
-
130. Muon 优化器：动量的矩阵正交化与 Newton-Schulz 迭代Muon 把 SGD 动量正交化成半正交矩阵再更新，让隐藏层权重的每步更新条件数接近 1。这篇推导它从谱范数信赖域问题出发的更新形式，拆解 Newton-Schulz 五次迭代为什么够用，以及 RMS 缩放系数怎么对齐 Adam 的更新幅度。
-
131. warmup 为什么必需：训练初期 Adam 二阶矩估计的方差问题学习率 warmup 不是工程迷信：Adam 的二阶矩在训练头几千步既偏又抖，直接把每坐标步长顶到灾难级。这篇定量分析 v̂ 冷启动的偏差与方差，解释为什么偏差修正救不了，以及为什么 bf16 大模型训练把 warmup 从可选变成必选。
-
132. cosine 与 linear decay 的实证对比：末端学习率该不该退到零cosine 衰减把中后期钉在中等学习率、末期快退到零；linear 全程匀速退坡。理论分析说末期低学习率等价于隐式平均迭代，能抹掉噪声；近年实证却说 linear 退到零反而更好，且不必退到零。这篇拆开各自的机制，解释 WSD 梯形调度为什么成为新默认。
-
133. 梯度裁剪的机制与阈值选择：全局范数裁剪的几何意义全局范数裁剪把超限梯度整体缩放回球内，保留方向只改幅度。这篇从信赖域几何推导它何时是无害投影、何时在扭曲方向，给出阈值选 1.0 的依据，以及它和 Adam 自适应步长的隐式耦合。
-
134. loss spike 的成因与对策：bf16、脏数据与优化器状态的排查顺序loss 曲线上的尖峰大部分不是优化器的锅。这篇按"先量化、再定位、后处置"的顺序给出排查流程：用滑动基线区分真尖峰和噪声，按命中率从高到低排查 bf16 溢出、优化器状态污染、数据异常段，并给出回滚-降 lr-换数据段的处置决策树。
-
135. 混合精度训练：fp16 的动态损失缩放原理与实现fp16 让矩阵乘快一倍、显存省一半，但梯度在 fp16 的表示范围里根本活不下去。动态损失缩放把 loss 乘上一个大数让梯度整体抬回 fp16 的安全区，翻倍增、减半减、溢出跳步。这篇推导缩放因子的数学依据，拆解 2000 步倍增规则背后的账本，并对比 bf16 为什么可以扔掉这套机制。
-
136. bf16 与 fp16 的工程取舍：动态范围与精度的交换fp16 和 bf16 同为 16 bit，却把有限的位分配给了不同的字段：fp16 把 10 位给尾数换精度，bf16 把 8 位给指数换动态范围。这篇从位布局推两者的数值边界，讲清为什么 bf16 可以扔掉 loss scaling、为什么累加仍要回 fp32，以及硬件条件如何决定选型。
-
137. 梯度累积与有效 batch size：显存换批量的等价性边界显存装不下目标 batch size 时，梯度累积把 k 个 micro-batch 的梯度加起来再走一步优化器，数学上近似等价于大 batch 训练。这篇推导这个等价的条件，拆解归一化方式、梯度裁剪、BN 统计量三个最常踩的坑，并说明它和多卡数据并行的组合关系。
-
138. 大 batch 的学习率缩放律：linear scaling 与 sqrt scaling 各自的适用区batch size 从 256 扩到 8192，学习率该乘几倍？linear scaling 说乘 32，sqrt scaling 说乘 5.7，答案取决于优化器噪声主导还是曲率主导。这篇从 SGD 噪声尺度的推导出发，给出两条规则的适用边界、临界 batch size 的概念，以及超过临界点后继续加卡为什么不划算。
-
139. 初始化理论：Xavier 与 Kaiming 的推导，方差守恒的动机网络一深，初始化就从一个"随便设的超参"变成决定训练成败的数值问题：激活方差逐层指数放大或衰减，信号在到达输出之前就已经饱和或消失。Xavier 和 Kaiming 两族初始化分别从方差守恒推出权重方差公式，这篇完整走一遍推导，并说明现代 Transformer 为什么不用它们。
-
140. μP：超参数跨尺度迁移的数学，宽度趋于无穷时的参数化在小模型上调好的学习率，搬到 10 倍宽的大模型上往往直接发散或慢一个数量级——因为标准参数化下最优学习率随宽度漂移。μP 给每种参数（输入、隐藏、输出）指定了随宽度 n 缩放的初始化方差和学习率，让最优超参数在宽度之间保持不变。这篇推导 μP 的谱条件，解释 GPT-3 用它省下的算力从哪来。