标签：训练稳定性
-
loss spike 的成因与对策：bf16、脏数据与优化器状态的排查顺序loss 曲线上的尖峰大部分不是优化器的锅。这篇按"先量化、再定位、后处置"的顺序给出排查流程：用滑动基线区分真尖峰和噪声，按命中率从高到低排查 bf16 溢出、优化器状态污染、数据异常段，并给出回滚-降 lr-换数据段的处置决策树。
-
预训练 loss 曲线的读法：尖峰、平台期与发散的诊断手册几万步的预训练里，loss 曲线是唯一的实时体检报告。正常曲线长什么样、突起的尖峰是数据脏了还是精度溢出、平台期是学习率该退还是数据见底了、发散时先回滚还是先降学习率——这篇按"看图 → 归因 → 处置"的顺序给一份现场手册。
-
归一化的梯度流分析：LayerNorm 凭什么稳住深层网络LayerNorm 的反向不是简单缩放：它的雅可比是一个投影矩阵，把梯度中沿激活方向和均值方向的两个分量剥掉，顺手提供 1/σ 的负反馈。深层网络能训到几百层，靠的就是这个投影。
-
梯度裁剪的机制与阈值选择：全局范数裁剪的几何意义全局范数裁剪把超限梯度整体缩放回球内，保留方向只改幅度。这篇从信赖域几何推导它何时是无害投影、何时在扭曲方向，给出阈值选 1.0 的依据，以及它和 Adam 自适应步长的隐式耦合。
-
pre-LN 与 post-LN 的稳定性差异同一个 Transformer block，LN 摆在子层前面（pre）还是后面（post），训练稳定性天差地别：post-LN 深了就梯度消失，pre-LN 有梯度高速公路但深层输出失控。这篇用 LN 的雅可比把两边的机制都推出来，说清楚为什么现代模型选 pre-LN、以及它欠的债用什么还。
-
DeepNorm 与极深 TransformerDeepNorm 只做两件事：残差乘 α=(2N)^1/2、分支输出乘小系数初始化，却能把 Transformer 稳定训到 1000 层；推导 α 取值的理论依据，看清它本质是 post-LN 的稳定化改造。
-
warmup 为什么必需：训练初期 Adam 二阶矩估计的方差问题学习率 warmup 不是工程迷信：Adam 的二阶矩在训练头几千步既偏又抖，直接把每坐标步长顶到灾难级。这篇定量分析 v̂ 冷启动的偏差与方差，解释为什么偏差修正救不了，以及为什么 bf16 大模型训练把 warmup 从可选变成必选。