标签：学习率
-
泰勒展开与可信域：理解学习率的起点学习率不是玄学超参：一阶模型只在海森尺度划定的邻域内可信，二次问题上推出 η<2/L 的硬界，可信域方法把"模型在哪可信"变成自适应步长的通用原则。
-
大 batch 的学习率缩放律：linear scaling 与 sqrt scaling 各自的适用区batch size 从 256 扩到 8192，学习率该乘几倍？linear scaling 说乘 32，sqrt scaling 说乘 5.7，答案取决于优化器噪声主导还是曲率主导。这篇从 SGD 噪声尺度的推导出发，给出两条规则的适用边界、临界 batch size 的概念，以及超过临界点后继续加卡为什么不划算。
-
cosine 与 linear decay 的实证对比：末端学习率该不该退到零cosine 衰减把中后期钉在中等学习率、末期快退到零；linear 全程匀速退坡。理论分析说末期低学习率等价于隐式平均迭代，能抹掉噪声；近年实证却说 linear 退到零反而更好，且不必退到零。这篇拆开各自的机制，解释 WSD 梯形调度为什么成为新默认。
-
warmup 为什么必需：训练初期 Adam 二阶矩估计的方差问题学习率 warmup 不是工程迷信：Adam 的二阶矩在训练头几千步既偏又抖，直接把每坐标步长顶到灾难级。这篇定量分析 v̂ 冷启动的偏差与方差，解释为什么偏差修正救不了，以及为什么 bf16 大模型训练把 warmup 从可选变成必选。