标签：学习率调度

• 
  退火阶段：末期提高高质量数据比例的收益来源

  2026-01-05 · ai

  预训练学习率调度训练策略

  Llama 3 和 DeepSeek-V3 都在训练末期切换数据配比、收紧学习率，这段只占训练步数几个百分点的退火期贡献了超出比例的收益。这篇从学习率调度与损失景观的几何关系出发，解释退火为什么有效，以及末期数据该怎么选。