标签：训练策略
-
上下文长度课程：从 4k 到 128k 的分阶段延长策略主流长上下文模型几乎没人从第一步就按 128k 训练——注意力成本随长度平方涨、长文数据稀缺、位置编码外推失效是三座大山。这篇给三阶段延长策略算账：各阶段该训多少 token、数据从哪来、为什么结尾要做长度退火。
-
课程学习在预训练中的应用：先易后难在大模型上是否仍然有效课程学习在经典 ML 里有坚实的理论与实验支持，但放进万亿 token 的预训练里几乎失灵。这篇分析课程起作用的数学条件、为什么自然语言缺乏可靠的难度排序信号，以及在长上下文扩展等少数场景中课程策略仍然有效的例外。
-
退火阶段：末期提高高质量数据比例的收益来源Llama 3 和 DeepSeek-V3 都在训练末期切换数据配比、收紧学习率，这段只占训练步数几个百分点的退火期贡献了超出比例的收益。这篇从学习率调度与损失景观的几何关系出发，解释退火为什么有效，以及末期数据该怎么选。