标签：课程学习
-
课程学习在预训练中的应用：先易后难在大模型上是否仍然有效课程学习在经典 ML 里有坚实的理论与实验支持，但放进万亿 token 的预训练里几乎失灵。这篇分析课程起作用的数学条件、为什么自然语言缺乏可靠的难度排序信号，以及在长上下文扩展等少数场景中课程策略仍然有效的例外。
课程学习在经典 ML 里有坚实的理论与实验支持，但放进万亿 token 的预训练里几乎失灵。这篇分析课程起作用的数学条件、为什么自然语言缺乏可靠的难度排序信号，以及在长上下文扩展等少数场景中课程策略仍然有效的例外。