标签：监控
-
预训练 loss 曲线的读法：尖峰、平台期与发散的诊断手册几万步的预训练里，loss 曲线是唯一的实时体检报告。正常曲线长什么样、突起的尖峰是数据脏了还是精度溢出、平台期是学习率该退还是数据见底了、发散时先回滚还是先降学习率——这篇按"看图 → 归因 → 处置"的顺序给一份现场手册。
几万步的预训练里，loss 曲线是唯一的实时体检报告。正常曲线长什么样、突起的尖峰是数据脏了还是精度溢出、平台期是学习率该退还是数据见底了、发散时先回滚还是先降学习率——这篇按"看图 → 归因 → 处置"的顺序给一份现场手册。