标签：训练动力学
-
tokenizer 的安全问题：glitch token 的产生某些 token 在训练语料里几乎不出现，它的 embedding 基本停在初始化状态，一旦在推理时被拼出来就会产生不可预测的行为。这篇从梯度来源推导 glitch token 的成因，并给出排查方法。
-
激活函数的频谱偏差：网络为什么先学低频ReLU 网络拟合目标函数时总是先学低频分量再学高频细节，这个现象叫频谱偏差；从 NTK 本征值随频率衰减给出机制解释，并讨论它对训练策略的启示。