标签：安全
-
tokenizer 的安全问题：glitch token 的产生某些 token 在训练语料里几乎不出现，它的 embedding 基本停在初始化状态，一旦在推理时被拼出来就会产生不可预测的行为。这篇从梯度来源推导 glitch token 的成因，并给出排查方法。
某些 token 在训练语料里几乎不出现，它的 embedding 基本停在初始化状态，一旦在推理时被拼出来就会产生不可预测的行为。这篇从梯度来源推导 glitch token 的成因，并给出排查方法。