标签：特殊token

特殊 token 的设计：BOS/EOS/PAD 如何影响生成
2025-08-19 · ai

tokenizer 特殊token 训练

几个不携带文本语义的 id 却控制着生成的起点与终点，本文讲 BOS/EOS/PAD 的设计意图、训练交互与常见事故。