标签：自回归
-
teacher forcing 的实现细节：标签位移的正确做法与常见错误自回归训练最基础的操作是把序列错一位当标签，但 BOS/EOS 怎么放、mask 怎么对齐、logits 怎么 gather、打包时文档边界怎么隔离，每一步都有真实的踩坑点。这篇把标签位移的正确做法和六种常见错误一次讲清。
-
causal mask 的实现与梯度流：下三角掩码如何阻断信息泄漏decoder-only 模型的因果掩码到底怎么实现、为什么反向时不需要额外处理、masked 位置的训练动力学是什么。这篇把 addmask、masked_fill、is_causal 三种写法对齐到同一个数学对象，并给出梯度流的完整分析。
-
MLM 与自回归的路线之争：BERT 为什么输给了 GPT 范式从目标函数的分解结构出发拆解 BERT 式 MLM 与 GPT 式自回归的本质差异：条件独立假设、100% vs 15% 的有效训练位、有无密度函数，解释为什么 decoder-only 胜出，以及 MLM 在哪些角落仍然活着。