2018 年 BERT 发布时，GLUE 榜单上那一串刷新纪录的数字让很多人认为"双向理解"才是正道，自回归是旧时代的残党。五年之后局面完全反转：几乎所有顶级大模型都是 decoder-only 的自回归架构。回头看这场争论，胜负不取决于谁的理解能力更强，而取决于两种目标函数的数学结构在规模化时代各自的承重能力。这篇文章把两边放在同一个框架下对比，把"为什么输"拆成可验证的具体条目。
两种分解，两种计算图
对同一段文本 $w_1,\dots,w_T$，两种范式的区别可以写成一句话：自回归是把联合分布拆成连乘，MLM 是直接建模一个条件分布。
自回归的分解是老朋友（本系列第一篇有完整推导）：
$$ p(w_1,\dots,w_T) = \prod_{t=1}^{T} p(w_t \mid w_{
MLM 的做法完全不同：随机遮住一部分位置集合 $\mathcal M$，训练网络估计
$$ p_\theta\big(w_{\mathcal M} \mid w_{\backslash \mathcal M}\big), $$
用双向注意力让每个 masked 位置的输出同时看见左右上下文。BERT 的原版实现里这个条件分布被进一步强制分解成各位置的独立 softmax：联合概率近似为 $\prod_{t \in \mathcal M} p_\theta(w_t \mid w_{\backslash \mathcal M})$，这就是著名的条件独立假设——它被批评了很多年，但工程上几乎无损，因为每个 masked token 的预测确实主要依赖上下文而不依赖其他 masked 位。
MLM 的三个结构性代价
有效训练位只有 15%。 BERT 盖住 15% 的 token，只有这些位置的输出参与损失。要让每个位置的上下文表示都被训练到，BERT 实际依赖的是"15% 的预测任务反向传播更新整个双向编码器"，位置本身不出 loss 不代表没被训练——但监督信号的密度确实只有自回归的六分之一左右。同样的 FLOPs 预算下，自回归从语料里榨出的逐 token 监督多得多。规模化竞争本质上是样本效率的竞争，这一条几乎是致命的。
它不是密度模型。 $p_\theta(w_{\mathcal M} \mid w_{\backslash \mathcal M})$ 是条件分布，不是联合分布。你无法从 BERT 直接采样一段文本，想生成就得外挂一个解码器或者用类似 iterative masking 的昂贵过程。这意味着预训练好的 BERT 不具备"给定前缀继续写"这个通用接口。2019 年之后下游任务全面转向"把任务写成提示、让模型续写答案"的模式，自回归模型开箱即用，MLM 模型却要先解决"怎么变成生成模型"的问题。XLNet 用排列语言模型 ($2^T$ 种分解顺序的期望，AR 的形式保留双向的效果) 做过严肃尝试，训练成本翻倍但收益有限，这个方向的沉寂本身就说明问题。
双向注意力与推理期的因果结构不兼容。 这不是 loss 的问题，是 attention mask 的问题：推理生成是自左向右的因果过程，双向编码器在生成场景没有位置可放。encoder-decoder 架构（T5、BART）试图调和——encoder 双向理解、decoder 因果生成——但多出来的 cross attention 和异构结构让 scaling 时的收益不如同构 decoder 来得直接，本篇后面再展开。
那 BERT 当年的碾压是怎么来的
GLUE 时代的下游任务是判别式的：分类、匹配、抽取。这类任务天然适合"给定全文、输出一个表示"，双向注意力在每个位置都能吸收全句信息，自回归模型却被迫在每个位置只看左半边——用[CLS]做句级分类时，BERT 的表示质量确实更好。当时的范式是"预训练 + 任务专属 head + 全量微调"，生成式任务占比很小，榜单的权重偏向了理解任务。
变化发生在两点：一是任务接口统一成续写之后，生成、问答、翻译、抽取都能写进同一个 prompt，判别式 head 成了历史遗产；二是规模定律显灵，决定胜负的不再是某个榜单上的 1.5 个点，而是谁的 loss 随算力下降得更快——自回归在数据效率上的优势在规模竞争中被放大。
T5 的折中与 MLM 的当代残部
MLM 没有完全死，它以改造后的形态活着。T5 把"盖单 token"改成 span corruption：随机替换的是长度为 3–12 的平均 3 token 的连续片段，用 sentinel token 标记边界，模型学习重建整段。span 级别的目标更接近自然语言单位（短语、子句），比单 token MLM 难，也比自回归的逐 token 预测更宏观。UL2（下一篇）更进一步，把自回归和 span corruption 混成一个多目标统一框架——这其实承认了"两者各有不可取代的部分"。
MLM 还活跃在这些角落：embedding 模型（bge、E5 系的检索底座大多用 MLM 式对比训练）、需要双向上下文理解的段落表示、医学影像等序列模态的 encoder 预训练。只要任务是"给定完整输入、输出结构化判断"而不是"从左到右生成"，双向结构依然是合理选择。争论的真正结论不是"BERT 错了"，而是通用语言接口是生成——一旦承认这一点，因果结构就是唯一符合推理过程的选择，其余都是微调细节。
小结
MLM 输给自回归不是理解力问题，是三个数学事实的叠加：条件分布不是密度模型，15% 掩码稀释了监督密度，双向注意力与因果生成天然错位。BERT 在判别式榜单上的胜利真实但短暂，因为下游接口统一为续写之后，生成与计算同构的自回归范式拿走了全部规模红利。span corruption 与 UL2 是 MLM 思想的遗产能量的出口，而 embedding 与 encoder 场景里，双向结构依然不可替代。