前面两篇把 MLM 和自回归的优劣掰开看过：前者上下文利用充分但没有密度函数，后者有干净的生成接口但每个位置只用左半边信息。UL2（Tay et al., 2023）的思路是把这场争论从"二选一"改成"都要"：让同一个模型在同一个训练过程里同时学三种目标，用特殊 token 在推理时切换行为模式。这篇文章走一遍它的数学构造，再看实验里哪些部分被证实了、哪些被悄悄放弃。
三种 denoiser：同一个框架下的三种损坏算子
UL2 把预训练统一表述为去噪问题：给定输入 $x$ 和损坏算子 $\mathcal C$，模型学习复原被破坏的部分。区别只在 $\mathcal C$ 怎么设计。
R-denoiser（Regular）：T5 式 span corruption。随机选 $r$ 个长度在 $[2, 5]$ 的短 span，用 sentinel token $\langle s_i\rangle$ 替换，模型从剩余上下文重建原文。监督只落在被盖住的 span 上，输入输出分离，标准的 encoder-decoder 结构。
S-denoiser（Sequential）：就是因果语言模型。前缀完整可见，从某个位置起后缀被盖住，模型按自回归顺序逐个复原。监督落在后缀的每个 token 上，密度远高于 R。
X-denoiser（eXtreme）：R 的强化版——单个 span 被拉到原序列的 30%–50% 长，或者损坏率整体拉高。被盖内容太长，剩余上下文不足以逐 token 推断，模型被迫做全局重构：先规划整段语义，再填细节。这是唯一迫使模型学"长程规划"的目标。
混合目标的形式
UL2 的损失就是对三种 denoiser 的加权期望。设损坏分布为 $\mathcal C \in \{\mathcal C_R, \mathcal C_S, \mathcal C_X\}$，采样比例为 $(\lambda_R, \lambda_S, \lambda_X)$，则
$$ \mathcal L_{\text{UL2}}(\theta) = \sum_{d \in \{R,S,X\}} \lambda_d \, \mathbb E_{(x,\mathcal C) \sim \mathcal C_d}\Big[\sum_{t \in \text{corrupt}} -\log p_\theta\big(y_t \mid x_{\text{visible}}, y_{
注意展开式里监督项自带的因果条件 $y_{
模式切换靠把任务 sentinel（如 $\langle$extra_id_0$\rangle$ 这类特殊 token）放在输入开头，训练时每种 denoiser 的样本都带上自己对应的 sentinel，模型学会"看 token 决定行为"。这让同一个 checkpoint 具备两种人格：加 S 模式 token 就是标准 LM，加 R/X 模式 token 就是双向补全器。论文里最有趣的实验是预训练一个模型、推理时切换模式，在 zero-shot 生成和 few-shot 理解两组任务上都能达到专门训练模型的水平。
实验结论：哪些被证实了
UL2 20B 在当时的 zero-shot/few-shot 榜单上超过了同规模的 PaLM 540B 的部分结果（SuperGLUE 等理解任务），而参数量只有零头。支撑这个成绩的核心证据是：混合目标对推理类任务的提升最明显（Chain-of-Thought 评测），R-denoiser 贡献的是上下文整合能力，X-denoiser 贡献的是长程规划能力，两者在数学和逻辑任务上互补。后续有一些工作跟进（如"unicorn"式统一训练），但规模都没有超过 UL2 本身。
哪些被悄悄放弃了
先看 PaLM 2 的技术报告——Google 自己在 UL2 发布几个月后训练下一代旗舰模型，用的不是 UL2 目标而是标准自回归。这个决定比 UL2 论文里任何消融实验都有说服力。原因可以推测：规模化时代目标函数的"额外收益"要和"样本效率损失"对冲——混进去 50% 的 R/X 样本意味着同样 token 预算下自回归目标的实际训练量减半，而 R/X 学到的能力有多少能迁移到推理时的 S 模式，迁移系数始终没有干净的测量。当规模定律告诉你"每一点 loss 下降都来自有效 token 数"时，把一半 token 花在推理时不激活的目标上，机会成本太高。
UL2 的另一个遗留问题是它依赖 encoder-decoder 结构（R/X 目标天然适合输入输出分离），这与 decoder-only 的胜出方向相悖。decoder-only 上的等价实验需要在同一条序列里拼接"可见段 + sentinel + 损坏段"，工程上能做但监督密度进一步稀释。
当代残影
UL2 的目标没有成为主流，但它的思想被拆散继承了。span corruption 作为 R 目标的化身活在 T5 系和部分多语言模型里；X-denoiser 的"长损坏、全局重构"直觉在"填空式中间生成"研究里延续（FIM、infilling 微调，本系列代码 LLM 篇会展开）；模式切换 sentinel 的思想以更轻的形式活在多任务指令模型里——[生成]、[分类]这类任务前缀 token，和 UL2 的 $\langle$extra_id_0$\rangle$ 是同构的。统一目标这条路没走通，但"用 token 切换行为"成了标配。
小结
UL2 把 BERT/T5/GPT 三种范式统一为"可见集上的条件去噪"，数学形式干净，模式切换优雅，实验显示混合目标对推理任务有真实增益。但它没能在规模化竞争中活下来：一半 token 花在推理时inactive的目标上，机会成本在 scaling law 的账本里说不清；且它绑定 encoder-decoder 结构，与 decoder-only 的主流方向冲突。它的遗产是概念性的——预训练目标可以是任务的连续谱，而不是范式之争的阵营站队。