标签：UL2
-
UL2 与混合去噪目标：统一预训练目标的一次系统尝试Google 的 UL2 把 BERT 式去噪、T5 式 span corruption 和 GPT 式因果 LM 放进同一个损失函数，用 sentinel token 做模式切换。这篇推导混合目标的数学形式，拆解三种 denoiser 各自的分工，以及为什么"统一"在后续模型里并没有被原样继承。
Google 的 UL2 把 BERT 式去噪、T5 式 span corruption 和 GPT 式因果 LM 放进同一个损失函数，用 sentinel token 做模式切换。这篇推导混合目标的数学形式，拆解三种 denoiser 各自的分工，以及为什么"统一"在后续模型里并没有被原样继承。