标签：MLM
-
MLM 与自回归的路线之争：BERT 为什么输给了 GPT 范式从目标函数的分解结构出发拆解 BERT 式 MLM 与 GPT 式自回归的本质差异：条件独立假设、100% vs 15% 的有效训练位、有无密度函数，解释为什么 decoder-only 胜出，以及 MLM 在哪些角落仍然活着。
从目标函数的分解结构出发拆解 BERT 式 MLM 与 GPT 式自回归的本质差异：条件独立假设、100% vs 15% 的有效训练位、有无密度函数，解释为什么 decoder-only 胜出，以及 MLM 在哪些角落仍然活着。