标签：最大似然
-
自回归目标的最大似然本质：next token prediction 到底在优化什么自回归预训练不是工程 trick，而是对语料分布做最大似然估计：从链式法则分解出发，看清 loss 曲线的每一个单位就是语料被压缩后每 token 的编码长度，再讨论 MLE 框架的两个隐含假设如何塑造了今天的 LLM。
-
交叉熵、KL 散度与最大似然的等价关系训练语言模型到底在最小化什么？从最大似然出发，除以 N 得到交叉熵，减去数据熵得到 KL 散度——三个目标对 θ 完全等价，但各自暴露的信息不同。