大模型训练日志里那条 loss 曲线下降 0.1 意味着什么？把它翻译成统计语言：模型对语料真实分布的估计又近了一点。这篇文章把 next token prediction 放回最大似然估计的标准框架里，推一遍目标函数的分解，并指出两个常被忽视的事实——它等价于无损压缩，以及它的每个隐含假设都对应着今天某个工程决策。
从链式法则到目标函数
语言建模的对象是一个 token 序列 $w_1,\dots,w_T$。概率的链式法则无条件成立：
$$ p(w_1,\dots,w_T) = \prod_{t=1}^{T} p(w_t \mid w_1,\dots,w_{t-1}). $$
自回归模型把这个分解固定为计算结构：一个参数化网络 $p_\theta$，输入前缀 $w_{
$$ \theta^\star = \arg\max_\theta \sum_{t=1}^{T} \log p_\theta(w_t \mid w_{
括号里就是交叉熵损失，除以 $T$ 是逐 token 平均。所以"自回归目标"没有任何新东西：它是"用神经网络参数化条件分布、对数似然求和"的标准 MLE。值得强调的是链式法则的其他分解顺序（比如从右往左、或按树的拓扑序）在数学上等价，选择从左到右唯一的原因是它匹配生成与推理的因果方向——计算图与使用图同构，这是 decoder-only 架构胜出的深层原因，而不仅仅是工程方便。
MLE 的三个隐含假设，各对应一个工程决策
把 MLE 的统计前提列出来，会发现每个前提在 LLM 实践里都有对应的显式设计。第一个假设：数据是真实分布的 i.i.d. 样本。语料显然不是——它有主题、时间、来源的结构性偏差，对应的做法是数据配比、上采样/下采样、去污染，本质是在重新定义"经验分布"，让它更接近你想建模的目标分布（详见数据配比篇）。第二个假设：模型族包含真实分布或可逼近。softmax 输出的分布族表达能力足够，但上下文长度有限意味着 $p(w_t\mid w_{样本量足够、优化器能收敛到最优。实践里优化远未收敛（欠训练是常态，见 Chinchilla 篇），这个"缺陷"反而成了 scaling law 的燃料——损失随算力可预测下降正是"还没收敛"的直接证据。
与无损压缩的等价：loss 的单位是比特
交叉熵与编码长度的关系给了 loss 曲线一个物理读法。由 Shannon 信源编码定理，最优编码下符号 $w$ 的期望编码长度是 $-\log_2 p(w)$ 比特。训练好的模型配一个算术编码器，就能把整个语料编码成一个文件，平均每 token 占用 $-\mathbb E\log_2 p_\theta(w_t\mid w_{
teacher forcing 与暴露偏差：MLE 框架的内部张力
链式法则分解把 $p(w_t \mid w_{真实前缀，训练时输入真值前缀、预测下一个 token，这叫 teacher forcing。它正是 MLE 的无偏估计——每个条件分布都在正确的输入分布下估计。但推理时模型看到的是自己生成的前缀，分布漂移导致误差累积（暴露偏差，本系列概率篇有专门讨论）。这里有一个常被混淆的点：暴露偏差不是 MLE 的问题，是"我们把序列级似然拆成逐 token 条件似然之和"这个计算分解的问题——联合分布本身没有错，错在推理时近似的自回归采样把训练时未见的误差引了进来。缓解路线（scheduled sampling、RL 微调）本质上都是在修正分解与推理之间的不一致，而不是否定 MLE。
为什么这个视角重要
把预训练看成 MLE 之后，几个争论就有了裁判标准。比如"语言模型是否真的理解"——在 MLE 框架里这个问题转化为"估计好的条件分布与理解的关系"，后者是哲学问题，前者是可测量的（校准度、下游指标）；比如"自回归范式是否走到头"——MLE 的收敛速度由分布复杂度和模型族决定，只要 loss 还在随算力下降，"到头"的说法就缺乏统计依据。更重要的是，它为评估指标提供了地基：困惑度、bits per byte、下游准确率，全部是交叉熵（或它的单调变换）在不同层面的读数，它们的分歧与一致都能在 MLE 框架内解释。
小结
自回归预训练 = 用因果分解的链式法则参数化联合分布 + 对数似然最大化，交叉熵 loss 是它的负号平均。这个视角下：数据工程是重新定义经验分布，长文本与 RAG 是补条件截断，scaling law 是欠训练的副产品，压缩率是模型质量的等价度量，暴露偏差是分解与推理的不一致。读懂这条主线，预训练章节剩下的所有专题——数据配比、去重、退火——都能挂在同一棵树上。