标签：KL散度

• 
  交叉熵、KL 散度与最大似然的等价关系

  2025-06-18 · ai

  交叉熵KL散度最大似然

  训练语言模型到底在最小化什么？从最大似然出发，除以 N 得到交叉熵，减去数据熵得到 KL 散度——三个目标对 θ 完全等价，但各自暴露的信息不同。