标签：交叉熵
-
softmax 的雅可比矩阵与交叉熵梯度：p−y 这个干净结果的代数来源逐分量推出 softmax 的雅可比 J=diag(p)−ppᵀ，分析它的谱结构，再展示它与交叉熵梯度相乘时为什么恰好化简成 p−y。
-
自回归目标的最大似然本质：next token prediction 到底在优化什么自回归预训练不是工程 trick，而是对语料分布做最大似然估计：从链式法则分解出发，看清 loss 曲线的每一个单位就是语料被压缩后每 token 的编码长度，再讨论 MLE 框架的两个隐含假设如何塑造了今天的 LLM。
-
交叉熵、KL 散度与最大似然的等价关系训练语言模型到底在最小化什么？从最大似然出发，除以 N 得到交叉熵，减去数据熵得到 KL 散度——三个目标对 θ 完全等价，但各自暴露的信息不同。