标签：softmax
-
Softmax 温度参数对采样分布的影响：从玻尔兹曼分布到熵调控从概率比和熵两个角度推导温度 T 的作用：T→0 收敛到 argmax，T→∞ 趋于均匀，中间是单调的熵调节旋钮。
-
softmax 的雅可比矩阵与交叉熵梯度：p−y 这个干净结果的代数来源逐分量推出 softmax 的雅可比 J=diag(p)−ppᵀ，分析它的谱结构，再展示它与交叉熵梯度相乘时为什么恰好化简成 p−y。
-
最大熵原理：softmax 为什么是指数族分布为什么打分转概率非用 exp 不可？最大熵原理给出答案：在"均值约束 + 除此之外不预设任何倾向"下，唯一解就是指数族。拉格朗日推导走一遍，温度的角色也随之显形。