分类：AI 大模型
学习路径：由浅入深，按顺序阅读效果最好（共 147 篇）
-
1. 从矩阵求导看反向传播：布局约定、trace 技巧与一次完整手推建立"标量对矩阵求导"的统一记号，用微分法手推两层网络的反向传播，说明 reverse mode 为什么是唯一可行的选择。
-
2. 雅可比矩阵与链式法则的矩阵形式：为什么反向传播是"转置左乘"把多元链式法则写成雅可比矩阵的语言，说清梯度回传为什么表现为 J 的转置左乘，以及为什么工程上只需要 VJP 而不需要 J 本身。
-
3. 微分法求矩阵导数：trace 技巧入门与四个标准战例把 df=tr(GᵀdX) 这套微分法流程系统化，用四个递进的战例（线性型、双线性型、二次型、最小二乘）练熟"算微分、挪 dX、读梯度"三步配方。
-
4. 反向传播即 reverse mode 自动微分：一次前向一次反向的代价账把反向传播放回自动微分的谱系里：前向模式按输入维数计费、反向模式按输出维数计费，标量损失让两者相差一亿倍，这就是深度学习只用反向模式的原因。
-
5. softmax 的雅可比矩阵与交叉熵梯度：p−y 这个干净结果的代数来源逐分量推出 softmax 的雅可比 J=diag(p)−ppᵀ，分析它的谱结构，再展示它与交叉熵梯度相乘时为什么恰好化简成 p−y。
-
6. LayerNorm 的反向传播推导：均值-方差耦合带来的三项修正完整推导 LayerNorm 的反向梯度：均值与方差都依赖输入，VJP 因此多出两项投影修正，最终梯度是"去均值、去方向"后的缩放版本。
-
7. 注意力机制的分步反向传播：Q/K/V 的梯度如何穿过 softmax 回传把 scaled dot-product attention 拆成 S=QKᵀ、P=softmax(S)、O=PV 三段，逐段推 VJP，给出 dQ、dK、dV 的闭式，并解释 causal mask 与 FlashAttention 反向的处理。
-
-
9. Kronecker 积与向量化：把矩阵方程拉回向量世界的 vec 操作vec 操作与恒等式 vec(AXB)=(Bᵀ⊗A)vec(X) 让一切矩阵线性方程化归向量形式；它在深度学习里的真正身价是 K-FAC 二阶优化的理论根基。
-
10. 对称矩阵求导的坑：独立变量只有一半时梯度怎么修正对对称矩阵求导时，朴素微分法的结果差一个对称化修正——根源是非对角元素成对出现。用方向导数给出严格推导，并澄清 d(XᵀAX) 里因子 2 的真正来源。
-
11. 行列式与逆矩阵的导数：Jacobi 公式，以及它在归一化流里的角色推导 dX⁻¹=−X⁻¹dX·X⁻¹ 与 d log det X=tr(X⁻¹dX) 两条公式，说明后者为什么是归一化流、高斯 MLE 的代数支点，以及"让 log det 便宜"如何决定流模型的架构。
-
12. 广播操作的梯度归约：为什么反向要 sum 回原始形状广播在前向把参数复制到多个位置使用，链式法则要求梯度把所有副本的贡献加起来。推一遍 b 向量广播加法的雅可比，搞清楚 sum 归约的来历与 sum/mean 的尺度差异。
-
13. 矩阵乘法的梯度：维度对齐法则推导 Y=AB 两个因子各自的梯度，提炼出"梯度形状等于参数形状"这一句话的形状检查法则，并把线性层、batch 矩阵乘都归到同一套推导上。
-
-
15. 海森矩阵为什么在大模型里几乎不用：二阶信息的成本账牛顿法收敛快但海森矩阵的存储是参数量平方级，7B 模型要 10^20 字节。算完这笔账，再看 Gauss-Newton、Hessian-向量积和 K-FAC 这些折中方案各自保住了什么。
-
16. 微分与梯度的桥梁：内积视角微分是内蕴的线性映射，梯度是它在某个内积下的向量表示——Riesz 定理搭桥。换内积就换梯度，这个视角统一了 trace 约定、最速下降方向与自然梯度。
-
17. 从 SGD 的一行更新看深度学习的最小结构θ ← θ − ηĝ 这一行里藏着深度学习的全部最小要素：标量损失、无偏小批量梯度、欧拉离散的梯度流。逐件拆开看它们如何咬合，以及 minibatch 噪声的账本。
-
18. 泰勒展开与可信域：理解学习率的起点学习率不是玄学超参：一阶模型只在海森尺度划定的邻域内可信，二次问题上推出 η<2/L 的硬界，可信域方法把"模型在哪可信"变成自适应步长的通用原则。
-
19. Softmax 温度参数对采样分布的影响：从玻尔兹曼分布到熵调控从概率比和熵两个角度推导温度 T 的作用：T→0 收敛到 argmax，T→∞ 趋于均匀，中间是单调的熵调节旋钮。
-
20. 交叉熵、KL 散度与最大似然的等价关系训练语言模型到底在最小化什么？从最大似然出发，除以 N 得到交叉熵，减去数据熵得到 KL 散度——三个目标对 θ 完全等价，但各自暴露的信息不同。