分类：AI 大模型
学习路径：由浅入深，按顺序阅读效果最好（共 147 篇）
-
21. 困惑度的信息论含义：有效分支因子与每 token 比特数困惑度是交叉熵的指数化：PPL=2^(比特/token)。它把 loss 翻译成"等效在多少个等概率选项里猜"，但跨 tokenizer 比较是无效的——换算公式与常见误用一次说清。
-
22. 最大熵原理：softmax 为什么是指数族分布为什么打分转概率非用 exp 不可？最大熵原理给出答案：在"均值约束 + 除此之外不预设任何倾向"下，唯一解就是指数族。拉格朗日推导走一遍，温度的角色也随之显形。
-
23. 从 n-gram 到神经语言模型：条件概率建模简史n-gram 用查表的方式直接数出条件概率，神经语言模型改用分布式表示让相似词共享统计。本文讲清平滑技术为什么救不了稀疏问题，以及 Bengio 2003 模型里参数共享的数学机制。
-
24. 采样策略的概率视角：top-k 与 top-p 的尾部行为对比top-k 固定保留 k 个候选，top-p 按累积概率自适应取集合。本文从截断分布的数学形式出发，解释为什么固定 k 在分布平坦时砍质量、尖锐时放垃圾，以及 nucleus 采样如何用一条累积曲线解决这个矛盾。
-
25. 暴露偏差：teacher forcing 的训练-推理不一致训练时模型永远看到真实前缀，推理时却要吃自己生成的输出，两个分布不一致，误差一步错步步错。本文分析暴露偏差的误差累积机制，以及 scheduled sampling 等修复思路为什么只能部分起效。
-
26. 变分推断与 ELBO：证据下界怎么推出来的潜变量模型的边缘似然 ∫p(x|z)p(z)dz 算不动，变分推断用一个好处理的 q(z|x) 去逼近真实后验。本文从 Jensen 不等式推出 ELBO，看清单调性与重建项、先验匹配项的张力，并指出它如何一路通向扩散模型。
-
27. 扩散模型的前向过程与 score matching：加噪去噪背后的数学前向过程把图像渐进地搅成高斯噪声，reverse 学习逐步去噪。本文推导马尔可夫加噪的累积形式 x_t=√ᾱ_t x_0+√(1−ᾱ_t)ε，解释 score matching 如何避开归一化常数，以及朗之万动力学怎样把 score 变成采样器。
-
28. 蒙特卡洛与重要性采样：高维期望为什么只能估计训练目标常常是动辄上万维空间里的期望，解析积分别想了。蒙特卡洛用样本均值换期望，收敛速度与维度无关；重要性采样换一个分布采样配权重修正，方差能压几个数量级，也能被用错放大几个数量级。
-
29. 贝叶斯视角下的正则化：先验即惩罚项L2 正则不是工程玄学，是零均值高斯先验在 MAP 框架下的化身。本文从贝叶斯定理推出先验↔惩罚项的对应表，给出 L2 系数与噪声方差的定量关系，并指出 L2 与 weight decay 在 Adam 下分道扬镳的原因。
-
30. Gumbel-max 技巧与重参数化：离散采样可微化的两条路从 softmax 采样 categorical 需要先 exp 归一化再按累积分布查表，不可微。Gumbel-max 证明加上 Gumbel 噪声再 argmax 就精确等价于 categorical 采样；把 argmax 软化成 softmax 即得可微近似。本文给出竞争证明、与打分函数估计的方差对比，以及 VAE 里重参数化技巧的同一思想。
-
31. 熵坍塌与熵奖励：RL 微调中策略熵为什么不能掉太快RL 微调里 reward 模型只奖励某些回复风格，策略很快坍缩到高奖励窄带，多样性陪葬。熵奖励用 −βH(π) 在目标里拉住探索。本文给熵梯度的推导，分析坍塌的机制，以及调 β 的实际考量。
-
32. 大数定律与数据规模效应：为什么数据量压得住过拟合大数定律说样本均值以 1/√N 收敛到期望，Hoeffding 不等式给出不依赖维度的收敛速率。本文把经验风险与期望风险的差距写成 Concentration 不等式，看数据量如何在经典理论里压过拟合，以及这套语言和 scaling law 幂律的关系。
-
33. BPE 分词原理：从字节对合并到 GPT 词表，一次贪心压缩的完整解剖BPE 本质是字典压缩算法，本文从合并规则讲起，讲清 byte-level 设计、词表大小权衡，以及数字切分这类著名后遗症。
-
34. WordPiece 与 SentencePiece 的差异：似然合并准则与语言无关分词框架WordPiece 改的是合并打分公式，SentencePiece 改的是分词系统的组织方式，两者经常被混为一谈，本文拆开讲。
-
35. Unigram LM 分词：从全词表做减法的 EM 过程与 BPE 从空做加法相反，Unigram 从超大候选词表出发，用 EM 训练概率模型再逐个剔除 piece，编码走 Viterbi 最优切分。
-
-
-
38. 字节级 BPE 的鲁棒性：byte fallback 如何消灭 OOV从字节起步让任何字符串都能被编码，OOV 在机制上消失；本文讲 byte-level 设计、bytes_to_unicode 技巧与剩余的风险面。
-
39. 中文与多语言词表的均衡：一个字占几个 token 的成本问题中英 token 成本差两三倍是词表偏置的直接后果，本文量化语言间压缩率差异及其对成本、上下文、训练充分性的连锁影响。
-
