标签：重参数化
-
Gumbel-max 技巧与重参数化：离散采样可微化的两条路从 softmax 采样 categorical 需要先 exp 归一化再按累积分布查表，不可微。Gumbel-max 证明加上 Gumbel 噪声再 argmax 就精确等价于 categorical 采样；把 argmax 软化成 softmax 即得可微近似。本文给出竞争证明、与打分函数估计的方差对比，以及 VAE 里重参数化技巧的同一思想。
从 softmax 采样 categorical 需要先 exp 归一化再按累积分布查表，不可微。Gumbel-max 证明加上 Gumbel 噪声再 argmax 就精确等价于 categorical 采样；把 argmax 软化成 softmax 即得可微近似。本文给出竞争证明、与打分函数估计的方差对比，以及 VAE 里重参数化技巧的同一思想。