标签:采样
-
Softmax 温度参数对采样分布的影响:从玻尔兹曼分布到熵调控
从概率比和熵两个角度推导温度 T 的作用:T→0 收敛到 argmax,T→∞ 趋于均匀,中间是单调的熵调节旋钮。
-
采样策略的概率视角:top-k 与 top-p 的尾部行为对比
top-k 固定保留 k 个候选,top-p 按累积概率自适应取集合。本文从截断分布的数学形式出发,解释为什么固定 k 在分布平坦时砍质量、尖锐时放垃圾,以及 nucleus 采样如何用一条累积曲线解决这个矛盾。
从概率比和熵两个角度推导温度 T 的作用:T→0 收敛到 argmax,T→∞ 趋于均匀,中间是单调的熵调节旋钮。
top-k 固定保留 k 个候选,top-p 按累积概率自适应取集合。本文从截断分布的数学形式出发,解释为什么固定 k 在分布平坦时砍质量、尖锐时放垃圾,以及 nucleus 采样如何用一条累积曲线解决这个矛盾。