标签：信息论
-
Softmax 温度参数对采样分布的影响：从玻尔兹曼分布到熵调控从概率比和熵两个角度推导温度 T 的作用：T→0 收敛到 argmax，T→∞ 趋于均匀，中间是单调的熵调节旋钮。
-
注意力权重的熵动力学：什么时候广撒网、什么时候单点突破注意力每一行是一个概率分布，熵是它的"混合程度"度量。这篇定义行熵、给出它与 logit 尺度的解析关系，梳理熵在层间和序列上的典型动力学，并连接到 RL 微调里的熵坍塌问题。
-
从压缩理论看 BPE：与 LZ78 的亲缘关系BPE 和 LZ78 都在做"建字典、用短码替换高频子串"，区别在离线全局贪心与在线顺序解析，本文用同一框架看清两者。
-
困惑度的信息论含义：有效分支因子与每 token 比特数困惑度是交叉熵的指数化：PPL=2^(比特/token)。它把 loss 翻译成"等效在多少个等概率选项里猜"，但跨 tokenizer 比较是无效的——换算公式与常见误用一次说清。