标签：实证分析
-
注意力权重的熵动力学：什么时候广撒网、什么时候单点突破注意力每一行是一个概率分布，熵是它的"混合程度"度量。这篇定义行熵、给出它与 logit 尺度的解析关系，梳理熵在层间和序列上的典型动力学，并连接到 RL 微调里的熵坍塌问题。
-
多头注意力：多头真的学到不同模式吗把 d 维表示切成 h 个子空间并行做注意力，参数没省、FLOPs 没省，多头的设计动机是什么？这篇从低秩分解与表示多样性的角度分析，并整理实证上观察到的头分工。
注意力每一行是一个概率分布，熵是它的"混合程度"度量。这篇定义行熵、给出它与 logit 尺度的解析关系，梳理熵在层间和序列上的典型动力学，并连接到 RL 微调里的熵坍塌问题。
把 d 维表示切成 h 个子空间并行做注意力，参数没省、FLOPs 没省，多头的设计动机是什么？这篇从低秩分解与表示多样性的角度分析，并整理实证上观察到的头分工。