注意力即核回归

注意力机制有一个漂亮的统计学身份：把公式

$$ \mathrm{Attn}(Q,K,V)_i = \frac{\sum_{j} e^{q_i^\top k_j/\sqrt d}\,v_j}{\sum_{j} e^{q_i^\top k_j/\sqrt d}} $$

和统计课本里的 Nadaraya-Watson 核回归估计量

$$ \hat m(x) = \frac{\sum_{j=1}^{n} K_h(x, x_j)\,y_j}{\sum_{j=1}^{n} K_h(x, x_j)} $$

放在一起，结构完全同构。这不是巧合的形似，而是同一个数学对象。这一对应把"上下文学习到底在干什么"从一个直觉问题变成可分析的统计问题。

逐项对齐

核回归是非参数估计：不假定 $m$ 的函数形式，直接拿样本的局部加权平均当预测。注意力的"上下文"恰好扮演样本集角色——prompt 里的每个 token 提供一个 (key, value) 样本，输出是对这些样本的核加权平均。softmax 自带归一化，正好对应 NW 估计量的分母；带宽 $h$ 的角色由 $1/\sqrt d$ 的缩放承担：带宽越小核越尖，估计越贴近最近的少数样本、方差大；带宽越大越平滑、偏差大。这就把"缩放点积为什么除以 $\sqrt d$"从数值稳定性（本系列有专篇）之外又补了一层统计解释：它在调估计的偏差-方差平衡。

有一个细节值得点明：经典核回归的核是固定的、对称的（高斯核 $e^{-\|x-x_j\|^2/2h^2}$），而注意力的"核" $e^{q^\top k/\sqrt d}$ 里，$q$ 和 $k$ 是两个独立的可学习投影——不对称，且度量本身在学习。这等价于学习一个 Mahalanobis 距离的核 $e^{-(q-k)^\top M (q-k)}$ 的一半形式：模型学的不是回归函数，而是"什么才算相似"的度量。这是它比经典核回归强的地方，也埋下后面"它解释不了什么"的伏笔。

它能解释什么

in-context learning 的统计化。 Tsai et al.（2019）的论文标题就说破了：Transformer Dissection 把 attention 的输出写成核平滑估计，于是"给几个示例就能学会新任务"不再是魔法——模型在做的是对一个从 prompt 里临时估出来的回归问题求解。few-shot 示例越多，相当于样本量 $n$ 越大，核回归的方差按 $1/n$ 下降，这正是 ICL 精度随示例数对数增长的统计根源。

注意力权重的行为。 softmax 的熵对应核估计的"有效样本数" $n_{\text{eff}} = (\sum p_j)^2/\sum p_j^2$ 的倒数形态：权重均匀 ≈ 大带宽平滑平均；权重尖锐 ≈ 最近邻。前面"注意力熵动力学"一篇的观察在这里有了统计对应。

长度外推的偏差。 核回归在样本稀疏区域外推会塌向样本均值（偏差项主导）——注意力在训练分布之外的位置（超长上下文）行为类似：没有足够的 key 支撑时输出退化为 value 的加权均值。这和 RoPE 外推失效、"attention sink"把多余质量卸给首 token 的现象互相印证。

它解释不了什么

对应关系的边界同样清楚。第一，核回归假设样本独立同分布且目标函数平滑，而上下文的 token 是有序、强相关的序列——序列结构（因果性、句法）完全在这个框架的视野外，这也是 causal mask 需要额外论证的原因。第二，单头注意力是一次核回归，但多层堆叠不是"递归的核回归"：每一层的 $q,k,v$ 都来自上一层的输出，度量在每层重学，整体是深度嵌套的核机器，不是标准的核方法管线。第三，最重要的：核回归的权重是数据决定的常数，而注意力的核函数由参数定义、随训练改变——模型既在回归，又在学度量。纯粹的统计对应解释了"推理时发生什么"，解释不了"训练改变了什么"。

小结

注意力输出与 Nadaraya-Watson 估计量的同构关系，是连接深度学习和经典非参数统计最干净的一座桥：上下文即样本、softmax 即归一化核、缩放即带宽、ICL 即样本量增长带来的方差下降。它的解释力边界也同样清楚——有序的序列结构、逐层重学的度量、训练本身的动力学都不在这个框架内。这座桥真正的用途是单向的：它从统计学借来了对"推理时注意力在做什么"的精确语言，下一篇就用来证明一个惊人的结果——单层的线性注意力层在数学上等价于一步梯度下降。