标签：统计学习

• 
  注意力即核回归

  2026-01-20 · ai

  注意力机制核方法统计学习

  softmax 注意力输出恰好是 Nadaraya-Watson 核回归估计量：上下文是样本，query 是查询点，注意力权重是核函数值。这个对应关系把 in-context learning 解释为"非参数推断"，也给出了注意力和经典统计之间清晰的桥。这篇推一遍对应关系，并指出它解释不了的部分。