标签：核方法

• 
  线性注意力：用核函数视角把 O(n²) 降到 O(n)

  2026-03-16 · ai

  注意力机制长文本核方法

  softmax(q·k) 是点积上的指数核，换成可分解的特征映射 φ，就能用矩阵乘法结合律把 (QKᵀ)V 改写成 Q(KᵀV)，O(n²) 直接降为 O(n)。这篇推导改写过程、盘点常用 φ 的取舍，并说明递归形式与表达能力代价。

• 
  注意力即核回归

  2026-01-20 · ai

  注意力机制核方法统计学习

  softmax 注意力输出恰好是 Nadaraya-Watson 核回归估计量：上下文是样本，query 是查询点，注意力权重是核函数值。这个对应关系把 in-context learning 解释为"非参数推断"，也给出了注意力和经典统计之间清晰的桥。这篇推一遍对应关系，并指出它解释不了的部分。

• 
  位置编码的频域分析：把 PE 统一成核函数的谱

  2025-05-10 · ai

  位置编码傅里叶分析核方法

  正弦 PE、RoPE、ALiBi 看似三家方案，在频域里是同一个对象的三次取值：每种 PE 都定义一个关于距离的平稳核，核的傅里叶谱决定它能表达什么样的位置函数。