标签：注意力替代

• 
  Hyena 与长卷积路线

  2025-08-02 · ai

  长卷积隐式滤波器注意力替代

  Hyena 不用注意力也不用递归，用"长卷积 + 数据控制门控"达到 Transformer 级别的下游质量：滤波器不显式存储，用 MLP 按位置坐标即时生成，参数量 O(log n)。这篇讲隐式卷积核的构造、FFT 卷积的成本账，以及它对比注意力和 SSM 各自丢掉了什么。