标签：线性注意力
-
RWKV 与 Mamba：无注意力路线的递归推理注意力用 O(n) 的 KV cache 换逐 token 解码，RWKV 和 Mamba 走另一条路：把序列压缩进固定大小的递归状态，推理恒 O(1)。这篇推导两条路线的更新方程——RWKV 是带指数衰减的线性注意力，Mamba 是输入自适应的离散 SSM——以及它们训练并行的来源。
注意力用 O(n) 的 KV cache 换逐 token 解码，RWKV 和 Mamba 走另一条路：把序列压缩进固定大小的递归状态，推理恒 O(1)。这篇推导两条路线的更新方程——RWKV 是带指数衰减的线性注意力，Mamba 是输入自适应的离散 SSM——以及它们训练并行的来源。