标签：滑动窗口注意力

• 
  滑动窗口与 RoPE 的交互：窗口内一致性的得与失

  2026-03-02 · ai

  滑动窗口注意力位置编码推理部署

  滑窗让 RoPE 的相对位置永远落在训练分布内，KV 淘汰也天然安全；但窗口尺寸变更、混合层 cache 语义、流式切块三个场景各自有坑。