标签：归纳偏置

• 
  正弦位置编码的原始设计与性质

  2026-02-06 · ai

  位置编码注意力机制归纳偏置

  Transformer 原论文的位置编码 PE(pos,2i)=sin(pos/10000^{2i/d}) 不是拍脑袋：多尺度波长覆盖从局部到全局的相对距离，且 PE(pos+k) 可以写成 PE(pos) 的线性变换——相对位置信息对注意力天然可及。这篇推这两个性质的代数来源，以及它为什么后来被认为不够。