标签：概率基础

• 
  缩放点积的 1/√d：方差视角的推导

  2026-07-20 · ai

  注意力机制数值稳定性概率基础

  为什么注意力打分要除以 √d？因为 q·k 的方差恰好随 d 线性增长，logits 尺度膨胀会让 softmax 饱和、梯度消失。这篇用方差推导给出这个常数的来源，并讨论为什么不是 1/d。