标签：线性代数
-
注意力矩阵的秩与表达能力softmax 前的打分矩阵 S=QKᵀ/√d 秩不超过 d，softmax 后的 P 却满秩但谱集中——"低秩瓶颈"到底卡在哪。这篇分清两个秩的层次，并说明线性注意力路线如何从秩的视角绕开 O(n²)。
-
自注意力的矩阵化：从两两点积到一次矩阵乘自注意力概念的原始形态是"每个词看所有词"的双重循环，把它写成 QKᵀ 一个矩阵乘是 Transformer 能落地的关键一步。这篇对比两种写法，讲清矩阵化带来的复杂度与硬件红利。