softmax 前的打分矩阵 S=QKᵀ/√d 秩不超过 d，softmax 后的 P 却满秩但谱集中——"低秩瓶颈"到底卡在哪。这篇分清两个秩的层次，并说明线性注意力路线如何从秩的视角绕开 O(n²)。
注意力矩阵的秩与表达能力