标签：Transformer
-
注意力机制三问：Q、K、V 各自扮演什么角色从检索类比出发，讲清 Q/K/V 三分法的数学实质：匹配和内容分离、为什么需要三个不同的投影矩阵，以及自注意力与 cross attention 的差别。
-
可学习位置嵌入的局限BERT/GPT-2 时代的可学习绝对位置嵌入本质是一张查表：每个位置一个自由向量。它在训练区间内够用，但表外位置既没有结构约束也没有梯度信号，距离泛化和长度外推一起失效——这篇拆这张表的数学本质，以及它逼出来的相对位置方案。
-
相对位置编码谱系：Shaw 到 T5 bias在 RoPE 成为标配之前，相对位置编码走过一条"把偏移量直接塞进注意力"的路线：Shaw 给 key 加偏移向量，Transformer-XL 拆成四项，T5 干脆在 logits 上加一张标量偏置表。这篇按时间推一遍它们的数学形式、各自的动机，以及为什么这条路线最终让位给乘性方案。
-
-
注意力机制的分步反向传播：Q/K/V 的梯度如何穿过 softmax 回传把 scaled dot-product attention 拆成 S=QKᵀ、P=softmax(S)、O=PV 三段，逐段推 VJP，给出 dQ、dK、dV 的闭式，并解释 causal mask 与 FlashAttention 反向的处理。