标签：可解释性
-
in-context learning 的一种解释：注意力即隐式梯度下降von Oswald et al. 证明：一个构造好的单层线性自注意力层，前向传播恰好等于对最小二乘问题做一步梯度下降——权重写进 attention 矩阵，上下文是训练集，输出是更新后的预测。这篇完整推一遍这个构造，讲它成立的前提和偏离真实 Transformer 的地方。
-
FFN 的键值记忆假说Geva et al. 提出 Transformer 的 FFN 两层可以读成"键值记忆"：第一层做模式匹配，第二层每一列是一个知识向量。这篇推导这个读法的代数形式，讲清"知识神经元"实验怎么证伪/支持它，以及它和残差流叠加的关系。
-
残差流视角：信息在层间怎么流把 pre-LN 的 Transformer 看成"一条总线 + 若干读写头"：所有层共享同一个 d 维残差流，注意力头和 FFN 只是往总线上写增量。这个视角解释了 logit lens、叠加态表示和深层的范数膨胀，也为后面几篇归一化分析铺路。