标签：上下文学习

• 
  in-context learning 的一种解释：注意力即隐式梯度下降

  2025-10-20 · ai

  上下文学习优化视角可解释性

  von Oswald et al. 证明：一个构造好的单层线性自注意力层，前向传播恰好等于对最小二乘问题做一步梯度下降——权重写进 attention 矩阵，上下文是训练集，输出是更新后的预测。这篇完整推一遍这个构造，讲它成立的前提和偏离真实 Transformer 的地方。