标签：知识存储
-
FFN 的键值记忆假说Geva et al. 提出 Transformer 的 FFN 两层可以读成"键值记忆"：第一层做模式匹配，第二层每一列是一个知识向量。这篇推导这个读法的代数形式，讲清"知识神经元"实验怎么证伪/支持它，以及它和残差流叠加的关系。
Geva et al. 提出 Transformer 的 FFN 两层可以读成"键值记忆"：第一层做模式匹配，第二层每一列是一个知识向量。这篇推导这个读法的代数形式，讲清"知识神经元"实验怎么证伪/支持它，以及它和残差流叠加的关系。