标签：FFN
-
FFN 的键值记忆假说Geva et al. 提出 Transformer 的 FFN 两层可以读成"键值记忆"：第一层做模式匹配，第二层每一列是一个知识向量。这篇推导这个读法的代数形式，讲清"知识神经元"实验怎么证伪/支持它，以及它和残差流叠加的关系。
-
SwiGLU：门控线性单元为什么成为主流SwiGLU 把 FFN 从"投影-激活-投影"改成两个分支相乘的门控结构，三个矩阵多出的参数换来了逐通道的内容选择；推导 GLU 家族的来历、hidden size 的 8/3 账本，以及它与 FFN 键值记忆假说的呼应。