标签：SwiGLU
-
SwiGLU：门控线性单元为什么成为主流SwiGLU 把 FFN 从"投影-激活-投影"改成两个分支相乘的门控结构，三个矩阵多出的参数换来了逐通道的内容选择；推导 GLU 家族的来历、hidden size 的 8/3 账本，以及它与 FFN 键值记忆假说的呼应。
SwiGLU 把 FFN 从"投影-激活-投影"改成两个分支相乘的门控结构，三个矩阵多出的参数换来了逐通道的内容选择；推导 GLU 家族的来历、hidden size 的 8/3 账本，以及它与 FFN 键值记忆假说的呼应。