标签：架构分析
-
残差流视角：信息在层间怎么流把 pre-LN 的 Transformer 看成"一条总线 + 若干读写头"：所有层共享同一个 d 维残差流，注意力头和 FFN 只是往总线上写增量。这个视角解释了 logit lens、叠加态表示和深层的范数膨胀，也为后面几篇归一化分析铺路。
把 pre-LN 的 Transformer 看成"一条总线 + 若干读写头"：所有层共享同一个 d 维残差流，注意力头和 FFN 只是往总线上写增量。这个视角解释了 logit lens、叠加态表示和深层的范数膨胀，也为后面几篇归一化分析铺路。