标签：架构演进
-
cross attention 与 encoder-decoder 之争Transformer 原典是 encoder-decoder 加 cross attention 的双塔结构，GPT 范式却让 decoder-only 统一了江湖。这场更替不是 cross attention 本身输了，而是"两套参数两种预训练目标"的结构性成本输给了规模——这篇按时间线梳理争论的证据。
Transformer 原典是 encoder-decoder 加 cross attention 的双塔结构，GPT 范式却让 decoder-only 统一了江湖。这场更替不是 cross attention 本身输了，而是"两套参数两种预训练目标"的结构性成本输给了规模——这篇按时间线梳理争论的证据。