标签：并行计算

• 
  并行块结构：GPT-J 到 PaLM 的加速技巧

  2026-05-12 · ai

  架构优化训练加速并行计算

  把 attention 和 FFN 从"串行两站"改成"并行两路、输出相加"，每个 block 的层内关键路径直接减半，PaLM 靠这一招白拿约 15% 的吞吐。这篇推导这个改动的数学形式、它为什么几乎不掉点，以及和张量并行、流水并行的叠加关系。