标签：BatchNorm

• 
  BatchNorm 为什么在 Transformer 里消失了

  2026-02-26 · ai

  归一化BatchNormLayerNorm

  BN 靠 batch 统计量归一化，在 CNN 里是正则化神器；换到变长序列 + 小 batch 的 LLM 场景，统计量本身变成噪声源和耦合源。逐样本归一化的 LN 胜出不是审美选择，是约束倒逼。