标签：RMSNorm

• 
  RMSNorm vs LayerNorm：去均值化到底要不要

  2026-10-14 · ai

  归一化RMSNormLayerNorm

  LayerNorm 做减均值除方差两件事，RMSNorm 只做缩放一件；从不变性角度分析两者差别，解释 RMSNorm 为什么够用且更快。