超参数搜索是预训练最贵的隐性成本之一：lr、初始化、warmup 都要扫，而每次试验都意味着一整轮训练。一个诱人的想法是：在小模型（便宜）上扫超参，结果直接迁移到大模型（贵）。这个想法在标准参数化（SP）下不成立——把宽度从 $n$ 扩到 $8n$，最优 lr 可能移动一个数量级以上。μP（maximal update parametrization，Yang & Hu 2021）的价值就在于：它是一组让最优超参对宽度不变的参数化规则，推导过程还顺带回答了"学习率到底在跟谁赛跑"。
失效的根源：更新量与权重量级的错配
看一层隐藏层 $h = \sigma(W x)$，宽度 $n$。SP 下初始化方差取 $\mathrm{Var}(W) = 1/n$（Kaiming 的思路），单次更新的量级是
$$ \lVert \Delta W \rVert = \eta \lVert g \rVert \sim \eta, $$
而权重的谱范数量级是 $\lVert W \rVert \sim \sqrt{n \cdot (1/n)} = O(1)$。训练过程中权重的相对位移累积了 $T$ 步：
$$ \frac{\lVert \Delta W_{\text{cum}} \rVert}{\lVert W \rVert} \sim \frac{\eta\sqrt{T}}{1}. $$
问题不在单次更新，而在宽度缩放到无穷时的极限行为。在 SP 的极限下，训练引发的权重变化对前向输出的贡献与初始化贡献之间的比值，随 $n$ 漂移——具体说，有限宽度训练好的网络在 $n\to\infty$ 极限下退化成一个"初始化就已决定"的函数，梯度信息在特征空间里被稀释。直观图像：特征矩阵每一列是 $\Theta(1/n)$ 量级的小扰动，$n$ 列叠加后总量仍是 $O(1)$，但它和初始化特征的夹角随 $n$ 变化，导致 loss-超参曲线的形状随宽度变形。
μP 的要求：让每个宽度下，训练带来的特征变化与初始化带来的特征变化保持同一个相对比例。满足这个条件的参数化，极限动力学与有限 $n$ 的动力学一致，最优超参自然不漂移。
谱条件与三类参数的缩放规则
Yang & Hu 的形式化工具是：逐参数类别（输入权重、隐藏权重、输出权重）考察"单次更新对输出的扰动谱范数"，要求它随 $n$ 是 $\Theta(1)$（既不消失也不爆炸）。逐类推导的结论：
输入嵌入 $W_e$：每行只被一个 token 使用，没有 $1/n$ 的平均效应。更新对 logits 的影响正比于学习率本身，所以
$$ \eta_e = \Theta(1), \qquad \mathrm{Var}(W_e) = \Theta(1). $$
隐藏层 $W$：输出有 $n$ 个神经元求和，更新幅度被 $1/n$ 稀释。要让贡献为 $\Theta(1)$，需要 $\eta \cdot n \cdot (\text{梯度量级}) \cdot n = O(1)$ 量级配平，结论是
$$ \eta_h = \Theta(1/n), \qquad \mathrm{Var}(W) = \Theta(1/n). $$
注意学习率随宽度反比缩小——这是 μP 最反直觉的一点：模型越宽，单参数学习率越小，但总更新效果（对所有参数求和的扰动）在宽度间不变。
输出头 $W_o$：类比输入层，
$$ \eta_o = \Theta(1), \qquad \mathrm{Var}(W_o) = \Theta(1/n). $$
把三条汇总成一张表（与论文的 abc-parametrization 对应）：
| 参数类别 | 初始化方差 | 学习率 | 与 SP 的差别 |
|---|---|---|---|
| 输入 | $\Theta(1)$ | $\Theta(1)$ | SP 相同 |
| 隐藏 | $\Theta(1/n)$ | $\Theta(1/n)$ | SP 的 lr 是 $\Theta(1)$ |
| 输出 | $\Theta(1/n)$ | $\Theta(1)$ | 初始化差一个 $1/\sqrt n$ |
SP 恰好只在输入层满足条件；它在隐藏层的 lr 大了 $n$ 倍、输出层初始化大了 $\sqrt n$ 倍——两个偏差叠加，就是超参漂移的来源。
实际收益与边界
GPT-3 的技术报告提到用 μP 类参数化做小模型超参搜索再迁移到 175B，直接把关键超参的试验次数压了几个数量级——这基本是 μP 在工业界最著名的背书。使用时要注意三点：
- Adam 需要张量级修正。上面的推导基于 SGD 的几何图像；Adam 的更新是 $\eta \hat m / (\sqrt{\hat v} + \varepsilon)$，与梯度幅值解耦。μP 的 Adam 版本（μP 论文的附录）把隐藏层学习率换成 $\Theta(1/n)$ 的同时，要求初始化的谱范数也匹配缩放，实践中常用近似：隐藏矩阵按 $\mathrm{fan\_in}$ 缩放 lr，embedding 和 head 不缩放。
- 迁移的是"形状"不是"数值"。μP 保证的是最优 lr 不随宽度漂移；深度、数据分布、任务变化时仍会移动。所以正确用法是在同一深度比例（如 $L/n$ 固定）的小宽度上做扫描。
- 深度有它自己的修正。μP 只管宽度方向；深度方向的超参漂移要靠 DeepNorm/残差缩放这类结构手段控制，两者正交。
小结
μP 的核心洞见是：学习率的正确对象不是单个参数，而是"整层权重矩阵对输出的扰动"。把扰动的谱范数配平到 $\Theta(1)$，就得到输入层 lr 不变、隐藏层 lr 乘 $1/n$、输出层初始化乘 $1/\sqrt n$ 三条规则。极限下训练动力学与宽度无关，小模型上扫出的超参才能合法地搬到 10 倍、100 倍宽的模型上。对动辄百万美元一次的预训练，这等于把超参搜索的成本砍掉了宽度比的那个倍数。