标签：超参数迁移
-
μP：超参数跨尺度迁移的数学，宽度趋于无穷时的参数化在小模型上调好的学习率，搬到 10 倍宽的大模型上往往直接发散或慢一个数量级——因为标准参数化下最优学习率随宽度漂移。μP 给每种参数（输入、隐藏、输出）指定了随宽度 n 缩放的初始化方差和学习率，让最优超参数在宽度之间保持不变。这篇推导 μP 的谱条件，解释 GPT-3 用它省下的算力从哪来。
在小模型上调好的学习率，搬到 10 倍宽的大模型上往往直接发散或慢一个数量级——因为标准参数化下最优学习率随宽度漂移。μP 给每种参数（输入、隐藏、输出）指定了随宽度 n 缩放的初始化方差和学习率，让最优超参数在宽度之间保持不变。这篇推导 μP 的谱条件，解释 GPT-3 用它省下的算力从哪来。