标签：超参数
-
RoPE 的基频与波长分布RoPE 每个维度对的角频率 θᵢ = base^(−2i/d) 按对数均匀铺开，本质是复用正弦 PE 的多尺度波长思想。底数 10000 不是惯例而是约束的结果：最长波长要盖过训练上下文。这篇算波长账本，给出选底数的定量判据，再看 Llama-3 把 base 提到 500000 是在优化什么。
RoPE 每个维度对的角频率 θᵢ = base^(−2i/d) 按对数均匀铺开，本质是复用正弦 PE 的多尺度波长思想。底数 10000 不是惯例而是约束的结果：最长波长要盖过训练上下文。这篇算波长账本，给出选底数的定量判据，再看 Llama-3 把 base 提到 500000 是在优化什么。