标签：数据配比
-
预训练语料配比：代码数据为什么有用网页、代码、数学、多语言各占多少不是拍脑袋，配比本身服从可测量的 scaling 规律。这篇推导混合数据的损失分解，盘点代码数据提升推理能力的证据链，以及 DoReMi 这类自动配比方法的原理与局限。
-
多语言语料的采样温度：p^(1/T) 背后的最优分配推导网络语料的语言分布极不均衡，直接按自然分布训练会让小语种饿死在数据里。采样温度 p^(1/T) 是经验修正，这篇用约束优化的"水资源分配"推导说明最优采样指数应该长什么样，以及 XLM-R 的 0.3 是怎么落在理论区间里的。