标签：多语言
-
多语言语料的采样温度：p^(1/T) 背后的最优分配推导网络语料的语言分布极不均衡，直接按自然分布训练会让小语种饿死在数据里。采样温度 p^(1/T) 是经验修正，这篇用约束优化的"水资源分配"推导说明最优采样指数应该长什么样，以及 XLM-R 的 0.3 是怎么落在理论区间里的。
-
中文与多语言词表的均衡：一个字占几个 token 的成本问题中英 token 成本差两三倍是词表偏置的直接后果，本文量化语言间压缩率差异及其对成本、上下文、训练充分性的连锁影响。