标签：计算最优
-
Chinchilla 定律：token 数与参数量的最优配比是怎么算出来的Chinchilla 用 400 个模型拟合出损失关于参数量 N 与数据量 D 的显式函数，再约束在 FLOPs 预算下求最优配比，得到 N_opt 与 D_opt 都正比于 C^0.5 的结论。这篇把这套计算从头推一遍，并讨论为什么如今的主流模型都在"故意超配数据"。
Chinchilla 用 400 个模型拟合出损失关于参数量 N 与数据量 D 的显式函数，再约束在 FLOPs 预算下求最优配比，得到 N_opt 与 D_opt 都正比于 C^0.5 的结论。这篇把这套计算从头推一遍，并讨论为什么如今的主流模型都在"故意超配数据"。