同样一笔参数预算,该摊给宽度还是深度?理论侧有 Telgarsky 的深度指数优势定理,优化侧有宽度带来的"惰性训练"便利,工程侧 Chinchilla 系模型给出了深度随宽度线性增长的经验配方。这篇把三条线的结论摆在一起。