每设计一个模型，第一个要拍的板就是形状：$L$ 层、$d$ 维，参数量大致由两者乘积决定（每层约 $12d^2$，注意力与 FFN 各半）。预算固定时，$d$ 大一点还是 $L$ 大一点？这不是纯粹的工程口味问题，三条独立的证据线给出了部分一致的答案。
表达力：深度是组合式函数的刚需
理论上最硬的结论来自 Telgarsky（2016）：存在一维分段线性函数族，深度 $k$、宽度 $O(1)$ 的网络可以精确表示，而任何深度不到 $k$、宽度是深度的多项式的网络表示它都需要指数级（$2^{\Omega(k)}$）的神经元。直觉是函数的复合结构：$f_k \circ f_{k-1} \circ \cdots \circ f_1$ 每多复合一层，锯齿数量翻倍，浅网络只能靠并排的神经元去铺，而深度直接用"层数"换"乘法"。
语言模型关心的函数确实有这种层级组合结构：字符 → 子词 → 短语 → 子句 → 篇章语义。Tennenberg & West（2025）给 Transformer 补了一个干净的构造性结果：两层注意力 + 一层 FFN 可以精确表示任意宽浅网络的注意力层——深度方向两三层就能吸收任意宽度方向的一层。这提示注意力的表达能力瓶颈不在宽度而在深度，至少对小规模是如此。
优化：宽度是平滑的拐杖
表达力只是"能做到"，训练动力学关心"好不好训"。宽度方向的收益在无穷宽极限处看得最清楚：宽度趋于无穷时，网络训练退化成核回归（NTK 机制），目标函数近似凸，学习率、初始化的容差都极大——这就是所谓的惰性训练（lazy training）区间。GPT-3 以前的实践中模型基本都在"宽"的一侧受益：加宽比加深更不容易炸。
但这个收益有暗面：NTK 区间里参数几乎不动，网络只是在"插值"，特征学习很弱。要达到强特征学习，参数更新必须相对初始化有实质性移动，这又要求别宽得离谱。实证上（中等规模 LM 的对照实验）宽度超过某个点后 loss 改善停滞，而同样的参数挪给深度还能持续下降——优化阶段宽度够用即可，深度在表达力上持续产出。
工程配方的收敛
看近几代计算最优模型的实际选择，深度和宽度几乎同步增长，比例锁定在 $L/d \approx 0.008\sim0.01$：LLaMA-7B 是 32 层 × 4096 维（0.0078），LLaMA-70B 是 80 层 × 8192（0.0098）；Chinchilla-70B 是 80 层 × 8192；DeepSeek-V3 是 61 层 × 7168（0.0085）。更系统的拟合（如 depth-scaling 研究）给出经验律：最优深度随算力约按 $C^{0.12\sim0.2}$ 增长，明显慢于宽度，但不是常数——也就是"慢慢加深"而不是"固定深度只加宽"。
为什么不是无脑加深？三个工程约束：流水并行里层数是流水段数的天然上限；残差流的 $\sqrt L$ 范数膨胀和梯度稳定性随深度恶化；以及注意力 $O(n^2)$ 的层数线性放大。宽度侧的约束是显存访问的连续性（张量并行以列为单位切分，宽度过小切分效率差）。两边都有摩擦，于是实际模型把深度/宽度比压在窄带里。
小结
三条线的合成结论：表达力上深度不可省（层级组合函数需要深度，宽度换不来）；优化上宽度要"够用"（太窄训练不稳，太宽掉进惰性训练区间浪费参数）；工程上两者同步增长、深度略慢（$L/d \approx 0.008\sim0.01$，深度按 $C^{0.12\sim0.2}$ 扩）。所以实际选型不是"宽好还是深好"，而是先用任务所需的组合深度定 $L$ 的下限，再把剩余预算摊给宽度去换训练稳定性。下两篇换一个角度：深度定了之后，同一深度下归一化摆在哪个位置，决定了它能不能训得动。