Lecture 4 课件完整翻译

2026 年秋季学期，授课教师：Haipeng Luo

依据本地 lecture4.pdf（9 页）逐节完整翻译。保留定理、命题、引理及公式 (1)–(4) 的原编号和证明结构；图 1、图 2 提取自原课件。少量原文的简写、笔误及常数约定另以“译注”标明，不混入原论证。配套：详细讲解报告。

1 回归：Fat-shattering 维数

上一讲，我们利用不同的覆盖数，对实值函数类的 Rademacher 复杂度推导了几个上界，随后开始寻找一个类似于分类问题中 VC 维的组合参数，希望它能直接给出覆盖数的上界。第一次尝试是伪维数，定义为

Pdim (F) = VCdim ({h (x, y) = sign (f (x) - y) : f \in F}) .

也就是说，它是满足下述条件的最大整数 $n$ ：存在 $n$ 个输入输出对 $(x_{1}, y_{1}), \dots, (x_{n}, y_{n}) \in X \times [- 1, + 1]$ ，使得对于任何标记 $s_{1}, \dots, s_{n} \in {- 1, + 1}$ ，都存在 $f \in F$ ，对所有 $t = 1, \dots, n$ 满足 $sign (f (x_{t}) - y_{t}) = s_{t}$ 。

对于线性类，这是一个合理的复杂度度量；但对可学习的单调不减函数类，它却是无穷大。事实上，对于任意 $n$ ，取输入输出对 $(0, 0/ n), (1, 1/ n), (2, 2/ n), \dots$ 。对任意标记 $s_{1}, \dots, s_{n}$ ，选择某个 $ϵ \in (0, 1/ (2 n)]$ ，总可以找到一个单调不减函数，经过

(0, 0/ n + s_{1} ϵ), (1, 1/ n + s_{2} ϵ), (2, 2/ n + s_{3} ϵ), \dots,

从而满足所有符号要求。因此，有限伪维数不是可学习性的必要条件。

比较伪维数与覆盖数的定义，可以发现前者缺少的是尺度 $α$ 。直观上，我们需要一个依赖尺度的组合参数，并且尺度越大，它就越小。一种做法是要求诱导出的二分类器 $sign (f (x) - y)$ 不仅预测正确，还要以某个置信程度或间隔（margin）预测正确。这就引出了 fat-shattering 的概念。

具体地，如果存在 $y_{1}, \dots, y_{n} \in [- 1, + 1]$ （称为打散的见证），使得对于任意标记 $s_{1}, \dots, s_{n} \in {- 1, + 1}$ ，都存在 $f \in F$ ，满足

s_{t} (f (x_{t}) - y_{t}) \geq \frac{α}{2}, t = 1, \dots, n,

就称 $F \subseteq [- 1, + 1]^{X}$ $α$ -打散了点集 $x_{1}, \dots, x_{n}$ 。这个不等式恰好表示以至少 $α /2$ 的间隔正确预测标签 $s_{t}$ 。尺度 $α$ 下的 fat-shattering 维数定义为最大可打散点集的大小：

fat (F, α) = max {n : 存在被 F α - 打散的点集 x_{1 : n}} .

显然， $fat (F, α)$ 随 $α$ 单调不增：若能以尺度 $α$ 打散某个集合，那么也能以任意更小的尺度 $α^{'} < α$ 打散它。当 $α$ 趋于零时，fat-shattering 维数就变为伪维数。

回到单调不减函数类。前面的构造只能保证 $ϵ \in (0, 1/ (2 n)]$ 的间隔，随着 $n$ 增大，间隔越来越小。若要求间隔至少为 $α /2$ ，该构造在 $n \leq 1/ α$ 时仍成立，因此

fat (F, α) \geq ⌊ 1/ α ⌋ .

当 $n > 1/ α$ 时，这个构造不再有效。但这并不能证明 fat 维数恰好为 $⌊ 1/ α ⌋$ （想想为什么）。下面的命题说明， $1/ α$ 确实给出了正确的阶。

命题 1。 设 $X = R$ 、 $Y = [- 1, + 1]$ ， $F \subseteq Y^{X}$ 为所有单调不减函数组成的类。对任意 $α > 0$ ，

fat (F, α) \leq \frac{2}{α} + 1.

证明。 假设 $x_{1} \leq \dots \leq x_{n}$ 被 $F$ 以尺度 $α$ 打散，见证为 $y_{1}, \dots, y_{n}$ 。对于每个 $t = 1, \dots, n - 1$ ，考虑满足 $s_{t} = + 1, s_{t + 1} = - 1$ 的标记，其余点的标记任意。由定义存在 $f \in F$ ，使

f (x_{t}) \geq y_{t} + \frac{α}{2}, f (x_{t + 1}) \leq y_{t + 1} - \frac{α}{2} .

由于 $f$ 单调不减且 $x_{t} \leq x_{t + 1}$ ，

y_{t} + \frac{α}{2} \leq f (x_{t}) \leq f (x_{t + 1}) \leq y_{t + 1} - \frac{α}{2} .

于是 $y_{t + 1} - y_{t} \geq α$ 。累加得到

2 \geq y_{n} - y_{1} = t = 1 \sum n - 1 (y_{t + 1} - y_{t}) \geq (n - 1) α,

其中第一个不等式来自 $y_{1}, y_{n} \in [- 1, + 1]$ 。故 $n \leq 2/ α + 1$ ，命题得证。

那么，fat-shattering 维数与覆盖数有什么联系？也存在类似 Sauer 引理的结论，这里只陈述而不证明。

定理 1。 对任意 $F \subseteq [- 1, + 1]^{X}$ 、 $α \in (0, 1)$ 和任意输入 $x_{1 : n}$ ，存在绝对常数 $c > 0$ ，使

ln N_{2} (F ∣_{x_{1 : n}}, α) = O (fat (F, c α) ln \frac{1}{α}) .

这个上界比伪维数上界更紧，因为 $fat (F, c α) \leq Pdim (F)$ 。它还不依赖 $n$ ，粗略地说，意味着 $F ∣_{x_{1 : n}}$ 位于 $[- 1, + 1]^{n}$ 内某个“维数为 $fat (F, c α)$ ”的空间中。应用 Dudley 熵积分，就能进一步得到 Rademacher 复杂度上界。例如，单调不减函数类满足下面的结论。

译注：“维数空间”是有效复杂度的直观比喻，不是线性子空间包含关系。若要把上式写成对整个 $(0, 1)$ 区间一致成立的常用形式，可把对数写作 $ln (C / α)$ ，其中 $C > 1$ 为常数，避免 $α ↑ 1$ 时对数趋零。详细讲解采用这一写法。

命题 2。 对 $X = R$ 、 $Y = [- 1, + 1]$ 上的所有单调不减函数类 $F$ ，

R^{iid} (F) = O (1/ n) .

证明。 将

ln N_{2} (F ∣_{x_{1 : n}}, α) = O (\frac{1}{α} ln \frac{1}{α}) = O (α^{- 3/2})

代入 Dudley 熵积分，得到

R^{iid} (F) = O (α in f [α + \frac{1}{n} \int_{α}^{1} \frac{d δ}{δ ^{3/4}}]) = O (1/ n) .

上一讲通过 $ℓ_{\infty}$ 覆盖数上界 $N_{\infty} (F ∣_{x_{1 : n}}, α) \leq (n + 1)^{1/ α}$ ，得到了 $O (ln n / n)$ 的复杂度界；这里利用 fat 维数直接控制 $ℓ_{2}$ 覆盖数，进一步去掉了根号中的 $ln n$ 因子。这展示了直接使用 fat-shattering 维数的优势。

事实上，与伪维数不同，有限 fat-shattering 维数已被证明是 $F$ 可学习的必要条件。综合起来，我们得到统计学习博弈值的一串紧上界：

V^{iid} (F, n) \leq P sup E [f \in F sup (L (f) - \frac{1}{n} t = 1 \sum n ℓ (f, z_{t}))] \leq 2 P sup R^{iid} (ℓ (F)) \leq 2 G P sup R^{iid} (F) \leq 2 G x_{1 : n} sup 0 \leq α \leq 1 min [4 α + \frac{12}{n} \int_{α}^{1} ln N_{2} (F ∣_{x_{1 : n}}, δ) d δ] \leq 2 G 0 \leq α \leq 1 min O (α + \frac{1}{n} \int_{α}^{1} fat (F, cδ) ln \frac{1}{δ} d δ) . （ ERM ） （对称化） （去掉损失） （ Dudley ） （定理 1 ）

译注：这里“有限”指每个固定正尺度上的维数有限。必要性要放在相应实值学习问题和损失假设下理解，不能推广到任意损失（例如恒零损失）。 $G$ 是损失对预测值的 Lipschitz 常数；所需可测性、可积性与前几讲相同。

2 理解神经网络的复杂度

到这里，我们已经介绍了理解统计学习所需的基本概念和工具。现在以神经网络为案例，看看这些理论能否至少部分解释它在实践中的成功。

神经网络的一大谜题是：即使参数数量比训练样本量大好几个数量级，它们为什么仍能泛化？现代网络可以轻易拥有数百万乃至数十亿个参数，表达能力很强，往往能取得零训练误差。要让训练集上的好表现推广到未见数据，理论提示我们研究一致收敛，或更一般地研究对应函数类的可学习性。

分类问题的可学习性可用 VC 维刻画。但神经网络的 VC 维似乎常常至少与样本量一样大。例如，一个约有一百万参数的全连接前馈网络，能够完美拟合含五万张图片、标签完全随机的 CIFAR10；这为模型类能够打散 CIFAR10 提供了有力证据 [Zhang et al., 2017]。从

V^{iid} (F, n) ≲ VCdim (F) / n

这样的理论界来看，我们不应期待该类有很好的泛化保证。可是，同一个网络在干净的 CIFAR10 上训练，却能达到约 50% 的准确率；对于十分类问题，这已明显优于随机猜测。参数量相近的卷积网络甚至可以达到接近 90% 的准确率。

其他复杂度量似乎也遇到了困难：即使在线性函数类这个神经网络的退化特例中，前面推导的超额风险界也形如 $d / n$ ，其中 $d$ 基本就是参数个数，而训练神经网络时常有 $d ≫ n$ 。难道前面学到的理论完全没有用吗？

并非如此。这只说明 VC 维或参数个数很可能不是衡量网络内在复杂度的合适量。直观上，权重的大小应该起到更重要的作用。我们在 HW1 中已经见过例子：当线性函数权重满足 $∥ θ ∥_{2} \leq b$ 时，Rademacher 复杂度至多为

\frac{b}{n} t = 1 \sum n ∥ x_{t} ∥_{2}^{2},

它不显式依赖维数，说明真正影响复杂度的是权重范数，而非向量的维度。

下面主要沿用 Bartlett et al. [2017] 的思路：先为线性类推导几乎不依赖维数的覆盖数界，再推广到对应单层网络的矩阵情形，最后推广到完整网络。理论推导之后，我们再回到实验结果，讨论新上界是否解释了神经网络的实践表现。

译注：较大的最坏情形上界只是无法提供有效保证，并不证明某个数据分布上的实际泛化一定很差；拟合若干随机标记也不是“拟合全部标记”的形式证明。CIFAR10 是多分类问题，原文在这里借用二分类 VC 维作直观讨论。

2.1 几乎不依赖维数的覆盖数：热身

先证明一个在线性类上成立的对数覆盖数上界（HW1 中已出现）。它对 $d$ 的显式依赖只有对数级。

定理 2。 对函数类

F = {f_{θ} (x) = ⟨ θ, x ⟩ : θ \in R^{d}, ∥ θ ∥_{2} \leq b},

有

ln N_{2} (F ∣_{x_{1 : n}}, α) \leq \frac{b ^{2} ∥ X ∥ _{F}^{2} ln ( 2 d )}{n α ^{2}}, ∥ X ∥_{F} = t = 1 \sum n ∥ x_{t} ∥_{2}^{2},

其中 $X \in R^{n \times d}$ 以 $x_{1}^{⊤}, \dots, x_{n}^{⊤}$ 为各行。

相比之下，上一讲在 $∥ x_{t} ∥_{2} \leq 1$ 下得到了

ln N_{2} (F ∣_{x_{1 : n}}, α) \leq ln N (F, α) \leq d ln (2 b / α + 1),

它对 $d$ 是线性依赖。新上界对 $α$ 的依赖虽然更差，但得益于 Dudley 积分，最终并不会改变 Rademacher 复杂度关于 $n$ 的主要速率。在 HW1 中，需要由此证明忽略对数因子后的 $b \sum_{t} ∥ x_{t} ∥_{2}^{2} / n$ 上界；它仍是 $1/ n$ 阶，却没有维数的多项式依赖。

为证明定理 2，回顾 HW1 中证明的结论。

引理 1。 设 $v_{1}, \dots, v_{d} \in B_{2}^{n}$ 是 $n$ 维欧氏单位球中的点，且

S = {i = 1 \sum d β_{i} v_{i} : β_{i} \geq 0, i = 1 \sum d β_{i} \leq B}, B > 0.

则 $ln N_{2} (S, α) \leq B^{2} ln d / (n α^{2})$ 。原文称 $S$ 为这些点的凸包经 $B$ 缩放后的集合。

译注：由于系数和允许小于 $B$ ，严格地说 $S = B conv {0, v_{1}, \dots, v_{d}}$ 。一般有限采样证明应保留向上取整及零原子，例如 $ln N_{2} (S, α) \leq ⌈ B^{2} / (n α^{2})⌉ ln (d + 1)$ 。原文省略了这些细节，定理 2–4 的精确常数也应结合这一约定理解；它们强调的尺度与维数依赖不受影响。

定理 2 的证明。 每个样本投影向量都是 $X θ$ 。令

v_{i} = \frac{X _{:, i}}{∥ X _{:, i} ∥ _{2}}, β_{i} = θ_{i} ∥ X_{:, i} ∥_{2},

则 $∥ v_{i} ∥_{2} = 1$ ，并且 $X θ = \sum_{i} β_{i} v_{i}$ 。不过 $β_{i}$ 可能为负，与引理 1 的条件不一致。可以写成

X θ = i = 1 \sum d [I {β_{i} \geq 0} β_{i} v_{i} + I {β_{i} < 0} (- β_{i}) (- v_{i})] .

因此只要把基向量数从 $d$ 加倍为 $2 d$ ，使用 $\pm v_{1}, \dots, \pm v_{d}$ ，即可让系数非负。再由 Cauchy–Schwarz 不等式，

i \sum ∣ β_{i} ∣ = ∥ β ∥_{1} \leq ∥ θ ∥_{2} ∥ X ∥_{F} \leq b ∥ X ∥_{F} = : B .

应用引理 1 即得结论。对于其他原始范数与对偶范数对，也可用同样论证证明类似结果，这里不再展开，读者可以尝试。

译注：若某列 $X_{:, i} = 0$ ，直接删去该零原子，避免除零。这里需要的是投影集合包含于相应缩放凸包，不要求二者相等。

2.2 几乎不依赖维数的覆盖数：单层网络

考虑单层神经网络：通过 $W \in R^{m \times d}$ 和逐坐标 ReLU 激活 $σ$ ，将 $x \in R^{d}$ 映射到 $R^{m}$ 。一维 ReLU 定义为 $σ (u) = max {u, 0}$ 。我们关心 $(1, 2)$ 混合范数

∥ W ∥_{1, 2} = ∥ (∥ W_{:, 1} ∥_{1}, \dots, ∥ W_{:, d} ∥_{1}) ∥_{2},

即先求每列的 $ℓ_{1}$ 范数，再对这些数求 $ℓ_{2}$ 范数。原因将从证明中自然出现。

定理 3。 对

F = {x \mapsto σ (W x) : W \in R^{m \times d}, ∥ W ∥_{1, 2} \leq b},

有

ln N_{2} (F ∣_{x_{1 : n}}, α) \leq \frac{b ^{2} ∥ X ∥ _{F}^{2} ln ( 2 d m )}{nm α ^{2}} .

证明。 每个投影是 $σ (X W^{⊤}) \in R^{n \times m}$ 。ReLU 为 1-Lipschitz，因此只需覆盖线性集合 ${X W^{⊤} : ∥ W ∥_{1, 2} \leq b}$ 。展开

X W^{⊤} = X i = 1 \sum d j = 1 \sum m W_{j i} e_{i} e_{j}^{⊤} = i = 1 \sum d j = 1 \sum m W_{j i} X e_{i} e_{j}^{⊤} = i, j \sum β_{ij} v_{ij},

其中

β_{ij} = W_{j i} ∥ X e_{i} e_{j}^{⊤} ∥_{F}, v_{ij} = \frac{X e _{i} e _{j}^{⊤}}{∥ X e _{i} e _{j}^{⊤} ∥ _{F}} .

将每个矩阵原子视为 $nm$ 维向量，就可应用引理 1：引理中的 $n$ 换为 $nm$ ，原子数换为 $2 d m$ ，因子 2 同样来自正负系数。只剩计算系数总量：

i, j \sum ∣ β_{ij} ∣ = i, j \sum ∣ W_{j i} ∣∥ X e_{i} e_{j}^{⊤} ∥_{F} = i = 1 \sum d (j = 1 \sum m ∣ W_{j i} ∣) ∥ X e_{i} ∥_{2} \leq i = 1 \sum d (j = 1 \sum m ∣ W_{j i} ∣)^{2} ∥ X ∥_{F} = ∥ W ∥_{1, 2} ∥ X ∥_{F} \leq b ∥ X ∥_{F} = : B .

这里再次使用了 Cauchy–Schwarz 不等式。应用引理 1 即完成证明。

这个界对参数个数 $d m$ 的依赖仍很弱。 $(1, 2)$ 混合范数是在分析过程中自然出现的。Bartlett et al. [2017] 用略有不同的方法计算 $B$ ，得到与 $W^{⊤}$ 的 $(2, 1)$ 混合范数有关的上界：

i, j \sum ∣ β_{ij} ∣ = j = 1 \sum m i = 1 \sum d ∣ W_{j i} ∣∥ X e_{i} e_{j}^{⊤} ∥_{F} \leq j = 1 \sum m ∥ W_{j, :} ∥_{2} ∥ X ∥_{F} = ∥ W^{⊤} ∥_{2, 1} ∥ X ∥_{F} .

因为总有 $∥ W ∥_{1, 2} \leq ∥ W^{⊤} ∥_{2, 1}$ （两边平方后使用 Cauchy–Schwarz 即可证明），这里的结果看起来比 Bartlett et al. [2017] 略有改进。

2.3 几乎不依赖维数的覆盖数：多层网络

下面推广到一般全连接前馈多层神经网络。先建立记号。

总层数为 $H$ ，第 $h$ 层从 $R^{d_{h - 1}}$ 映射到 $R^{d_{h}}$ ，其中 $d_{0} = d$ ，并记 $d_{m a x} = max {d_{0}, \dots, d_{H}}$ 。

第 $h$ 层的权重属于 $W_{h}$ ， $b_{h}, s_{h} > 0$ 。 $∥ W ∥_{2} = max_{x \neq = 0} ∥ W x ∥_{2} /∥ x ∥_{2}$ 是谱范数。

W_{h} = {W \in R^{d_{h} \times d_{h - 1}} : ∥ W ∥_{1, 2} \leq b_{h}, ∥ W ∥_{2} \leq s_{h}}

用 $F_{h}$ 表示下面定义的前 $h$ 层网络类。最终关心的是 $F = F_{H}$ 。

F_{h} = {x \mapsto σ (W_{h} \dots σ (W_{2} σ (W_{1} x)) \dots) : W_{k} \in W_{k}, k \leq h}

对 $γ_{h} \geq 0$ 和 $M \in R^{n \times d_{h - 1}}$ ，用 $C (M, W_{h}, γ_{h})$ 表示 ${σ (M W^{⊤}) : W \in W_{h}}$ 的最小 $γ_{h} / n d_{h}$ -覆盖。由定理 3，

ln ∣ C (M, W_{h}, γ_{h}) ∣ \leq \frac{b _{h}^{2} ∥ M ∥ _{F}^{2} ln ( 2 d _{h - 1} d _{h} )}{γ _{h}^{2}} \leq \frac{b _{h}^{2} ∥ M ∥ _{F}^{2} ln ( 2 d _{m a x}^{2} )}{γ _{h}^{2}} .

不失一般性，假设覆盖中心也属于上述被覆盖的集合；原文脚注指向 HW1 第 3(a)i 题。

译注：这里的 $γ_{h} / n d_{h}$ 是归一化距离 $∥ A - B ∥_{F} / n d_{h}$ 下的半径，等价于未归一化 Frobenius 半径 $γ_{h}$ 。原文称它“相对于 Frobenius 范数”的表述容易混淆。把外部覆盖中心移入集合一般需要半径加倍，不能无条件保持同一精确常数；后续按原文简写记录，详解给出常数修正。

递归定义

S_{0} = {X}, S_{h} = M \in S_{h - 1} ⋃ C (M, W_{h}, γ_{h}) .

每个 $M_{h} \in S_{h}$ 都可写成 $σ (M_{h - 1} W_{h}^{⊤})$ ，其中 $M_{h - 1} \in S_{h - 1}$ 。因为 $σ (0) = 0$ 、ReLU 为 1-Lipschitz，且 $∥ W_{h} ∥_{2} \leq s_{h}$ ，

∥ M_{h} ∥_{F} = ∥ σ (M_{h - 1} W_{h}^{⊤}) - σ (0) ∥_{F} \leq ∥ M_{h - 1} W_{h}^{⊤} ∥_{F} \leq s_{h} ∥ M_{h - 1} ∥_{F} .

递归应用可得 $∥ M_{h} ∥_{F} \leq ∥ X ∥_{F} \prod_{k = 1}^{h} s_{k}$ ，因此

ln ∣ S_{h} ∣ \leq ln ∣ S_{h - 1} ∣ + \frac{b _{h}^{2} ∥ X ∥ _{F}^{2} ( \prod _{k < h} s _{k}^{2} ) ln ( 2 d _{m a x}^{2} )}{γ _{h}^{2}} . (1)

下面证明每个 $S_{h}$ 确实覆盖 $F_{h} ∣_{x_{1 : n}}$ ，二者都是 $R^{n \times d_{h}}$ 的子集。

引理 2。 对每个 $h = 1, \dots, H$ ， $S_{h}$ 是 $F_{h} ∣_{x_{1 : n}}$ 的 $α_{h} / n d_{h}$ -覆盖，其中

α_{h} = γ_{h} + s_{h} α_{h - 1}, α_{0} = 0.

证明。 对 $h$ 归纳。 $h = 1$ 时， $S_{1} = C (X, W_{1}, γ_{1})$ ，且 $α_{1} = γ_{1}$ ，由定义成立。一般地，假设结论对 $h - 1$ 成立。对任意真实网络的前 $h - 1$ 层输出

A_{h - 1} = σ (\dots σ (σ (X W_{1}^{⊤}) W_{2}^{⊤}) \dots W_{h - 1}^{⊤}),

归纳假设保证存在 $M_{h - 1} \in S_{h - 1}$ ，使

∥ M_{h - 1} - A_{h - 1} ∥_{F} \leq α_{h - 1} . (2)

再由 $C$ 的定义，找到 $M_{h} \in C (M_{h - 1}, W_{h}, γ_{h}) \subseteq S_{h}$ ，使

∥ M_{h} - σ (M_{h - 1} W_{h}^{⊤}) ∥_{F} \leq γ_{h} . (3)

令 $A_{h} = σ (A_{h - 1} W_{h}^{⊤})$ 。合并可得

∥ M_{h} - A_{h} ∥_{F} \leq ∥ M_{h} - σ (M_{h - 1} W_{h}^{⊤}) ∥_{F} + ∥ σ (M_{h - 1} W_{h}^{⊤}) - σ (A_{h - 1} W_{h}^{⊤}) ∥_{F} \leq γ_{h} + ∥ (M_{h - 1} - A_{h - 1}) W_{h}^{⊤} ∥_{F} \leq γ_{h} + ∥ M_{h - 1} - A_{h - 1} ∥_{F} ∥ W_{h} ∥_{2} \leq γ_{h} + s_{h} α_{h - 1} = α_{h} .

各步依次使用三角不等式、式 (3) 与 ReLU 的 Lipschitz 性、谱范数性质、式 (2) 与权重约束。归纳完成。

适当设置 $γ_{1}, \dots, γ_{H}$ ，便得到主要定理。

定理 4。 对 $H$ 层网络类 $F = F_{H}$ ，

ln N (F ∣_{x_{1 : n}}, α) \leq \frac{∥ X ∥ _{F}^{2} ln ( 2 d _{m a x}^{2} )}{n d _{H} α ^{2}} (h = 1 \prod H s_{h}^{2}) (h = 1 \sum H (b_{h} / s_{h})^{2/3})^{3} .

译注：定理 4 的 $N$ 在这里指沿用前文的归一化 $ℓ_{2}$ /Frobenius 覆盖数。

证明。 引理 2 给出

ln N (F ∣_{x_{1 : n}}, \frac{α _{H}}{n d _{H}}) \leq ln ∣ S_{H} ∣ \leq ∥ X ∥_{F}^{2} ln (2 d_{m a x}^{2}) h = 1 \sum H \frac{b _{h}^{2} \prod _{k < h} s _{k}^{2}}{γ _{h}^{2}} .

现在在约束

α_{H} = γ_{H} + s_{H} α_{H - 1} = h = 1 \sum H γ_{h} k = h + 1 \prod H s_{k}

下选择 $γ_{h}$ ，使该上界最小。用概率向量 $ρ \in Δ_{H}$ 分配最终总误差：第 $h$ 层承担的最终误差为

α_{H} ρ_{h} = γ_{h} k = h + 1 \prod H s_{k} .

将 $γ_{h} = α_{H} ρ_{h} / \prod_{k > h} s_{k}$ 代入，得到

\frac{∥ X ∥ _{F}^{2} ln ( 2 d _{m a x}^{2} )}{α _{H}^{2}} (h = 1 \prod H s_{h}^{2}) h = 1 \sum H \frac{b _{h}^{2}}{ρ _{h}^{2} s _{h}^{2}} .

只剩在 $ρ \in Δ_{H}$ 下最小化最后一项。KKT 条件给出最优 $ρ_{h} \propto (b_{h} / s_{h})^{2/3}$ ，最优值为

(h = 1 \sum H (b_{h} / s_{h})^{2/3})^{3} .

最后写成 $α_{H} = α n d_{H}$ ，即得定理。

由于对 $α$ 的依赖仍是 $1/ α^{2}$ ，与线性情形相同，利用类似 HW1 第 1(b) 题的计算可知，复杂度的主要量级为

O \frac{∥ X ∥ _{F}}{n} (h = 1 \prod H s_{h}) (h = 1 \sum H (b_{h} / s_{h})^{2/3})^{3/2} .

除对数因子外，这再次没有显式的参数个数依赖。于是对权重 $W = (W_{1}, \dots, W_{H})$ ，定义其谱复杂度为

R (W) = (h = 1 \prod H ∥ W_{h} ∥_{2}) (h = 1 \sum H (\frac{∥ W _{h} ∥ _{1, 2}}{∥ W _{h} ∥ _{2}})^{2/3})^{3/2} .

2.4 用谱复杂度与 margin 解释神经网络的泛化

前面的推导提示，网络的泛化与谱复杂度有关，而不仅是参数个数。下面讨论 Bartlett et al. [2017] 的实验。

图 1：AlexNet 在原始标签或随机标签 CIFAR10 上训练的结果

图 1。 在 CIFAR10 上训练 AlexNet 的实验结果：原始标签与随机标签。

图中展示了训练轮次增加时，“excess risk”和“Lipschitzness”的变化。这里 excess risk 实际指测试误差减去训练误差，即泛化间隙，因此它通常随训练上升。原课件把 Lipschitzness 描述为与谱复杂度相差常数的量。叉号标出训练误差首次达到零的时间；原始标签时明显早于随机标签。在此之后，泛化间隙就是测试误差：原始标签下约稳定在 0.3，随机标签下约稳定在 0.9。

两种实验的参数个数相同，无法解释泛化的巨大差异；复杂度曲线则与泛化间隙相关，原始标签下明显更低，说明它提供了更有区分能力的复杂度信息。

译注：原论文把图中 Lipschitz 曲线解释为谱范数乘积，完整谱复杂度还带混合范数修正因子；一般不能把二者视为只差固定常数。图像原样保留，详解区分二者。

Margin。 更细看图，泛化间隙稳定后，复杂度仍在增长，所以仅有 $∥ X ∥_{F} R (W) / n$ 的界还不能完全解释现象。论文进一步使用 margin 衡量预测置信程度：训练误差归零后，网络的复杂度可能继续增加，但对预测也变得更有把握。

网络 $f_{W}$ 通过 $ar g max_{j} f_{W} (x)_{j}$ 预测类别。定义样本 $(x, y)$ 的 margin 为

M (f_{W}, x, y) = f_{W} (x)_{y} - j \neq = y max f_{W} (x)_{j} .

正 margin 表示预测正确，负 margin 表示预测错误；正 margin 越大，预测越有把握。结合前述结果和其他标准工具，论文证明，以高概率，对任意网络 $f_{W}$ 和任意 $γ > 0$ ，

Pr {ar g j max f_{W} (x)_{j} \neq = y} \leq \frac{1}{n} t = 1 \sum n I {M (f_{W}, x_{t}, y_{t}) < γ} + O (\frac{∥ X ∥ _{F} R ( W )}{γ n}) . (4)

$γ$ 控制两项的权衡：第一项随 $γ$ 增大而增大，第二项随之减小。由于该界同时对所有 $γ$ 成立，可以选择权衡最好的值。这是分析中的选择，不是训练算法的超参数。

当训练误差为零时，可取训练集上的最小 margin， $γ_{m i n} = min_{t} M (f_{W}, x_{t}, y_{t})$ ，得到

Pr {ar g j max f_{W} (x)_{j} \neq = y} \leq O (\frac{∥ X ∥ _{F} R ( W )}{γ _{m i n} n}) .

即使谱复杂度继续增加，只要 margin 也相应增加，泛化误差就不一定上升。图 1 的方块曲线展示了除以 margin 后的复杂度，它确实趋于稳定。

译注：margin 为零时涉及平局规则，零训练误差不自动保证 $γ_{m i n} > 0$ 。式 (4) 是课件的主要量级简写；完整高概率界还包括置信项，原论文使用的混合范数形式也不同。若使用 $M \leq γ$ 的端点约定，可取 $0 < γ < γ_{m i n}$ 。

Margin 分布。 对 margin 适当归一化并观察经验分布，可以定性比较任务难度，如图 2。每条曲线对应某个任务中训练的 AlexNet，其 margin 被 $∥ X ∥_{F} R (W) / n$ 归一化。因为式 (4) 可等价改写为

Pr {ar g j max f_{W} (x)_{j} \neq = y} \leq \frac{1}{n} t = 1 \sum n I {\frac{M ( f _{W} , x _{t} , y _{t} )}{∥ X ∥ _{F} R ( W ) / n} < γ} + O (1/ γ),

所以分布的累积分布函数 CDF 对应右侧的第一项。原文这一改写公式的左侧把 $ar g max$ 误写成了 $max$ ，此处已明确更正。

图 2：不同任务的归一化 margin 分布比较

图 2。 比较不同任务的归一化 margin 分布。

分布越偏右，对应任务在这一指标下越容易。图 2 表明：(a) MNIST 比 CIFAR10 更容易；(b) 加上随机标签后二者几乎一样难；(c) 有 100 个类别的 CIFAR100，与带随机标签的 CIFAR10 几乎一样难；(d) 随机输入比随机标签还难。

结束语。 我们用谱复杂度和 margin，对参数量远大于样本量的神经网络仍能泛化给出了合理解释。但我们完全没有回答：为什么在干净数据上训练的网络往往具有较低谱复杂度？训练通常不是在某个固定谱复杂度约束类内做 ERM，而是在没有显式权重范数约束的情况下运行 SGD 的变体。这属于本课程暂时忽略的非凸优化问题；理解 SGD 为什么隐式偏向低复杂度网络，是一个研究方向。

参考文献

Peter L. Bartlett, Dylan J. Foster, Matus J. Telgarsky. Spectrally-normalized margin bounds for neural networks. Advances in Neural Information Processing Systems 30, 2017.
Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, Oriol Vinyals. Understanding deep learning requires rethinking generalization. International Conference on Learning Representations, 2017.