Lecture 4 详细讲解报告

依据 Haipeng Luo 的 Lecture 4（Fall 2026，共 9 页）。按“问题—定义—推导—含义”展开，覆盖命题 1–2、定理 1–4、引理 1–2及两张实验图。定理 1 的深层组合结论与完整多分类 margin 泛化定理在课件中未证明，本文明确说明使用位置；其余关键步骤均展开。补充结论、常数修正和原文笔误单独标明。原课件：lecture4.pdf（本地原课件，未在线发布）。配套：完整中文翻译。前置：Lecture 3 详解。默认样本独立同分布，函数类非空，相关上确界可测、期望存在；回归部分函数值在 $[- 1, 1]$ ，网络部分无偏置且激活为逐坐标 ReLU。统计上界不保证训练优化可高效求解。

阅读导航：这一讲连接了哪两件事

第一条主线解决 Lecture 3 留下的问题：单调函数类的伪维数无限，却可以学习，说明“能够区分多少种符号”还不够，需要问“以多大的间隔区分”。fat-shattering 维数把尺度加入组合复杂度。

第二条主线研究神经网络：参数多不等于在所有尺度上都复杂。先把权重范数变成覆盖数，再把层间误差累积写成谱范数乘积，最后用 margin 消除输出尺度对分类置信度的影响。

阅读部分	关键问题	课件页码
1–4	伪维数缺什么？单调类为什么有 $n^{- 1/2}$ 速率？	1–2
5–7	如何从有限原子的采样得到线性类覆盖数？	3–4
8–10	为什么出现混合范数、谱范数和多层误差递推？	4–6
11–12	$2/3$ 、 $3/2$ 次方从何而来？	6–7
13–15	margin 界和实验图究竟说明什么？	7–9
16–18	常见误区、算例、自测与复习路线	综合

1. 从“任意微小变化”到“固定尺度的变化”

伪维数允许为每个样本点设置门槛 $y_{t}$ ，然后要求实现所有正负号组合：

\forall s \in {- 1, + 1}^{n}, \exists f_{s} \in F, sign (f_{s} (x_{t}) - y_{t}) = s_{t} .

这里没有要求离门槛多远。 $1 0^{- 100}$ 的微小上移与 0.5 的上移，在符号上都是“正”。可覆盖性却与近似精度有关：误差容许 0.01 时，小于 $1 0^{- 100}$ 的区别没有必要分别记住。这就是伪维数与学习难度出现脱节的原因。

fat-shattering 在同样的框架里添加固定间隔：

\forall s \in {- 1, + 1}^{n}, \exists f_{s} \in F, s_{t} (f_{s} (x_{t}) - y_{t}) \geq α /2 \forall t .

当 $s_{t} = + 1$ ，要求 $f_{s} (x_{t}) \geq y_{t} + α /2$ ；当 $s_{t} = - 1$ ，要求 $f_{s} (x_{t}) \leq y_{t} - α /2$ 。正负两种可用输出之间至少相隔 $α$ 。

定义的量词顺序不能颠倒：先固定输入点和见证门槛，再允许标签任意变化，最后根据整组标签选函数。 门槛不能跟着标签变；每个坐标也不能单独选不同函数。

尺度越大，要求越严格，因此

α_{1} \leq α_{2} ⟹ fat (F, α_{1}) \geq fat (F, α_{2}) .

由于输出在 $[- 1, 1]$ ，当 $α > 2$ 时连一个点也无法打散。把两个标签的要求相减，就需要两个合法输出相距超过 2，这是不可能的。

在通常一致的阈值端点约定下，伪维数可看成各正尺度 fat 维数的上确界。不要直接把 $α = 0$ 代入非严格不等式：那会允许所有标签都由同一个取值恰好等于门槛的函数实现，破坏原本含义。

2. 单调类：构造给下界，排除所有构造才给上界

2.1 为什么伪维数无限

取 $x_{t} = t - 1$ 、 $y_{t} = (t - 1) / n$ ，并令

f_{s} (x_{t}) = y_{t} + s_{t} ϵ, 0 < ϵ \leq 1/ (2 n) .

最不利的相邻标签是 $+ 1, - 1$ 。此时

f_{s} (x_{t + 1}) - f_{s} (x_{t}) = \frac{1}{n} - 2 ϵ \geq 0.

因此任何标记下这些指定值都单调，可以用阶梯函数延拓到全实线，并保持范围在 $[- 1, 1]$ 。 $n$ 可以任意大，所以伪维数无限；但间隔 $ϵ$ 随 $n$ 缩小。

这个构造在 $ϵ \geq α /2$ 时要求 $n \leq 1/ α$ ，只证明 $fat \geq ⌊ 1/ α ⌋$ 。当它失效时，可能存在别的构造，不能据此宣布上界。

2.2 命题 1 的上界为何只需要相邻点

假设任意一组排序后的点 $x_{1} < \dots < x_{n}$ 能以尺度 $α$ 打散，见证为 $y_{1}, \dots, y_{n}$ 。对每一对相邻位置，单独考虑标签 $s_{t} = + 1, s_{t + 1} = - 1$ 。由于所有标记都必须可实现，必然有

y_{t} + α /2 \leq f (x_{t}) \leq f (x_{t + 1}) \leq y_{t + 1} - α /2.

于是相邻门槛必须相隔至少 $α$ 。这里不同相邻对允许使用不同的函数；共同受约束的是同一组见证。累加得

(n - 1) α \leq y_{n} - y_{1} \leq 2, n \leq 2/ α + 1.

这覆盖了所有可能的点集和见证，因此才是真正的上界。

2.3 补充：本例可以算出精确值

打散要求每个点都能取正、负标签，加上输出范围，得到

- 1 + α /2 \leq y_{t} \leq 1 - α /2.

于是上面的跨度可加强为 $y_{n} - y_{1} \leq 2 - α$ ，从而 $n α \leq 2$ 。反过来，若 $n α \leq 2$ ，取

y_{t} = - 1 + α /2 + (t - 1) α, f_{s} (x_{t}) = y_{t} + s_{t} α /2.

所有输出均在 $[- 1, 1]$ ，最不利的相邻差是 $α - α = 0$ ，故仍可单调延拓。因此在本讲的 $α /2$ 约定下，

fat (F, α) = ⌊ 2/ α ⌋ (0 < α \leq 2), fat (F, α) = 0 (α > 2) .

这是本文补充的加强结论，课件只需 $Θ (1/ α)$ 的阶。若其他教材把 margin 直接定义为 $α$ ，相应常数会差一倍。

3. Fat 维数怎样进入 Dudley 积分

固定输入 $x_{1 : n}$ 。样本投影是所有预测向量的集合，经验距离与 Rademacher 复杂度分别为

d_{2, n} (u, v) = \frac{1}{n} t = 1 \sum n (u_{t} - v_{t})^{2}, R_{S} (F) = \frac{1}{n} E_{ϵ} f sup t = 1 \sum n ϵ_{t} f (x_{t}) .

覆盖数 $N_{2} (F ∣_{x_{1 : n}}, α)$ 是以 $d_{2, n}$ 为距离、半径 $α$ 的最小覆盖大小。注意普通欧氏半径是 $α n$ 。

定理 1 是深层的尺度敏感组合结论。本文使用其带安全常数的形式：存在绝对常数 $C > 1, c > 0$ ，

ln N_{2} (F ∣_{x_{1 : n}}, δ) \leq C fat (F, cδ) ln (C / δ), 0 < δ < 1.

课件没有给这个定理的证明，它也不是一句“应用普通 Sauer 引理”就能补全的。我们把它作为外部输入，并完整计算后续推论。 $ln (C / δ)$ 还避免了课件 $ln (1/ δ)$ 在 $δ ↑ 1$ 时消失的端点问题。

将它代入 Lecture 3 的 Dudley 界：

R_{S} (F) \leq 0 \leq a \leq 1 in f [4 a + \frac{12}{n} \int_{a}^{1} ln N_{2} (F ∣_{x_{1 : n}}, δ) d δ] .

如果 $fat (F, cδ) ≲ 1/ δ$ ，则被积函数至多是常数倍

\frac{ln ( C / δ )}{δ} .

它在 0 附近可积。直接令 $δ = e^{- u}$ ，得到

\int_{0}^{1} \frac{ln ( C / δ )}{δ} d δ = \int_{0}^{\infty} ln C + u e^{- u /2} d u < \infty.

所以让截断 $a ↓ 0$ 即得命题 2： $R_{S} (F) ≲ n^{- 1/2}$ ，且对所有样本一致成立。再对样本取期望，仍得到相同速率。

课件使用了更简便但略松的计算： $ln (C / δ) ≲ δ^{- 1/2}$ ，于是根号内为 $O (δ^{- 3/2})$ ，积分为

\int_{a}^{1} δ^{- 3/4} d δ = 4 (1 - a^{1/4}) \leq 4.

两种方法都解释了为什么上一讲的 $ln n$ 因子可以消掉：新覆盖数界本身不再含样本位置数带来的 $ln n$ 。

4. 可学习性、速率与损失假设

对 $G$ -Lipschitz 的回归损失，ERM、对称化、收缩依次给出

E [L (f) - f \in F in f L (f)] \leq 2 G E R_{S} (F) .

因此单调类有 $O (G / n)$ 的期望超额风险上界。这不是说每个测试点都误差为零，也不是高概率界；若要高概率保证，还需要有界性与集中步骤。

为什么“每个固定正尺度上 fat 有限”足够令复杂度趋零？即使从 0 开始的积分发散，也可以先固定 $a > 0$ 。在 $[a, 1]$ 上，fat 被 $fat (F, c a) < \infty$ 控制，故积分有限。先令 $n \to \infty$ ，只剩 $4 a$ ；再令 $a ↓ 0$ 。积分在零附近可积决定漂亮的 $n^{- 1/2}$ 速率，不是可学习性的必需条件。

反方向的必要性要连同学习模型与损失一起陈述。不能只凭“Lipschitz”就断言任何损失都以 fat 维数刻画可学习性：恒零损失无论函数类多大都没有学习难度。

5. 神经网络问题：最坏函数类与实际训练结果

一个网络架构能够拟合随机标签，说明架构所容纳的函数类非常丰富。但是“大 VC 维上界无效”不等于“这个网络必定泛化差”。上界大只是证明工具没有给出有效保证。

要区分三层对象：架构允许的全部网络、范数受约束的网络子类、训练算法最终返回的某一个网络。课件后半部分研究第二层，并尝试用它解释第三层；并没有证明 SGD 一定落入一个复杂度很小的子类。

线性模型给出热身。对于 $∥ θ ∥_{2} \leq b$ ，利用对偶范数和 Jensen 不等式，

R_{S} (F) = \frac{b}{n} E_{ϵ} t \sum ϵ_{t} x_{t}_{2} \leq \frac{b}{n} E_{ϵ} t \sum ϵ_{t} x_{t}_{2}^{2} = \frac{b ∥ X ∥ _{F}}{n} .

最后一步是因为 $t \neq = u$ 时 $E ϵ_{t} ϵ_{u} = 0$ ，交叉项消失。若 $∥ x_{t} ∥_{2} \leq r$ ，则 $∥ X ∥_{F} \leq r n$ ，上界为 $b r / n$ 。

没有显式 $d$ 不等于所有维度影响都消失：若每个输入坐标量级不变， $∥ x_{t} ∥_{2}$ 可能随 $d$ 增长。所谓维数无关，必须连同固定范数尺度的假设理解。

6. 引理 1：用随机抽样构造有限覆盖

课件把引理 1 留给 HW1。这里补上完整证明，并保留离散采样必须有的取整项。

设 $∥ v_{i} ∥_{2} \leq 1$ ，任取

z = i = 1 \sum D β_{i} v_{i}, β_{i} \geq 0, i \sum β_{i} \leq B .

定义随机向量 $V$ ：以概率 $β_{i} / B$ 取 $v_{i}$ ，以剩余概率取 0。于是 $B E V = z$ ，且 $E ∥ V ∥_{2}^{2} \leq 1$ 。独立取 $V_{1}, \dots, V_{k}$ ，用

z = \frac{B}{k} r = 1 \sum k V_{r}

近似 $z$ 。独立零均值误差的交叉项为零，因而

E ∥ z - z ∥_{2}^{2} = \frac{B ^{2}}{k} E ∥ V - E V ∥_{2}^{2} \leq \frac{B ^{2}}{k} .

平均误差平方不超过 $B^{2} / k$ ，就至少存在一个采样结果达到该上界。令 $k = ⌈ B^{2} / ε^{2} ⌉$ ，即可达到欧氏误差 $ε$ 。所有可能的抽样序列至多有 $(D + 1)^{k}$ 个，所以

ln N (S, ε; ∥ \cdot ∥_{2}) \leq ⌈ \frac{B ^{2}}{ε ^{2}} ⌉ ln (D + 1) .

对于 $R^{q}$ 中的归一化距离 $∥ u - v ∥_{2} / q$ ，令 $ε = α q$ ，得到

ln N_{2} (S, α) \leq ⌈ \frac{B ^{2}}{q α ^{2}} ⌉ ln (D + 1) .

若原子关于正负对称，0 已经在其凸包内，可重新分配剩余质量而不额外加入零原子；一般形式保留 0 最稳妥。当 $ε \geq B$ ，中心 0 一点就覆盖整个集合；在 $ε < B$ 的有意义范围， $⌈ B^{2} / ε^{2} ⌉ \leq 2 B^{2} / ε^{2}$ ，所以原课件的主要阶成立，但不能把取整随意删掉还宣称常数恰为 1。

这是稀疏化的核心：空间维数可以很高，只要一个向量能用总权重有限的原子表示，就可以用有限次抽样逼近；覆盖大小的对数只需计数抽样序列。

7. 定理 2：线性类变成列原子的组合

样本投影为 $X θ \in R^{n}$ 。对非零列定义

v_{i} = \frac{X _{:, i}}{∥ X _{:, i} ∥ _{2}}, β_{i} = θ_{i} ∥ X_{:, i} ∥_{2} .

零列直接略过。这样 $X θ = \sum_{i} β_{i} v_{i}$ 。负系数交给负原子 $- v_{i}$ ，便得到最多 $2 d$ 个单位原子上的非负组合。Cauchy–Schwarz 给出

i \sum ∣ β_{i} ∣ = i \sum ∣ θ_{i} ∣∥ X_{:, i} ∥_{2} \leq i \sum θ_{i}^{2} i \sum ∥ X_{:, i} ∥_{2}^{2} \leq b ∥ X ∥_{F} .

用引理 1，取 $q = n$ 、 $B = b ∥ X ∥_{F}$ 、 $D \leq 2 d$ ，得到严谨的版本

ln N_{2} (F ∣_{S}, α) \leq ⌈ \frac{b ^{2} ∥ X ∥ _{F}^{2}}{n α ^{2}} ⌉ ln (2 d + 1) .

忽略普适常数与离散取整，即为课件定理 2。这里并不要求原子凸包等于原函数类投影；它覆盖了一个包含投影的更大集合，仍能用于给上界。

旧上界与新上界各有优点：旧界 $d ln (1 + 2 b / α)$ 对精度依赖温和，新界 $O (b^{2} ∥ X ∥_{F}^{2} / (n α^{2}))$ 对维数依赖温和。已知二者都成立时，当然可以取较小者。

8. 定理 3：单层网络与混合范数

现在 $W \in R^{m \times d}$ ，样本输出是 $σ (X W^{⊤}) \in R^{n \times m}$ 。定义归一化矩阵距离

d_{2, nm} (A, B) = \frac{∥ A - B ∥ _{F}}{nm} .

ReLU 不扩大欧氏距离：逐坐标有 $∣ max (u, 0) - max (v, 0) ∣ \leq ∣ u - v ∣$ ，平方后求和即可得到矩阵形式。所以先覆盖 $X W^{⊤}$ ，再对所有中心应用 ReLU，覆盖半径不会增加。

展开矩阵乘积：

X W^{⊤} = i = 1 \sum d j = 1 \sum m W_{j i} X e_{i} e_{j}^{⊤} .

$X e_{i}$ 是第 $i$ 个输入特征在全部样本上的列，乘 $e_{j}^{⊤}$ 后把它放入第 $j$ 个输出坐标。因此

∥ X e_{i} e_{j}^{⊤} ∥_{F} = ∥ X_{:, i} ∥_{2} .

归一化这些原子并添加负原子，共至多 $2 d m$ 个。系数绝对值总和为

i, j \sum ∣ W_{j i} ∣∥ X_{:, i} ∥_{2} = i \sum ∥ W_{:, i} ∥_{1} ∥ X_{:, i} ∥_{2} \leq i \sum ∥ W_{:, i} ∥_{1}^{2} ∥ X ∥_{F} = ∥ W ∥_{1, 2} ∥ X ∥_{F} .

这就是混合范数出现的具体原因。它不是任意选的正则项，而是对按列汇总的系数应用 Cauchy–Schwarz 后留下的量。

将矩阵拉平成 $nm$ 维向量，应用引理 1，得到

ln N_{2} (F ∣_{S}, α) ≲ \frac{b ^{2} ∥ X ∥ _{F}^{2} ln ( 2 d m + 1 )}{nm α ^{2}}

（在非平凡覆盖尺度内；一般版本保留取整）。分母的 $m$ 来自距离归一化，不是“输出越多模型必然越简单”。换成原始 Frobenius 半径 $ε = α nm$ 后，分母就是 $ε^{2}$ 。

混合范数比较的完整证明

设 $r_{j} = (∣ W_{j 1} ∣, \dots, ∣ W_{j d} ∣)$ 。则

∥ W ∥_{1, 2} = j = 1 \sum m r_{j}_{2} \leq j = 1 \sum m ∥ r_{j} ∥_{2} = ∥ W^{⊤} ∥_{2, 1} .

这是欧氏三角不等式。课件的单层计算因而给出一个不大于行范数求和的上界。比较的是这个具体估计步骤；不能由此声称课件已经完整改进原论文包含所有条件的定理。

9. 覆盖中心为何必须是合法的中间输出

多层递推需要控制中间矩阵范数：如果 $M_{h} = σ (M_{h - 1} W_{h}^{⊤})$ ，则

∥ M_{h} ∥_{F} \leq ∥ M_{h - 1} W_{h}^{⊤} ∥_{F} \leq ∥ M_{h - 1} ∥_{F} ∥ W_{h} ∥_{2} \leq s_{h} ∥ M_{h - 1} ∥_{F} .

第一步还用到 $σ (0) = 0$ 。如果允许任意偏置，或激活在 0 处不为 0，就必须增加对应项；不能原样使用这条递推。

外部覆盖中心未必是合法网络输出，因此不能直接套用上面的范数控制。可以把覆盖中心移入被覆盖的集合：对一个半径 $ε /2$ 的外部覆盖，每个与集合相交的球选择一个集合内点 $a_{j}$ 。任意原点 $a$ 与它的距离至多

∥ a - a_{j} ∥ \leq ∥ a - c_{j} ∥ + ∥ c_{j} - a_{j} ∥ \leq ε .

所以内部 $ε$ -覆盖的大小不超过外部 $ε /2$ -覆盖的大小。对于 $1/ ε^{2}$ 的熵上界，代价是一个 4 倍常数；再加上采样取整，统一记成普适常数 $C$ 。

令 $C (M, W_{h}, γ_{h})$ 是原始 Frobenius 半径 $γ_{h}$ 的内部覆盖。其大小满足相应的 $C b_{h}^{2} ∥ M ∥_{F}^{2} ln (2 d_{m a x}^{2} + 1) / γ_{h}^{2}$ 型上界；大半径情形可直接用合法中心 0。定义

S_{0} = {X}, S_{h} = M \in S_{h - 1} ⋃ C (M, W_{h}, γ_{h}) .

对每个前一层中心分支构造后一层覆盖，就得到一棵有限覆盖树。每个节点范数不超过 $∥ X ∥_{F} \prod_{k \leq h} s_{k}$ 。因此

ln ∣ S_{h} ∣ \leq ln ∣ S_{h - 1} ∣ + C \frac{b _{h}^{2} ∥ X ∥ _{F}^{2} ( \prod _{k < h} s _{k}^{2} ) ln ( 2 d _{m a x}^{2} + 1 )}{γ _{h}^{2}} .

并集大小至多是“父节点数乘最大子节点数”，取对数后就是加法。不同父节点对应的覆盖不必相同。

10. 引理 2：误差如何逐层传播

固定任意一个真实网络，设其第 $h$ 层样本输出为 $A_{h} = σ (A_{h - 1} W_{h}^{⊤})$ ， $A_{0} = X$ 。归纳假设可以找到 $M_{h - 1} \in S_{h - 1}$ ，使

∥ A_{h - 1} - M_{h - 1} ∥_{F} \leq α_{h - 1} .

再从该节点的子覆盖选 $M_{h}$ ，满足

∥ σ (M_{h - 1} W_{h}^{⊤}) - M_{h} ∥_{F} \leq γ_{h} .

插入这个中间输出并应用三角不等式：

∥ A_{h} - M_{h} ∥_{F} \leq ∥ σ (A_{h - 1} W_{h}^{⊤}) - σ (M_{h - 1} W_{h}^{⊤}) ∥_{F} + γ_{h} \leq ∥ (A_{h - 1} - M_{h - 1}) W_{h}^{⊤} ∥_{F} + γ_{h} \leq s_{h} α_{h - 1} + γ_{h} .

这里的矩阵不等式可以逐行证明：对每行误差 $u_{t}$ ， $∥ W_{h} u_{t} ∥_{2} \leq s_{h} ∥ u_{t} ∥_{2}$ ，平方求和即可。

设 $α_{0} = 0$ 、 $α_{h} = γ_{h} + s_{h} α_{h - 1}$ ，得到归纳结论。展开前三层会看得更清楚：

α_{1} = γ_{1}, α_{2} = γ_{2} + s_{2} γ_{1}, α_{3} = γ_{3} + s_{3} γ_{2} + s_{3} s_{2} γ_{1} .

因此

α_{H} = h = 1 \sum H γ_{h} k > h \prod s_{k} .

第 $h$ 层新引入的误差由其后所有层的谱范数放大。 当前层的 $s_{h}$ 放大的是此前已有的误差，所以乘积从 $k > h$ 开始，不能写成 $k \geq h$ 。

如果始终使用归一化误差 $e_{h} = α_{h} / n d_{h}$ ，则递推会出现

e_{h} \leq \frac{γ _{h}}{n d _{h}} + s_{h} \frac{d _{h - 1}}{d _{h}} e_{h - 1} .

这解释了为什么证明中先统一使用原始 Frobenius 半径更清楚，也避免遗漏维数比例。

11. 定理 4：最优误差分配为什么是 2/3 次方

设允许的最终 Frobenius 误差为 $A > 0$ 。定义

P = h = 1 \prod H s_{h}, a_{h} = b_{h} / s_{h}, L = ln (2 d_{m a x}^{2} + 1) .

累计熵上界是

C ∥ X ∥_{F}^{2} L h = 1 \sum H \frac{b _{h}^{2} \prod _{k < h} s _{k}^{2}}{γ _{h}^{2}}, h \sum γ_{h} k > h \prod s_{k} = A .

把第 $h$ 层对最终误差的贡献写为 $A ρ_{h}$ ，其中 $ρ_{h} > 0$ 、 $\sum_{h} ρ_{h} = 1$ 。于是

γ_{h} = \frac{A ρ _{h}}{\prod _{k > h} s _{k}}, \frac{b _{h}^{2} \prod _{k < h} s _{k}^{2}}{γ _{h}^{2}} = \frac{P ^{2}}{A ^{2}} \frac{a _{h}^{2}}{ρ _{h}^{2}} .

剩下一个有限维优化问题：最小化 $\sum_{h} a_{h}^{2} / ρ_{h}^{2}$ 。对于课件的正 $a_{h}$ ，目标在任何 $ρ_{h} ↓ 0$ 时发散，最优解在内部；每一项二阶导为 $6 a_{h}^{2} / ρ_{h}^{4} > 0$ ，故目标严格凸。

拉格朗日函数为

L (ρ, λ) = h \sum \frac{a _{h}^{2}}{ρ _{h}^{2}} + λ (h \sum ρ_{h} - 1) .

对 $ρ_{h}$ 求导： $- 2 a_{h}^{2} / ρ_{h}^{3} + λ = 0$ ，因此

ρ_{h} = \frac{a _{h}^{2/3}}{\sum _{k} a _{k}^{2/3}} .

令 $T = \sum_{k} a_{k}^{2/3}$ ，代回得到

h \sum \frac{a _{h}^{2}}{ρ _{h}^{2}} = h \sum \frac{a _{h}^{2} T ^{2}}{a _{h}^{4/3}} = T^{2} h \sum a_{h}^{2/3} = T^{3} .

所以

ln N (F_{H} ∣_{S}, A; ∥ \cdot ∥_{F}) ≲ \frac{∥ X ∥ _{F}^{2} L}{A ^{2}} P^{2} (h \sum (b_{h} / s_{h})^{2/3})^{3} .

最后换回归一化半径 $A = α n d_{H}$ ，便得到课件定理 4 的 $n d_{H} α^{2}$ 分母。本文保留 $≲$ 以容纳内部覆盖与取整的普适常数。

直观上， $a_{h}$ 越大，该层要做精细覆盖越昂贵；最优分配让它承担更大的最终误差份额。这不一定意味着它的原始局部半径更大，因为后续放大因子还在分母里。

12. 从覆盖熵到谱复杂度

定义

R (W) = (h \prod ∥ W_{h} ∥_{2}) (h \sum (\frac{∥ W _{h} ∥ _{1, 2}}{∥ W _{h} ∥ _{2}})^{2/3})^{3/2} .

它的平方正是覆盖熵中的范数量。为什么覆盖数里是三次方，复杂度里变成 $3/2$ ？因为 Dudley 积分要先对对数覆盖数开平方。

先用标量输出 $d_{H} = 1$ 严格说明。令 $K = ∥ X ∥_{F} R L / n$ ，假设在相关尺度内 $ln N_{2} (δ) ≲ K^{2} / δ^{2}$ ，经验半径上界为 $D$ 。截断的 Dudley 界形如

R_{S} ≲ 0 < a \leq D in f [a + \frac{K}{n} \int_{a}^{D} \frac{d δ}{δ}] = 0 < a \leq D in f [a + \frac{K}{n} ln (D / a)] .

这里不能直接令 $a = 0$ ，因为 $\int_{0}^{D} d δ / δ$ 发散。若 $K / n \leq D$ ，取 $a$ 同阶于 $K / n$ ，得到

R_{S} ≲ \frac{∥ X ∥ _{F} R L}{n} [1 + ln (\frac{D n}{∥ X ∥ _{F} R L})] .

另一种情形取 $a = D$ 给出平凡的半径上界。忽略对数，主导尺度就是 $∥ X ∥_{F} R / n$ 。若输入范数有界，则为 $r R / n$ 。

对于向量输出，必须说明 Rademacher 过程的定义和最终损失：不能因为覆盖归一化出现 $d_{H}$ ，就直接宣称分类泛化额外改善 $1/ d_{H}$ 。课件从网络覆盖到多分类 margin 界还借用了适用于 margin 损失的经验过程工具。这里明确保留这一步作为引用，不把标量收缩定理当作完整的多分类证明。

谱复杂度的第一部分 $\prod_{h} ∥ W_{h} ∥_{2}$ 控制网络的 Lipschitz 常数，第二部分是各层混合范数的修正。完整谱复杂度不是单纯的谱范数乘积。 若某层权重为零，无偏置网络恒为零，可单独处理；不应在定义里直接计算 $0/0$ 。

13. Margin：为什么分类要除以输出尺度

网络输出的是各类分数，分类取最大坐标。定义

M (f, x, y) = f (x)_{y} - j \neq = y max f (x)_{j} .

例如真实类别为第 2 类，分数 $(1, 3, 2)$ 的 margin 为 1，预测正确；分数 $(1, 1.5, 2)$ 的 margin 为 $- 0.5$ ，预测错误。margin 为零意味着并列，是否正确取决于平局规则。任何误分类都包含在 ${M \leq 0}$ 中。

用 ramp 损失把分类错误与复杂度连接起来：

ϕ_{γ} (u) = ⎩ ⎨ ⎧ 1, 1 - u / γ, 0, u \leq 0, 0 < u < γ, u \geq γ .

它对 $u$ 为 $1/ γ$ -Lipschitz，且

I {分类错误} \leq ϕ_{γ} (M) \leq I {M < γ} .

因此，对一个预先固定的函数类和 $γ$ ，有界损失的经验过程界给出“经验 margin 损失 + 复杂度项 + 置信项”。再处理所有网络范数尺度及所有 $γ$ 的一致性，才得到允许训练后选 $γ$ 的界。

课件的主要量级写成

Pr {ar g j max f_{W} (x)_{j} \neq = y} ≲ \frac{1}{n} t \sum I {M_{t} < γ} + O (\frac{∥ X ∥ _{F} R ( W )}{γ n}) .

原论文核对。 Bartlett–Foster–Telgarsky 的完整高概率定理还含 $ln (1/ δ) / n$ 置信项，并使用行范数和形式的修正因子（可相对于参考矩阵定义）。课件式 (4) 展示的是主要量级，不能直接当成没有置信项的精确数值保证。原论文定理 1.1

增大 $γ$ 会让更多训练点被记为“小 margin”，但会降低复杂度惩罚。统一界允许在分析时选最好的 $γ$ ，这不要求重新训练模型。

若所有训练 margin 严格为正，可以选择 $0 < γ < min_{t} M_{t}$ ，让第一项为零。这样也避免了 $<$ 与 $\leq$ 两种端点约定的差异。单有零训练误差、却存在打平样本时，不能除以零 margin。

正齐次性解释了为什么比例更合适

无偏置 ReLU 满足 $σ (c u) = c σ (u)$ （ $c > 0$ ）。只把最后一层放大为 $c W_{H}$ ，所有输出分数与 margin 都乘 $c$ ，预测类别不变；各层混合范数与谱范数的比值不变，而谱范数乘积乘 $c$ 。于是

R (c W_{H}) = c R (W), M^{'} = c M, R^{'} / M^{'} = R / M .

这说明 margin 大本身不等于泛化好，必须与模型尺度一起比较。相邻层分别乘 $c$ 与 $1/ c$ 时，函数和谱复杂度都保持不变，也是有用的一致性检查。

14. 图 1：相同参数个数，为什么测试表现不同

图 1：AlexNet 在原始标签与随机标签 CIFAR10 上的训练曲线

图来自课件第 7 页。横轴是训练轮次，且使用对数尺度；叉号表示训练误差首次为零。图中的 excess risk 是测试误差减训练误差，与前面定义的 $L (f) - in f_{f} L (f)$ 不是同一个量。

先看三件事：原始标签更早达到零训练误差；达到零之后测试误差约 0.3，而随机标签约 0.9；参数量相同，复杂度曲线却明显不同。随机十分类标签无法在独立新标签上获得有效信息，0.9 的错误率与这一背景一致。

然后看随训练继续发生的变化：未归一化的范数量可能继续增大，但除以 margin 后可以趋于稳定。这支持用相对 margin 描述分类尺度。图中 Lipschitz 曲线严格说对应谱范数乘积；不要把它直接等同于包含混合范数修正的 $R (W)$ 。

这些是特定实验下的定性支持，并不证明每个网络、每个任务的泛化误差都由该指标精确预测，更不说明上界在数值上一定小于 1。

15. 图 2：归一化 margin 分布应该怎样读

设 $Q = ∥ X ∥_{F} R (W) / n > 0$ ，定义归一化 margin $u_{t} = M_{t} / Q$ 。把原来阈值换为 $γ Q$ ，则主要项变为

\frac{1}{n} t \sum I {u_{t} < γ} + O (1/ γ) .

第一项是经验 CDF 的左极限值。图 2 画的是平滑的分布密度形状，不是直接画 CDF；需要对阈值左侧的密度累积，才能理解为第一项。

图 2：不同任务的归一化 margin 分布

在同一比较规范下，如果分布更靠右，给定阈值左侧的质量往往更少，界中的经验惩罚更小。更严格地说，应比较各阈值上的 CDF；仅比较均值或最高峰可能误导。

四个面板分别展示：MNIST 相比 CIFAR10 更容易；随机标签会使两者都变难且更相近；CIFAR100 与随机标签 CIFAR10 接近；随机输入比随机标签更难。这些结论限于图示实验和归一化指标，不能脱离训练设置当作数据集的绝对难度排序。

课件改写概率公式时将 $ar g max$ 误排成 $max$ 。左侧必须是预测类别与真实标签不同的事件，不能拿最大的分数数值与类别编号比较。

16. 一个两层算例：亲手核对误差分配

假设 $H = 2$ 、 $s_{1} = 2, s_{2} = 3$ 、 $b_{1} = 4, b_{2} = 3$ ，希望最终 Frobenius 误差 $A = 1$ 。则

a_{1} = 2, a_{2} = 1, ρ_{1} = \frac{2 ^{2/3}}{2 ^{2/3} + 1} \approx 0.6135, ρ_{2} \approx 0.3865.

对应原始局部半径

γ_{1} = ρ_{1} / s_{2} \approx 0.2045, γ_{2} = ρ_{2} \approx 0.3865.

检查总误差： $3 γ_{1} + γ_{2} = 1$ 。第一层承担的最终误差更大，但局部误差反而更小，因为还要经过第二层放大。

忽略公共因子，原目标为

\frac{16}{γ _{1}^{2}} + \frac{36}{γ _{2}^{2}} = 36 (2^{2/3} + 1)^{3} \approx 623.6.

若平均分配最终误差 $ρ_{1} = ρ_{2} = 1/2$ ，则 $γ_{1} = 1/6, γ_{2} = 1/2$ ，目标为 $576 + 144 = 720$ 。最优分配确实改善上界。

17. 容易混淆的地方与课件核对清单

容易误读	应如何理解
伪维数无限就不可学习	固定正尺度上的 fat 维数才保留了幅度信息
一个打散构造失败就得到上界	上界必须排除全部可能构造
fat 是投影所在的线性空间维数	它控制覆盖熵，不保证线性子空间包含关系
所有定理的覆盖半径都一样	标量归一化用 $n$ ，矩阵用 $nm$ ；递推使用原始 Frobenius 半径
引理 1 无需零原子与取整	一般形式须加入零原子并保留采样数向上取整
覆盖中心可免费移入集合	通常付出半径加倍，平方熵界常数因此变化
参数数量没有影响	显式多项式依赖消失，范数与输入规模仍可能携带维度影响
谱复杂度就是 Lipschitz 常数	还包括混合范数修正因子
零训练误差等于正最小 margin	平局预测正确也可能使最小 margin 为零
图中 excess risk 就是类内超额风险	此图指测试误差与训练误差之差
margin 界证明 SGD 会泛化	它给出低复杂度、大 margin 的充分控制；SGD 为什么偏向这样的解仍未证明

边界情况也要单独处理：全零输入使投影退化；零列原子直接删除；零权重层使无偏置网络恒为零； $γ_{h} = 0$ 时不能直接使用含 $1/ γ_{h}^{2}$ 的熵上界； $Q = 0$ 时不能归一化 margin。

18. 自测与复习顺序

为什么单调类可以有无限伪维数？ 因为相邻见证门槛的距离随样本数缩小，符号实现只需更微小的上下扰动。
$α = 0.5$ 时本例精确 fat 维数是多少？ 在本讲的 $α /2$ margin 约定下为 4；可用 $- 0.75, - 0.25, 0.25, 0.75$ 作见证。
引理 1 的 $1/ α^{2}$ 从哪里来？ $k$ 个独立原子平均的均方误差是 $B^{2} / k$ ，解出所需采样数即可。
为什么单层混合范数先列 $ℓ_{1}$ 再 $ℓ_{2}$ ？ 先按同一输入列汇总所有输出系数的绝对值，再与数据列范数作 Cauchy–Schwarz。
为什么 $2/3$ 次方不是猜出来的？ 对 $a_{h}^{2} / ρ_{h}^{2}$ 求导得到 $ρ_{h}^{3} \propto a_{h}^{2}$ 。
能把网络熵界积分下限直接取 0 吗？ 不能， $1/ δ^{2} = 1/ δ$ 的积分发散，需要截断。
只把网络输出放大十倍，分类会改善吗？ 类别不变，margin 和谱复杂度同时放大，二者比值不变。
本讲仍未回答哪个关键问题？ 为什么具体训练算法会找到具有低复杂度和良好 margin 的网络。

30 分钟复习建议：前 8 分钟复现单调类上下界与积分；接着 7 分钟推导原子抽样和混合范数；再用 10 分钟手推两层误差、KKT 和上面的算例；最后 5 分钟读两张图，并用自己的话说明统计保证与优化行为的区别。

来源与补充范围

主要来源是本地 Lecture 4，定理编号均对应课件。精确单调 fat 维数、引理 1 的取整版本、内部覆盖的常数说明、KKT 展开、齐次性检查和两层数值例子是本文补充推导。完整 margin 定理的置信项及范数约定参照 Bartlett、Foster、Telgarsky（2017）。随机标签讨论的原始参考为 Zhang、Bengio、Hardt、Recht、Vinyals，Understanding deep learning requires rethinking generalization，ICLR 2017。