Lecture 3 课件完整翻译

2026 年秋季学期，授课教师：Haipeng Luo

本文为 Lecture 3 课件的完整中文翻译。数学符号、定理编号、命题编号和证明结构均依照原文保留。

1 无限函数类：回归

在本讲中，我们继续研究如何刻画统计学习的可学习性。回顾上一讲，通过一系列取上界的步骤，我们得到

V^{iid} (F, n) \leq P sup E [f \in F sup (L (f) - \frac{1}{n} t = 1 \sum n ℓ (f, z_{t}))] \leq 2 P sup R^{iid} (ℓ (F)) \leq 2 G P sup R^{iid} (F) （使用 ERM ） （对称化） （去掉损失函数） .

其中，对于二分类问题， $G = 1/2$ ；对于回归损失， $G$ 是其 Lipschitz 常数。对于函数值被限制在 $[- C, C]$ 内的有限函数类，我们应用最大值不等式，得到

P sup R^{iid} (F) \leq C \frac{2 ln ∣ F ∣}{n} .

基于这个结果，我们还讨论了如下事实：对于二分类问题 $Y = {- 1, + 1}$ ，真正重要的只有投影

F ∣_{x_{1 : n}} = {(f (x_{1}), \dots, f (x_{n})) : f \in F} \subseteq {- 1, + 1}^{n} .

因此，可以通过引入函数类的增长函数和 VC 维，把无限类的情形化为有限类的情形。具体而言，我们证明了：若 $d = VCdim (F)$ ，则

P sup R^{iid} (F) \leq \frac{2 ln Π _{F} ( n )}{n} \leq \frac{2 d ln ( e n / d )}{n} .

本讲将注意力转向具有实值函数类的回归问题。不失一般性，我们假设输出已被归一化，使得

Y = [- 1, + 1], F \subseteq [- 1, + 1]^{X} .

显然，关键仍然是理解 Rademacher complexity $R^{iid} (F)$ 。然而，因为 $F$ 是一个实值函数类，它的投影

F ∣_{x_{1 : n}} \subseteq [- 1, + 1]^{n}

通常也是无限集合，因此我们不能直接应用有限类的结果。

解决这个问题的一个相当自然的想法，是用有限的离散化来近似无限函数类。实现这种想法有多种不同方式，下面讨论其中两种。

1.1 覆盖函数

第一种想法是构造一个有限函数类 $H$ ，使得对于每一个 $f \in F$ ，都存在一个对应的代表函数 $h \in H$ ，且 $h$ 与 $f$ 很接近。例如，可以用两个函数之间最大的逐点差异

x \in X sup ∣ f (x) - h (x) ∣

来衡量它们的接近程度。

基于这一直觉，我们定义：如果有限函数类 $H \subseteq [- 1, + 1]^{X}$ 满足，对于任意 $f \in F$ ，都存在 $h \in H$ ，使得对所有 $x \in X$ 都有

∣ f (x) - h (x) ∣ \leq α,

那么称 $H$ 是 $F$ 的一个逐点 $α$ -覆盖。相应地， $F$ 的逐点 $α$ -覆盖数定义为

N (F, α) = min {∣ H ∣ : H 是 F 的逐点 α - 覆盖} .

如果不存在这样的有限覆盖，则将覆盖数定义为无穷大。显然， $N (F, α)$ 关于 $α$ 单调不增。

借助这个定义，我们可以再次把无限类的情形化为有限类的情形，并立即得到下面的结果。

定理 1。 对任意 $F \subseteq [- 1, + 1]^{X}$ ，都有

R^{iid} (F) \leq α \geq 0 min (α + \frac{2 ln N ( F , α )}{n}) .

证明。 固定任意 $α \geq 0$ 。令 $H$ 是 $F$ 的一个逐点 $α$ -覆盖，其大小为 $N (F, α)$ 。对于每个 $f \in F$ ，令 $h_{f} \in H$ 表示 $f$ 的“代表”，满足

x sup ∣ f (x) - h_{f} (x) ∣ \leq α .

于是有

R^{iid} (F) = \frac{1}{n} E [f \in F sup t = 1 \sum n ϵ_{t} f (x_{t})] = \frac{1}{n} E [f \in F sup t = 1 \sum n ϵ_{t} (f (x_{t}) - h_{f} (x_{t}) + h_{f} (x_{t}))] \leq \frac{1}{n} E [f \in F sup t = 1 \sum n ϵ_{t} (f (x_{t}) - h_{f} (x_{t}))] + \frac{1}{n} E [f \in F sup t = 1 \sum n ϵ_{t} h_{f} (x_{t})] \leq \frac{1}{n} E [f \in F sup t = 1 \sum n ∣ f (x_{t}) - h_{f} (x_{t}) ∣] + \frac{1}{n} E [h \in H sup t = 1 \sum n ϵ_{t} h (x_{t})] \leq α + R^{iid} (H) \leq α + \frac{2 ln N ( F , α )}{n},

其中最后一步使用了 Massart 引理。因为这个结论对任意 $α \geq 0$ 都成立，所以定理得证。 $□$

自然地，这个上界体现了近似尺度 $α$ 与覆盖大小之间的某种权衡。那么，逐点覆盖数可能有多大呢？

首先考虑线性情形：

X = B_{q}^{d}, F = {f_{θ} (x) = ⟨ θ, x ⟩ : θ \in B_{p}^{d}},

其中 $p \geq 1$ 、 $q \geq 1$ ，并且

\frac{1}{p} + \frac{1}{q} = 1.

这里

B_{q}^{d} = {x \in R^{d} : ∥ x ∥_{q} \leq 1}

是 $d$ 维 $q$ -范数单位球， $B_{p}^{d}$ 的定义类似。条件 $1/ p + 1/ q = 1$ 意味着 $∥ \cdot ∥_{p}$ 是 $∥ \cdot ∥_{q}$ 的对偶范数，反之亦然。由 Hölder 不等式，

∣ f_{θ} (x) ∣ = ∣ ⟨ θ, x ⟩ ∣ \leq ∥ θ ∥_{p} ∥ x ∥_{q} \leq 1.

这个函数类涵盖了许多常见问题，例如带正则化的线性回归。我们先考察 $p = \infty$ （从而 $q = 1$ ）时逐点覆盖数的大小。

命题 1。 令

X = B_{1}^{d}, F = {f_{θ} (x) = ⟨ θ, x ⟩ : θ \in B_{\infty}^{d}} .

对于任意 $0 \leq α \leq 1$ ，都有

N (F, α) \leq (\frac{1}{α})^{d} .

此外，当 $n \geq d$ 时，

R^{iid} (F) = O (\frac{d ln ( n / d )}{n}) .

证明。 注意 $B_{\infty}^{d}$ 就是一个边长为 2 的 $d$ 维超立方体。固定任意 $0 \leq α \leq 1$ 。我们把这个超立方体“均匀地”离散成

(\frac{1}{α})^{d}

个互不相交、边长为 $2 α$ 的小超立方体，并令 $H \subseteq F$ 为由这些小超立方体的中心参数化的线性函数集合。

显然， $H$ 是 $F$ 的逐点 $α$ -覆盖。事实上，对任意 $f_{θ} \in F$ ，令 $θ^{'}$ 是包含 $θ$ 的小超立方体的中心，并令 $h_{θ^{'}} \in H$ 为相应的线性函数。于是，对任意 $x \in B_{1}^{d}$ ，都有

∣ f_{θ} (x) - h_{θ^{'}} (x) ∣ = ∣ ⟨ θ - θ^{'}, x ⟩ ∣ \leq ∥ θ - θ^{'} ∥_{\infty} ∥ x ∥_{1} \leq α .

这就证明了第一个结论。第二个结论通过应用定理 1，并取

α = \frac{d}{n}

得到。 $□$

脚注 1。 严格地说， $(1/ α)^{d}$ 应写为 $⌈ 1/ α ⌉^{d}$ 。我们忽略这一细微差别，因为它不会造成实质影响。

这意味着上面的线性函数类是可学习的；通过 ERM 可以得到大约 $d / n$ 的学习速率。

对于一般的 $p$ ，容易看出

B_{p}^{d} \subseteq B_{\infty}^{d} .

因此，如果仍然使用命题 1 的证明中构造的函数类 $H$ 作为逐点覆盖，那么对任意 $f_{θ}$ 及其代表 $h_{θ^{'}}$ ，以及任意 $x \in B_{q}^{d}$ ，都有

∣ f_{θ} (x) - h_{θ^{'}} (x) ∣ = ∣ ⟨ θ - θ^{'}, x ⟩ ∣ \leq ∥ θ - θ^{'} ∥_{p} ∥ x ∥_{q} \leq d^{1/ p} ∥ θ - θ^{'} ∥_{\infty} \leq d^{1/ p} α .

这意味着 $H$ 是一个逐点 $d^{1/ p} α$ -覆盖，从而逐点覆盖数满足

N (F, α) \leq (\frac{d ^{1/ p}}{α})^{d} .

因此，对任意 $p$ ，这个线性函数类都是可学习的。

不过，在处理 $p$ -范数球 $B_{p}^{d}$ 时，直觉上我们也应该用小的 $p$ -范数球来离散化它，而不是使用小超立方体。这样也许能够得到更小的覆盖。下一个命题表明，这一想法确实正确；但是，显式构造这样的覆盖似乎相当困难。幸运的是，证明会说明：有时即使不显式构造覆盖，也能给出覆盖数的上界。

命题 2。 若

X = B_{q}^{d}, F = {f_{θ} (x) = ⟨ θ, x ⟩ : θ \in B_{p}^{d}},

其中 $p \geq 1$ 、 $q \geq 1$ ，且 $1/ p + 1/ q = 1$ ，则对于任意 $0 \leq α \leq 1$ ，都有

N (F, α) \leq (\frac{2}{α} + 1)^{d} .

此外，当 $n \geq d$ 时，

R^{iid} (F) = O (\frac{d ln ( n / d )}{n}) .

证明。 固定任意 $0 \leq α \leq 1$ 。记 $r B_{p}^{d}$ 为半径为 $r \geq 0$ 的 $p$ -范数球。关键想法是：在球 $B_{p}^{d}$ 中放入尽可能多的、半径为 $α /2$ 的小球 $(α /2) B_{p}^{d}$ 。

形式化地，令 $S \subseteq B_{p}^{d}$ 是满足下述条件的最大子集：对任意两个不同的点 $θ, θ^{'} \in S$ ，都有

∥ θ - θ^{'} ∥_{p} > α .

这称为 $B_{p}^{d}$ 的一个 $α$ -packing。

首先证明，相应的函数类

H = {h_{θ} (x) = ⟨ θ, x ⟩ : θ \in S}

是 $F$ 的一个逐点 $α$ -覆盖。事实上，对于任意 $θ \in B_{p}^{d}$ ，必然存在 $θ^{'} \in S$ ，使得

∥ θ - θ^{'} ∥_{p} \leq α .

否则，仍可把 $θ$ 加入 $S$ ，同时保持 $S$ 是一个 $α$ -packing，这与 $S$ 的最大性矛盾。于是，对任意 $x \in B_{q}^{d}$ ，显然有

∣ f_{θ} (x) - h_{θ^{'}} (x) ∣ \leq α .

剩下只需证明

∣ S ∣ \leq (\frac{2}{α} + 1)^{d} .

为此，设想以 $S$ 中的每个点为圆心，放置一个半径为 $α /2$ 的 $p$ -范数球。由 $S$ 的定义，这些球两两不相交。另一方面，它们全部包含在更大的球

(1 + \frac{α}{2}) B_{p}^{d}

之中。因此，所有小球的体积之和不超过大球的体积：

∣ S ∣ Vol (\frac{α}{2} B_{p}^{d}) \leq Vol ((1 + \frac{α}{2}) B_{p}^{d}) .

利用

Vol (r B_{p}^{d}) = r^{d} Vol (B_{p}^{d})

并整理，可得

∣ S ∣ \leq (\frac{2}{α} + 1)^{d} .

最后，再次应用定理 1 并取

α = \frac{d}{n},

便得到关于 $R^{iid} (F)$ 的上界。 $□$

在作业 1 中，你还将使用类似的体积论证，证明对于这个线性函数类，量级为

O (\frac{1}{α ^{d}})

的覆盖数是紧的。

接下来考虑一个非参数例子： $X = R$ ，并令 $F$ 为所有单调不减函数的集合。这个函数类常见于所谓的等序回归问题；在这类问题中，假设输出随输入单调变化是十分自然的。例如，可以把儿童身高预测为年龄的函数。

在这种情况下， $F$ 看起来是一个表达能力很强的函数类。事实上，如下面的命题所示，它的逐点覆盖数是无穷大。

命题 3。 若

X = R, Y = [- 1, + 1],

且 $F \subseteq Y^{X}$ 是所有单调不减函数的集合，则对于任意 $α < 1$ ，都有

N (F, α) = \infty.

证明。 考虑 $F$ 的如下无穷子集：

{f_{m} (x) = sign (x - m) : m 是整数} .

不可能用同一个函数 $h$ 逐点覆盖其中任意两个不同的函数 $f_{m}$ 和 $f_{m^{'}}$ 。这是因为

f_{m} (\frac{m + m ^{'}}{2}) - f_{m^{'}} (\frac{m + m ^{'}}{2}) = 2,

因此， $h ((m + m^{'}) /2)$ 不可能同时与 $f_{m} ((m + m^{'}) /2)$ 和 $f_{m^{'}} ((m + m^{'}) /2)$ 的距离都不超过 $α < 1$ 。这说明 $F$ 不存在有限的逐点覆盖。 $□$

这是否意味着该函数类不可学习呢？答案是否定的，下一节将说明这一点。重要的是，这表明逐点覆盖事实上并不是正确的复杂度度量，或者至少不是一个紧的复杂度度量。

1.2 覆盖投影

回顾一下：与分类问题中一样，对称化使我们只需要关注投影 $F ∣_{x_{1 : n}}$ ，而不必关注整个函数类 $F$ 。这促使我们近似离散化 $n$ 维空间 $F ∣_{x_{1 : n}}$ ，而不是离散化 $F$ 本身。

形式化地，如果 $V \subseteq [- 1, + 1]^{n}$ 满足：对任意 $f \in F ∣_{x_{1 : n}}$ ，都存在 $v \in V$ ，使得

∥ f - v ∥_{\infty} \leq α,

那么称 $V$ 是 $F ∣_{x_{1 : n}}$ 关于 $ℓ_{\infty}$ 范数的一个 $α$ -覆盖。

注意，这里略微滥用了符号 $f$ ：此时它表示一个 $n$ 维向量，而在前文中它也表示 $F$ 中的函数。关于 $ℓ_{\infty}$ 范数的 $α$ -覆盖数 $N_{\infty} (F ∣_{x_{1 : n}}, α)$ ，定义为最小 $ℓ_{\infty}$ 范数 $α$ -覆盖的大小。

事实上，更仔细地检查定理 1 的证明后可以发现，我们不一定需要 $ℓ_{\infty}$ 覆盖。为此，对于任意 $p > 0$ ，如果 $V \subseteq [- 1, + 1]^{n}$ 满足：对任意 $f \in F ∣_{x_{1 : n}}$ ，都存在 $v \in V$ ，使得

∥ f - v ∥_{p} \leq n^{1/ p} α,

或者等价地，

(\frac{1}{n} t = 1 \sum n ∣ f_{t} - v_{t} ∣^{p})^{1/ p} \leq α,

那么称 $V$ 是 $F ∣_{x_{1 : n}}$ 关于 $ℓ_{p}$ 范数的一个 $α$ -覆盖。

类似地，相应的 $α$ -覆盖数 $N_{p} (F ∣_{x_{1 : n}}, α)$ ，定义为最小 $ℓ_{p}$ 范数 $α$ -覆盖的大小。

注意，这个定义中存在一个看起来有些“奇怪”但实际上是惯例的归一化。这个归一化保证

(\frac{1}{n} t = 1 \sum n ∣ f_{t} - v_{t} ∣^{p})^{1/ p}

是 $p$ 的单调递增函数；你可以通过 Hölder 不等式证明这一点。因此，

N_{1} (F ∣_{x_{1 : n}}, α) \leq N_{2} (F ∣_{x_{1 : n}}, α) \leq \dots \leq N_{\infty} (F ∣_{x_{1 : n}}, α) .

使用与定理 1 的证明相似的论证，可以得到下面的结果。

定理 2。 对任意 $F \subseteq [- 1, + 1]^{X}$ 以及输入 $x_{1 : n}$ ，都有

R^{iid} (F; x_{1 : n}) \leq α \geq 0 min (α + \frac{2 ln N _{1} ( F ∣ _{x_{1 : n}} , α )}{n}) .

证明。 固定任意 $α \geq 0$ 。令 $V$ 是 $F ∣_{x_{1 : n}}$ 的一个 $α$ -覆盖，其大小为 $N_{1} (F ∣_{x_{1 : n}}, α)$ 。对于每个 $f \in F ∣_{x_{1 : n}}$ ，令 $v_{f} \in V$ 是它的“代表”，满足

∥ f - v_{f} ∥_{1} \leq n α .

记 $ϵ = (ϵ_{1}, \dots, ϵ_{n})$ ，则

R^{iid} (F; x_{1 : n}) = \frac{1}{n} E [f \in F ∣_{x_{1 : n}} sup ⟨ ϵ, f ⟩] = \frac{1}{n} E [f \in F ∣_{x_{1 : n}} sup ⟨ ϵ, f - v_{f} + v_{f} ⟩] \leq \frac{1}{n} E [f \in F ∣_{x_{1 : n}} sup ⟨ ϵ, f - v_{f} ⟩] + \frac{1}{n} E [f \in F ∣_{x_{1 : n}} sup ⟨ ϵ, v_{f} ⟩] \leq \frac{1}{n} E [f \in F ∣_{x_{1 : n}} sup ∥ f - v_{f} ∥_{1}] + \frac{1}{n} E [v \in V sup ⟨ ϵ, v ⟩] \leq α + \frac{2 ln N _{1} ( F ∣ _{x_{1 : n}} , α )}{n} .

最后一步使用了 Massart 引理。因为这个结论对任意 $α \geq 0$ 都成立，所以定理得证。 $□$

现在来看为什么覆盖投影优于覆盖函数。

首先，由于 $F ∣_{x_{1 : n}}$ 位于 $[- 1, + 1]^{n}$ 中，类似上一节的做法，把 $[- 1, + 1]^{n}$ 离散成小超立方体，就可以很容易地证明

N_{\infty} (F ∣_{x_{1 : n}}, α) \leq (\frac{1}{α})^{n}

总是成立。然而，这个上界没有用处，因为把它代入定理 2 的上界后，只能得到 Rademacher complexity 的常数级上界。

其次，如果 $H$ 是 $F$ 的逐点 $α$ -覆盖，那么根据定义， $H ∣_{x_{1 : n}}$ 也是 $F ∣_{x_{1 : n}}$ 关于 $ℓ_{\infty}$ 范数的 $α$ -覆盖。因此，

N_{\infty} (F ∣_{x_{1 : n}}, α) \leq N (F, α) .

也就是说，覆盖投影永远不会比覆盖函数更差。

所以，对于前面讨论的线性函数类

F = {f_{θ} (x) = ⟨ θ, x ⟩ : θ \in B_{p}^{d}},

同样有

N_{\infty} (F ∣_{x_{1 : n}}, α) \leq (\frac{2}{α} + 1)^{d} .

事实上，不难看出，更一般地，只要 $F ∣_{x_{1 : n}}$ 位于 $[- 1, + 1]^{n}$ 的某个 $d$ 维子空间中，它的覆盖数大致就是

O ((\frac{1}{α})^{d})

的量级；参见作业 1。

最后，我们回到单调不减函数类，并说明：虽然 $N (F, α) = \infty$ ，但 $N_{\infty} (F ∣_{x_{1 : n}}, α)$ 是有限的。这意味着，覆盖投影严格优于覆盖函数。

命题 4。 若

X = R, Y = [- 1, + 1],

且 $F \subseteq Y^{X}$ 是所有单调不减函数的集合，则对于任意 $α < 1$ ，都有

N_{\infty} (F ∣_{x_{1 : n}}, α) \leq (n + 1)^{1/ α} .

因此，

R^{iid} (F) \leq 0 \leq α \leq 1 min (α + \frac{2 ln ( n + 1 )}{α n}) = O ((\frac{ln n}{n})^{1/3}) .

证明。 不失一般性，假设

x_{1} \leq \dots \leq x_{n} .

令 $S \subseteq [- 1, + 1]$ 是尺度为 $2 α$ 的一个有限离散化，使得

∣ S ∣ \leq \frac{1}{α},

并且对于任意 $y \in [- 1, + 1]$ ，都存在 $y^{'} \in S$ ，满足

∣ y - y^{'} ∣ \leq α .

令

V = {v \in S^{n} : v_{1} \leq \dots \leq v_{n}} .

根据构造，显然 $V$ 是 $F ∣_{x_{1 : n}}$ 关于 $ℓ_{\infty}$ 范数的一个 $α$ -覆盖。剩下只需计算 $V$ 的大小。

不难看出， $∣ V ∣$ 恰好等于方程

i = 1 \sum ∣ S ∣ m_{i} = n

的非负整数解 $(m_{1}, \dots, m_{∣ S ∣})$ 的数量，其中 $m_{i}$ 表示 $S$ 中第 $i$ 小的元素在序列中出现的次数。解的精确数量是

(∣ S ∣ - 1 n + ∣ S ∣ - 1),

不过，只需注意每个 $m_{i}$ 最多有 $n + 1$ 种可能取值，就可以得到粗略估计

∣ V ∣ \leq (n + 1)^{∣ S ∣} \leq (n + 1)^{1/ α} .

关于 Rademacher complexity 的上界，则通过直接应用定理 2 并选取最优的 $α$ 得到。 $□$

这个结果说明，虽然所有单调不减函数组成的类看起来表达能力很强，但它事实上仍然可以通过 ERM 学习。这也再次展示了对称化技巧的重要性：它使我们只需关注函数类在样本上的投影，而不是函数本身。

最后需要指出，无论使用哪一种覆盖，覆盖论证都只出现在分析中，而不出现在算法本身。算法始终只是 ERM；即使对于等序回归这样的任务，ERM 也可能非常高效。

2 Dudley 熵积分

读者可能已经注意到，命题 4 给出的收敛速率大约是 $1/ n^{1/3}$ ，慢于此前其他例子中常见的 $1/ n$ 速率。

这是否真的意味着，学习单调不减函数需要更多样本？还是仅仅因为我们的上界太松？事实证明，后者才是正确答案。为了改进这个上界，需要使用一种更紧的分析，即所谓的 Dudley 熵积分。

定理 3。 对任意 $F \subseteq [- 1, + 1]^{X}$ 以及输入 $x_{1 : n}$ ，都有

R^{iid} (F; x_{1 : n}) \leq 0 \leq α \leq 1 min (4 α + \frac{12}{n} \int_{α}^{1} ln N_{2} (F ∣_{x_{1 : n}}, δ) d δ) .

证明推迟到下一小节。上述定理中的上界被称为函数类 $F$ 的 Dudley 熵积分。“对数覆盖数”经常被称为度量熵，这也是该名称的由来。

这个上界使用的是 $ℓ_{2}$ 覆盖数，原因将在证明中变得清楚；此外，它同时考察多个不同尺度下的覆盖数。

忽略常数以及 $N_{1}$ 和 $N_{2}$ 之间的差别，这个上界不会比定理 2 给出的上界更差。原因是

ln N_{2} (F ∣_{x_{1 : n}}, δ)

关于 $δ$ 单调不增，因此

\int_{α}^{1} ln N_{2} (F ∣_{x_{1 : n}}, δ) d δ \leq (1 - α) ln N_{2} (F ∣_{x_{1 : n}}, α) \leq ln N_{2} (F ∣_{x_{1 : n}}, α) .

不过，它有可能严格更好，下面两个例子就说明了这一点。

命题 5。 若

X = B_{q}^{d}, F = {f_{θ} (x) = ⟨ θ, x ⟩ : θ \in B_{p}^{d}},

其中 $p \geq 1$ 、 $q \geq 1$ ，并且 $1/ p + 1/ q = 1$ ，则

R^{iid} (F) = O (\frac{d}{n}) .

证明。 使用上界

N_{2} (F ∣_{x_{1 : n}}, δ) \leq N (F, δ) \leq (\frac{2}{δ} + 1)^{d} \leq (\frac{3}{δ})^{d} .

因此，

\int_{α}^{1} ln N_{2} (F ∣_{x_{1 : n}}, δ) d δ \leq d \int_{α}^{1} ln (\frac{3}{δ}) d δ .

当 $α = 0$ 时，右侧是 $O (d)$ ，因为

\int_{0}^{1} ln (1/ δ) d δ = \frac{π}{2} .

将这个结果代入 Dudley 熵积分并取 $α = 0$ ，即可完成证明。 $□$

脚注 2。 更一般地，如果函数的值域不是 $[- 1, + 1]$ ，只需把定理中“ $0 \leq α \leq 1$ ”和“ $\int_{α}^{1}$ ”里的 1 替换为 $sup_{f \in F} \frac{1}{n} \sum_{t = 1}^{n} f (x_{t})^{2}$ 。作业 1 的第 1(b) 题会用到这个更一般的版本。

因此，使用 Dudley 熵积分可以消除命题 2 中线性函数 Rademacher complexity 上界里额外的 $ln n$ 因子。下一个例子中的改进会更加显著。

命题 6。 若

X = R, Y = [- 1, + 1],

且 $F \subseteq Y^{X}$ 是所有单调不减函数的集合，则

R^{iid} (F) = O (\frac{ln n}{n}) .

证明。 再次直接代入上界

N_{2} (F ∣_{x_{1 : n}}, δ) \leq N_{\infty} (F ∣_{x_{1 : n}}, δ) \leq (n + 1)^{1/ δ},

并计算 Dudley 熵积分：

\int_{α}^{1} ln N_{2} (F ∣_{x_{1 : n}}, δ) d δ \leq ln (n + 1) \int_{α}^{1} \frac{1}{δ} d δ = 2 ln (n + 1) (1 - α) \leq 2 ln (n + 1) .

取 $α = 0$ 即完成证明。 $□$

这说明，学习单调不减函数的速率仍然大约是 $1/ n$ ，而不是 $1/ n^{1/3}$ 。这展示了 Dudley 熵积分的力量。

2.1 Chaining 技巧

定理 3 的证明。 证明依赖于一个重要的 chaining 技巧，它同时考察不同的覆盖尺度。

具体地，对于

j = 1, 2, \dots, M,

其中 $M$ 稍后指定，令

α_{j} = 2^{- j},

并令 $V_{j}$ 是 $F ∣_{x_{1 : n}}$ 的一个关于 $ℓ_{2}$ 范数的 $α_{j}$ -覆盖，其大小为

N_{2} (F ∣_{x_{1 : n}}, α_{j}) .

另外，令 $V_{0}$ 是 $F ∣_{x_{1 : n}}$ 的平凡 $2^{0}$ -覆盖，其中只包含全零向量。

现在，对于每个 $f \in F ∣_{x_{1 : n}}$ ，可以把它与一条代表链

v_{f}^{j} \in V_{j}, j = 0, 1, 2, \dots, M

关联起来，使得

∥ f - v_{f}^{j} ∥_{2} \leq n α_{j} .

记 $ϵ = (ϵ_{1}, \dots, ϵ_{n})$ ，则

R^{iid} (F; x_{1 : n}) = \frac{1}{n} E [f \in F ∣_{x_{1 : n}} sup ⟨ ϵ, f ⟩] = \frac{1}{n} E [f \in F ∣_{x_{1 : n}} sup ⟨ ϵ, f - v_{f}^{M} + j = 1 \sum M (v_{f}^{j} - v_{f}^{j - 1}) ⟩] \leq \frac{1}{n} E [f \in F ∣_{x_{1 : n}} sup ⟨ ϵ, f - v_{f}^{M} ⟩] + \frac{1}{n} j = 1 \sum M E [f \in F ∣_{x_{1 : n}} sup ⟨ ϵ, v_{f}^{j} - v_{f}^{j - 1} ⟩] \leq \frac{1}{n} E [f \in F ∣_{x_{1 : n}} sup ∥ f - v_{f}^{M} ∥_{1}] + \frac{1}{n} j = 1 \sum M E [(v, v^{'}) \in S_{j} sup ⟨ ϵ, v - v^{'} ⟩],

其中

S_{j} = {(v, v^{'}) \in V_{j} \times V_{j - 1} : 存在 f \in F ∣_{x_{1 : n}}, v 和 v^{'} 都是 f 的代表} .

上式最后一行中的第一项至多为 $α_{M}$ 。这是因为，根据 Cauchy-Schwarz 不等式，

∥ f - v_{f}^{M} ∥_{1} \leq n ∥ f - v_{f}^{M} ∥_{2} \leq n α_{M} .

对于第二项，再次应用 Massart 引理：

E [(v, v^{'}) \in S_{j} sup ⟨ ϵ, v - v^{'} ⟩] \leq σ 2 ln (∣ V_{j} ∣∣ V_{j - 1} ∣) \leq 2 σ ln ∣ V_{j} ∣ = 2 σ ln N_{2} (F ∣_{x_{1 : n}}, α_{j}),

其中

σ = (v, v^{'}) \in S_{j} sup ∥ v - v^{'} ∥_{2} .

对于任意 $(v, v^{'}) \in S_{j}$ ，存在某个 $f$ ，使得

∥ v - f ∥_{2} \leq n α_{j}

且

∥ v^{'} - f ∥_{2} \leq n α_{j - 1} .

因此，

∥ v - v^{'} ∥_{2} \leq ∥ v - f ∥_{2} + ∥ v^{'} - f ∥_{2} \leq n (α_{j} + α_{j - 1}) = 3 n α_{j} .

这说明

σ \leq 3 n α_{j} .

于是，

R^{iid} (F; x_{1 : n}) \leq α_{M} + \frac{6}{n} j = 1 \sum M α_{j} ln N_{2} (F ∣_{x_{1 : n}}, α_{j}) \leq α_{M} + \frac{12}{n} j = 1 \sum M (α_{j} - α_{j + 1}) ln N_{2} (F ∣_{x_{1 : n}}, α_{j}) \leq α_{M} + \frac{12}{n} \int_{α_{M + 1}}^{α_{1}} ln N_{2} (F ∣_{x_{1 : n}}, δ) d δ .

最后一步使用了

ln N_{2} (F ∣_{x_{1 : n}}, δ)

关于 $δ$ 单调不增这一事实。

最后，对于任意 $0 < α \leq 1$ ，选择 $M$ 使得

2^{- (M + 2)} \leq α \leq 2^{- (M + 1)} .

于是

α_{M} \leq 4 α, α \leq α_{M + 1} .

因此，

R^{iid} (F; x_{1 : n}) \leq 4 α + \frac{12}{n} \int_{α}^{1} ln N_{2} (F ∣_{x_{1 : n}}, δ) d δ .

对于 $α = 0$ 的情形，令 $M \to \infty$ ，即可得到相同的上界。 $□$

注意，使用 $ℓ_{2}$ 范数覆盖的关键原因是： $σ$ 的定义使用了 $ℓ_{2}$ 范数，而这继承自最大值不等式。

小结

总结一下，我们已经利用覆盖数，推导了实值函数类 Rademacher complexity 的三种不同上界；同时还使用两个贯穿始终的例子，说明每种上界能够达到怎样的效果。下表给出了总结。

表 1：利用覆盖数得到的 Rademacher complexity 上界总结

$R^{iid} (F; x_{1 : n})$ 的上界	线性函数	单调不减函数
$α \geq 0 min (α + \frac{2 ln N ( F , α )}{n})$	$O (\frac{d ln ( n / d )}{n})$	$\infty$

| $α \geq 0 min (α + \frac{2 ln N _{1} ( F ∣ _{x_{1 : n}} , α )}{n})$ | $O (\frac{d ln ( n / d )}{n})$ | $O ((\frac{ln n}{n})^{1/3})$ | | $0 \leq α \leq 1 min (4 α + \frac{12}{n} \int_{α}^{1} ln N_{2} (F ∣_{x_{1 : n}}, δ) d δ)$ | $O (\frac{d}{n})$ | $O (\frac{ln n}{n})$ |

3 组合参数：伪维数

注意，覆盖数所扮演的角色与分类问题中的增长函数非常相似。对于分类问题，我们还引入了 VC 维：它是函数类的一个组合参数，可能更容易求出，并且通过 Sauer 引理直接给出增长函数的上界。

这自然引出了一个问题：对于实值函数类，我们能否也提出某种组合参数，并用它直接控制覆盖数？

这样的组合参数的确存在。文献中最早出现的这类参数是伪维数，它基于一个非常自然的想法：通过观察实值函数的上图集，把实值函数化为二分类器。

具体而言，一个函数

f : X \to [- 1, + 1]

自然地把空间

X \times [- 1, + 1]

分为两个部分：

满足 $f (x) \leq y$ 的部分，这部分称为 $f$ 的上图集；
满足 $f (x) > y$ 的部分。

因此，可以把 $f$ 看作空间 $X \times [- 1, + 1]$ 上的一个二分类器。

$F$ 的伪维数，直接定义为由此诱导出的二分类器类的 VC 维：

Pdim (F) = VCdim ({h (x, y) = sign (f (x) - y) : f \in F}) .

如果把 VC 维的定义完全展开，那么伪维数就是满足下面条件的最大整数 $n$ ：存在 $n$ 个输入-输出点对

(x_{1}, y_{1}), \dots, (x_{n}, y_{n}) \in X \times [- 1, + 1],

使得对于任意标记

s_{1}, \dots, s_{n} \in {- 1, + 1},

都存在 $f \in F$ ，使得对于所有 $t = 1, \dots, n$ ，都有

sign (f (x_{t}) - y_{t}) = s_{t} .

可以尝试在 $X = R$ 的情形下画一幅图，以帮助理解这个定义。

再次以线性函数类为例：

X = B_{q}^{d}, F = {f_{θ} (x) = ⟨ θ, x ⟩ : θ \in B_{p}^{d}},

其中 $p \geq 1$ 、 $q \geq 1$ ，且

\frac{1}{p} + \frac{1}{q} = 1.

为了判断这个函数类的伪维数有多大，需要考察下列分类器类的 VC 维：

{h (x, y) = sign (⟨ θ, x ⟩ - y) : θ \in B_{p}^{d}} .

这个函数类与第 2 讲以及作业 1 中讨论的线性分类器类非常相似。不难验证，它的 VC 维恰好是 $d$ 。因此，

Pdim (F) = d .

有限的伪维数足以保证可学习性。事实上，可以证明一个类似 Sauer 引理的结论：忽略一些对数因子，

ln N_{1} (F ∣_{x_{1 : n}}, α)

的量级为

Pdim (F) ln (\frac{1}{α}) .

这里不证明这一事实；但把这个上界直接代入定理 2，就可以得到

R^{iid} (F) = O (\frac{Pdim ( F ) ln n}{n}) .

还要注意，对于线性函数类，这与表 1 中的上界几乎相同。

然而，有限的伪维数并不是可学习性的必要条件。为了说明这一点，再次考察所有单调不减函数组成的类。

我们声称：虽然这个函数类是可学习的，这一点已经在前面证明过，但它实际上具有无穷大的伪维数。这意味着，伪维数并不是“正确的”复杂度度量。

事实上，对于任意 $n$ ，考虑下列输入-输出点对：

(0, 0/ n), (1, 1/ n), (2, 2/ n), \dots

对于任意标记

s_{1}, \dots, s_{n} \in {- 1, + 1},

只要

ϵ \in (0, \frac{1}{2 n}],

我们总能找到一个单调不减函数，使它依次通过这些点：

(0, 0/ n + s_{1} ϵ), (1, 1/ n + s_{2} ϵ), (2, 2/ n + s_{3} ϵ), \dots

显然，这样的函数对所有 $t = 1, \dots, n$ 都满足

sign (f (x_{t}) - y_{t}) = s_{t} .

这说明，诱导出的二分类器类能够打散任意大小的这类训练集，因此其伪维数是无穷大。

应该怎样解决这个问题？是否存在一个更好的组合参数，使得它的有限性成为可学习性的必要条件？这些问题将在下一讲中回答。