Lecture 5 详细讲解报告

本讲把“固定样本上的复杂度”换成“历史会影响未来的树上复杂度”。覆盖六页课件的全部内容，展开两条主要证明、树的量词和二分类重标号；极小极大与一般收缩作为外部定理使用，未伪装成已证明。原课件：lecture5.pdf（本地原课件，未在线发布）。配套：完整翻译。前置：Lecture 4；后续：Lecture 6。

1 阅读地图与符号

Lecture 2–4 在独立同分布假设下，建立“泛化误差 → Rademacher → 覆盖 → 组合维数”的链条。本讲保留思路，重新处理时间依赖。最后得到的是存在低遗憾策略的上界，还没有给出可运行的原博弈策略；Lecture 7 才进入算法设计。

符号：$\mathcal{D}$ 为决策空间，$\mathcal{F}\subseteq \mathcal{D}$ 为参照类，$z_t$ 为环境结果，${\hat{y}}_t$ 为学习者决策，$q_t,p_t$ 分别是二者分布。监督学习中 $z_t=(x_t,y_t)$，此时 ${\hat{y}}_t$ 有时是一个预测函数，不要和真实标签 $y_t$ 混淆。

以下默认所需随机变量、上确界和条件核可测，期望有限，满足所调用的极小极大条件。没有最优点时用任意精度近似极值。具体有限例子完全避开这些技术问题；无限类不能仅凭“线性”就断言极小极大交换成立。

2 遗憾比较的是哪个世界

基准是在已经发生的同一条结果序列上事后选一个固定函数。它不是每轮重新选最优函数，也不是把参照函数送入环境后重新生成一条反事实序列。自适应环境依赖过去决策，令结果序列随机，基准也随之随机；所以期望必须包住包含下确界的整个差。总遗憾 $o(n)$ 才意味着平均遗憾趋于零。

当前 $z_t$ 可利用已发生历史，但不能先看见当前私有抽样 ${\hat{y}}_t$ 再针对它选结果。两专家例子说明随机化为什么有用：若当轮标签能在看见随机预测后取反，再好的随机算法也每轮必错。课件讨论的是非预见当前随机性的环境。

3 为什么逐轮 ERM 会失败

补充一个将在 Lecture 7 再用的例子。只有两个常数专家，FTL 在累计损失相同时选 +1。给出标签序列 −1、+1、−1、+1……：

每个偶数轮之后两专家又平局，归纳可知 FTL 每轮都错。偶数 $n$ 时两个专家各错 $n/2$，FTL 遗憾为 $n/2$。注意这甚至是预先固定的序列。问题是“领先者”对一单位的损失差反应过于剧烈；历史平均最优不等于未来稳健。这个反例不说明所有结构化问题上的 FTL 都失败。

4 极小极大交换到底交换了什么

先看单轮两个标签的零一损失博弈。学习者以概率 $q$ 预测 +1；环境选 +1 时预期损失 $1-q$，选 −1 时为 $q$，所以最小化二者最大值得 $q=1/2$，值为 $1/2$。在对偶中，环境先以概率 $p$ 选 +1，学习者知道 $p$ 后选更常见标签，最佳损失为 $\min (p,1-p)$；环境最大化它仍得到 $1/2$。

环境可随机化而不改变原值，因为固定学习者混合策略后，对结果分布的期望是线性的；分布平均不会超过最坏纯结果。极小极大把当轮的两个混合策略优化交换。对偶中对 $q_t$ 的目标线性，最小值可由一个纯决策达到，因此学习者随机化可以消去。多轮要对后续最优值做后向归纳，不能粗暴地把所有 inf 移到表达式最外面。

对偶策略输入包含 $p_t$，原策略没有这个信息。因此“对偶只需预测分布最常见标签”不是原问题的算法。可学习性上界与有效实现之间的距离，正是后面算法设计要解决的事。

5 定理 1：从对偶到鞅差的完整推导

定义过去信息 ${\mathcal{G}}_{t-1}=\sigma (z_1,\dots ,z_{t-1})$。对固定联合分布，记条件风险和当期最优风险为

课件两轮证明的等式链推广到一般轮数后，给出对偶值的精确表达。理由是每个学习者决策只影响自己的当期损失，基准只依赖结果；从最后一轮向前消去决策，环境选择可写成历史到分布的核。核序列与联合分布是同一种信息。于是

把负下确界改为上确界。每个固定 $f$ 都是合法决策，所以每轮 $a_t\le A_t(f)$。这就是唯一比较步骤：

然后取期望、最坏联合分布并除以 $n$，即为定理 1。注意我们始终对整个和选择同一个 $f$，没有把“和的上确界”变成“逐轮上确界之和”。允许后一种变化虽然还是上界，却往往直接变成线性量。

6 固定函数均值为零，为什么还要复杂度

固定 $f$ 的累计差是鞅，独立并非必要；条件中心化已足够。然而事后最好的函数会利用整条样本路径，不能先把每个均值为零再对函数取最大。最小例子：对一个公平符号 $ϵ$，两个变量 $ϵ$ 与 $-ϵ$ 各自均值为零，但它们的最大值恒为 1。

补充验证：若只有 $K$ 个函数且损失在 $[0,1]$，条件 Hoeffding 引理给出 $\mathbb{E}[e^{\lambda D_t(f)}\mid {\mathcal{G}}_{t-1}]\le e^{{\lambda }^2/8}$。迭代后，累计差矩母函数至多 $e^{n{\lambda }^2/8}$；对 $K$ 个函数作 log-sum-exp 上界：

这预告第 6 讲：关键不是样本独立，而是每个可预测过程能集中，以及函数族有多少可区分的行为。无限类还需要树覆盖。

7 树是“全部可能历史”的预先编码

                     z1
               −1 /      \ +1
             z2(−1)      z2(+1)
           −1 / \ +1    −1 / \ +1
        z3(−,−) z3(−,+) z3(+,−) z3(+,+)

这是解释用示意图，原课件没有图。树可以在随机符号生成前全部写好；随机走左还是右，决定这一轮实际读哪个节点。第 $t$ 层节点只能读取前 $t-1$ 个符号，称为可预测性。深度 $n$ 有 $2^n-1$ 个节点，但一次实现只访问 $n$ 个。最后一个符号不影响已访问节点，却仍乘在最后一个函数值前，所以课件脚注保留了它。

量词顺序：先选一棵完整树，再随机生成路径，最后用同一个函数拟合整条路径。不能让根节点看见 ${ϵ}_1$，也不能每轮更换 $h$。统计 Rademacher 复杂度是所有同层节点相同的特例；它只考查固定输入序列。固定树不表示固定路径，最坏树也不表示能预知未来符号。

8 对称化的陷阱：影子过去不能随意交换

独立样本下，原样本与影子样本每一对都地位相同，乘随机符号等价于随机交换。依赖数据却不同。补充一个最小反例：令 $z_1$ 为公平二元变量，$z_2=z_1$；独立影子 $z_1^{\prime }$ 仍公平，但第二轮两个抽样都根据真实历史，故 $z_2^{\prime }=z_2=z_1$。

交换第一轮两个变量而不改变第二轮条件分布，改变了联合分布。这已经足以否定一般的交换论证，不需要猜某个特殊损失上是否恰巧相等。第二轮样本给定历史是可交换的，所以必须先从最后一轮开始。

9 定理 2：先把未来期望变成最坏情况

取两轮，并将损失简写为 $h_f$。拉出影子期望使用的是上确界的凸性：“先平均再最大”不大于“先最大再平均”。记 ${\Delta }_t(f)=h_f(z_t^{\prime })-h_f(z_t)$，得到

给定真实历史后对称化第二轮，再将这对第二轮样本的条件期望换成上确界。现在未来选择的取值域不再偏向真实第一轮，才可以对称化第一轮：

第二轮上确界在 ${ϵ}_1$ 的期望里面，所以第二轮选择可以因第一轮符号而异；它恰好定义一棵二层树。将正负两部分拆开，利用

对负部分把符号和分支一并重新编码，二者的最坏树值相同，所以得到因子 2。

一般 $n$ 的归纳从最后一轮重复同一操作：先引入最后符号，再消除最后一对样本分布对过去的偏向；逐轮向前推进，形成“选节点 → 抽符号 → 选下一层”的交替结构。每个可见前缀有两个后续选择，因此最终是两棵二叉树。最后只拆一次正负和，常数仍为 2，不会每轮翻倍为 $2^n$。这只是重复相同算子，没有额外的独立性假设。

与定理 1 合起来，得到 ${\mathcal{V}}^{\mathrm{seq}}\le 2{\mathcal{R}}^{\mathrm{seq}}(\ell (\mathcal{F}))$。最坏树而非原分布平均，正是放松期望的代价。

10 二分类消去损失：为什么必须重排输入树

代入复杂度后，常数项 ${\sum }_t{ϵ}_t/(2n)$ 的期望为零。剩下的符号是 $s_t=-{ϵ}_t{\mathbf{y}}_t({ϵ}_{<t})$。给定过去，标签已确定，乘它只会翻转当前公平硬币。递归逆变换还证明整组 $s$ 联合均匀、相互独立：

输入节点原来由 $ϵ$ 编址；换成 $s$ 后必须定义 ${\mathbf{x}}_t^{\prime }(s_{<t})={\mathbf{x}}_t({ϵ}_{<t}(s_{<t}))$。否则虽然换了符号分布，却忘了换与它关联的数据路径。于是

小例子：根输入 a，左右孩子 b、c；根标签 +1，第二层标签 −1。第一符号取反，第二符号不变，所以新树根仍 a，左右孩子变成 c、b。若每个节点标签均为 +1，则所有层都镜像。取全部树的上确界后，重排仍是合法树，损失类复杂度至多函数类的一半，和对称化中的 2 相消。

11 回归收缩：条件和证明边界

课件的一般收缩写成 $GO({\ln }^{3/2}n)$ 倍函数类复杂度，证明省略。非线性变换会改变函数在自适应树上的相对变化，不能直接套固定样本的逐坐标收缩论证。

原论文核对：Rakhlin、Sridharan、Tewari (2015) 的 Corollary 5 对有界类给出经典收缩，并要求复杂度至少 $1/n$；Theorem 8 对凸 Lipschitz 监督博弈直接消去损失，可避开该对数。这些是外部定理，此处不提供完整证明。

课件“对数不可避免”的附带说法不能过度推广。Block、Dagan、Rakhlin (2021) 的 Corollary 19 在其 $(c,p)$-bounded 条件下给出最坏树复杂度的无对数收缩。它不等价于所有固定树、所有依赖标签的变换都能无代价收缩，但不能据课件断言 $3/2$ 是普遍最优指数。

计算时用 $\ln (en)$ 代替裸 $\ln n$，避免一轮时得到零上界。超出论文条件时应重新引用适用版本，不应删除条件。平方损失还需取值范围：预测和标签均在 $[-1,1]$ 时，对预测的导数绝对值最多 4；无界标签则不存在这样的统一常数。

12 算例、误区与自测

算例。 两个常数函数 $\mathcal{F}=\{-1,+1\}$，两轮任意输入树都不改变函数值。符号和取 −2、0、2，概率为 $1/4,1/2,1/4$，故序列复杂度为 $\mathbb{E}|{ϵ}_1+{ϵ}_2|/2=1/2$；零一损失类复杂度为 $1/4$。这验证了一半因子，也说明函数可在看见整条路径后选择，但不能每轮换。

常见误区。 对偶策略不自动给出原策略；鞅差不等于独立；上确界不能随意移到期望外；节点不能看当前符号；“所有树的上界”比“某棵树的上界”强；Lipschitz 常数必须注明自变量和范围。

自测与答案。

1. 根节点为什么没有输入符号？第一轮没有过去，不能泄露待预测随机性。
2. 为什么最后一个符号仍有用？它决定最后一项正负，虽然不再选新节点。
3. 定理 1 哪一步用了包含关系？$a_t\le A_t(f)$。
4. 对称化常数为什么不逐轮相乘？只在最后拆一次两棵树的和。
5. 固定函数均值为零，最大值为何可正？事后选择与数据相关，参看 $ϵ,-ϵ$。
6. 第 6 讲还缺什么？把树上复杂度变成可计算的维数或覆盖数。

13 建议阅读路线

第一遍用 15 分钟串起第 2、4、7 节，分清协议与树。第二遍用 25 分钟重写第 5、9 节，每步标注依赖关系。第三遍用 15 分钟重画换树例子并做自测。然后读 Lecture 6 的零覆盖，留意“固定树”与“沿每条路径选代表”的区别。