第十三章：U-统计量 (U-statistics)（一）

1. 为什么要研究 U-统计量？

1.1 核心思想

在统计学中，我们感兴趣的许多被估量 (estimands) 并非单一观测值的期望，而是几个独立观测值的函数的期望：

\[ \theta(P) = E h(X_1, \dots, X_m), \quad X_i \stackrel{iid}{\sim} P \]

U-统计量 (U-statistic) 通过在样本中所有不同的 \(m\) 元组 (m-tuples) 上对函数 \(h\) 求平均来估计这个量。

应用场景：

• 经典统计学：无偏样本方差、基尼平均差 (Gini mean difference)、Kendall's tau、Mann-Whitney/Wilcoxon 统计量。

• 统计推断：渐近方差估计、置信区间、置换检验 (permutation tests)、秩检验 (rank tests)。

• 现代机器学习：AUC/排序问题、基于 MMD 的核双样本检验 (kernel two-sample tests)、基于 HSIC 的独立性检验、可扩展的不完全 U-统计量。

1.2 直观理解：在所有子样本上求平均

假设我们有一个仅使用 \(m\) 个观测值的简单无偏估计量：

\[ h(X_1, \dots, X_m), \quad E h(X_1, \dots, X_m) = \theta \]

在容量为 \(n\) 的样本中，存在许多大小为 \(m\) 的子集。与其仅仅选择其中一个子集，不如在所有这样的子集上求平均：

\[ U_n = \binom{n}{m}^{-1} \sum_{1 \le i_1 < \dots < i_m \le n} h(X_{i_1}, \dots, X_{i_m}) \]

直观解释： 给定一个无序样本，将朴素估计量 (naive estimator) 在所有可能的重排 (relabelings) 上求平均，可以消除因选择特定子样本而引入的人为随机性。这通常能在保持无偏性的同时降低方差。

---

1.3 示例：样本方差 (Sample variance)

方差可以写成一个两样本泛函 (two-sample functional) 的形式：

\[ \sigma^2 = \frac{1}{2} E(X_1 - X_2)^2 \]

因此，无偏样本方差可以表示为：

\[ \binom{n}{2}^{-1} \sum_{1 \le i < j \le n} \frac{(X_i - X_j)^2}{2} = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X}_n)^2 \]

• 我们常用的样本方差公式并不是一个生拼硬凑的公式 (ad hoc formula)。
• 它实际上是基于两个观测值的无偏估计量 \(\frac{(X_1 - X_2)^2}{2}\) 的完全平均 (complete average)。

---

2. U-统计量背后的数理统计学原理

引入 U-统计量最初的原因不仅是为了“通过平均来获得稳定性”，它本身是一个经典的数理统计学构造。

2.1 起点：可估泛函 (Estimable functional)

如果存在一个可测函数 \(h\)，使得：

\[ \theta(P) = E_P h(X_1, \dots, X_m) \]

其中 \(X_1, \dots, X_m \stackrel{iid}{\sim} P\)，则称参数 \(\theta = \theta(P)\) 是一个度数 (degree) 为 \(m\) 的可估泛函。 此时，\(h(X_1, \dots, X_m)\) 就是基于仅仅 \(m\) 个观测值的参数 \(\theta\) 的朴素无偏估计量。

• 如果 \(m=1\)，最自然的估计量是 \(h(X_i)\) 的样本均值。
• 如果 \(m \ge 2\)，样本中包含许多同等有效的 \(m\)-子样本。
• U-统计量本质上是朴素估计量在消除了子样本选择的任意性之后的 Rao-Blackwell 化 (Rao-Blackwellized) 版本。

2.2 可估泛函示例

阶数 (Degree)	泛函 (Functional) \(\theta(P)\)	无偏核 (Unbiased kernel \(h\))	解释 (Interpretation)
1	\(\mu = EX\)	\(h(x) = x\)	许多非线性参数本质上仍是期望，但是基于几个独立副本的期望。
1	\(EX^r\)	\(h(x) = x^r\)	U-统计量正是此类泛函在自然无偏意义下，样本均值的推广。
2	\(\mu^2\)	\(h(x_1, x_2) = x_1 x_2\)
2	\(\sigma^2\)	\(h(x_1, x_2) = (x_1 - x_2)^2 / 2\)
2	\(F(t)^2\)	\(h(x_1, x_2) = \mathbb{I}(x_1 \le t)\mathbb{I}(x_2 \le t)\)
2	\(\mathbb{P}(X < Y)\)	\(h(x, y) = \mathbb{I}(x < y)\)	两样本 (two-sample)

---

3. 充分统计量与 Rao-Blackwell 原理

3.1 无序样本作为充分统计量

记次序统计量 (order statistic) 或（当可能存在平局时）无序样本/经验测度 \(P_n\) 为：

\[ T = (X_{(1)}, \dots, X_{(n)}) \]

• 对于来自任意分布 \(P\) 的 i.i.d. 样本，无序样本 \(T\) 对 \(P\) 是充分的 (sufficient)。
• 等价地，在给定 \(T\) 的条件下，剩余的随机性仅仅是对观测值标签的随机分配 (random labeling)。
• 这种条件标签分布是不依赖于 \(P\) 的 (free of \(P\))：所有的标签排列都是等可能的（如果存在平局，则考虑多重性）。

3.2 Rao-Blackwell 原理

如果 \(A\) 是一个无偏估计量，那么条件期望 \(E(A|T)\) 仍然是无偏的，并且：

\[ Var\{E(A|T)\} \le Var(A) \]

因此，对无序样本取条件期望可以在不改变估计目标的情况下，消除标签噪声 (label noise)。

---

4. 关键恒等式：条件期望构造出 U-统计量

从朴素无偏估计量出发：

\[ A = h(X_1, \dots, X_m), \quad E A = \theta \]

在给定无序样本 \(T\) 的条件下，前 \(m\) 个标签是从 \(\{1, \dots, n\}\) 中无放回地均匀抽取的有序样本。因此：

\[ E\{h(X_1, \dots, X_m) | T\} = \frac{(n-m)!}{n!} \sum_{(i_1, \dots, i_m): \text{distinct}} h(X_{i_1}, \dots, X_{i_m}) \]

\[ = \binom{n}{m}^{-1} \sum_{1 \le i_1 < \dots < i_m \le n} h^{sym}(X_{i_1}, \dots, X_{i_m}) \]

如果核函数 \(h\) 是对称的 (symmetric)，那么这恰好就是 U-统计量：

\[ U_n = \binom{n}{m}^{-1} \sum_{1 \le i_1 < \dots < i_m \le n} h(X_{i_1}, \dots, X_{i_m}) \]

4.1 Rao-Blackwell 构造的推论

上述恒等式提供了一个有限样本层面的解释，说明了为什么“完全平均”是典范的 (canonical) 估计量。

1. 无偏性：

   \[ E U_n = E\{E(A|T)\} = E A = \theta \]

2. 相对于单一子样本的方差缩减：

   \[ Var(U_n) = Var\{E(A|T)\} \le Var(A) \]

3. 与 UMVU 理论的联系： 在参数模型中，如果 \(T\) 是完备且充分的 (complete and sufficient)，根据 Lehmann-Scheffé 定理，相同的条件期望就是一致最小方差无偏估计量 (UMVU)。

尚待解决的非平凡问题 (What remains nontrivial)： 在 \(U_n\) 的求和项中，由于不同的子样本之间存在重叠 (overlap)，这些项是相依的 (dependent)。本章的后续部分将发展投影 (projection) 和重叠工具来量化这种相依性。

---

5. 经典示例深入

5.1 示例：由 Rao-Blackwell 化导出样本方差

对于 \(\theta = \sigma^2\)，基于两个观测值的无偏估计量为：

\[ A = \frac{(X_1 - X_2)^2}{2}, \quad E A = \frac{1}{2} E(X_1 - X_2)^2 = \sigma^2 \]

对无序样本 \(T\) 取条件，得到：

\[ E(A|T) = \binom{n}{2}^{-1} \sum_{1 \le i < j \le n} \frac{(X_i - X_j)^2}{2} = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X}_n)^2 \]

因此，我们熟悉的无偏样本方差正是朴素两点估计量的 Rao-Blackwell 化版本。

注记：分母为 \(n-1\) 的公式并非一个经验性的修正技巧 (correction trick)；它是对所有数据对进行完全平均的自然结果。

5.2 示例：消除对角线偏差 (Removing the diagonal bias)

固定 \(t \in \mathbb{R}\) 并令 \(p = F(t)\)。参数 \(p^2\) 具有以下无偏的两样本核函数：

\[ h(x_1, x_2) = \mathbb{I}(x_1 \le t)\mathbb{I}(x_2 \le t) \]

对应的 U-统计量为：

\[ U_n(t) = \frac{1}{n(n-1)} \sum_{i \ne j} \mathbb{I}(X_i \le t)\mathbb{I}(X_j \le t) \]

如果记 \(N_t = \sum_{i=1}^n \mathbb{I}(X_i \le t)\)，那么：

\[ U_n(t) = \frac{N_t(N_t - 1)}{n(n-1)}, \quad E U_n(t) = p^2 \]

相比之下，传统的插入式估计量 (plug-in estimator) 包含了对角线项，满足：

\[ F_n(t)^2 = (N_t / n)^2 \]

\[ E F_n(t)^2 = p^2 + \frac{p(1-p)}{n} \]

（存在 \(O(1/n)\) 的偏差）。

---

6. 从直观到渐近理论 (Asymptotic Theory)

Rao-Blackwell 的图像解释了 U-统计量的构造；而投影 (projection) 的图像将解释其渐近性质。

• 揭示一个观测值会使核函数的条件均值发生如下变化（一阶效应）：

  \[ h_1(x) - \theta = E\{h(x, X_2, \dots, X_m)\} - \theta \]

  如果这个一阶效应的方差为正，那么许多弱相依的重叠项加起来将趋于正态极限：

  \[ \sqrt{n}(U_n - \theta) \approx \frac{m}{\sqrt{n}} \sum_{i=1}^n \{h_1(X_i) - \theta\} \]

• 如果一阶效应为零，则该统计量是退化的 (degenerate)，更高阶的交互项将决定其收敛速率和极限分布。

总结：U-统计量脱胎于充分性和 Rao-Blackwell 化，但其分析主要依赖于 Hoeffding 投影。

---

7. 严格定义：对称核与 U-统计量

假设 \(X_1, \dots, X_n \stackrel{iid}{\sim} P\) 于可测空间 \((\mathcal{X}, \mathcal{A})\) 上，并固定 \(m < n\)。

定义 9.1 (对称核 Symmetric kernel)

一个可测函数 \(h: \mathcal{X}^m \rightarrow \mathbb{R}\) 被称为 \(m\) 阶的对称核，如果对于集合 \(\{1, \dots, m\}\) 的任意排列 (permutation) \(\pi\)，都有：

\[ h(x_1, \dots, x_m) = h(x_{\pi(1)}, \dots, x_{\pi(m)}) \]

如果 \(h\) 不是对称的，可以通过以下方式将其替换为对称化版本 (symmetrization)：

\[ h^{sym}(x_1, \dots, x_m) = \frac{1}{m!} \sum_{\pi} h(x_{\pi(1)}, \dots, x_{\pi(m)}) \]

如果原统计量在无序子集上求平均，则替换为对称核后的 U-统计量保持不变。

定义 9.2 (U-统计量 U-statistic)

假设 \(E|h(X_1, \dots, X_m)| < \infty\) 并且定义：

\[ \theta = \theta(P) = E h(X_1, \dots, X_m) \]

基于 \(m\) 阶核函数 \(h\) 的 U-统计量定义为：

\[ U_n = \binom{n}{m}^{-1} \sum_{1 \le i_1 < \dots < i_m \le n} h(X_{i_1}, \dots, X_{i_m}) \]

显然 \(E U_n = \theta\)。"U" 代表无偏性 (Unbiasedness)：即每一项的期望均为 \(\theta\)。

---

8. 与 Plug-in 和 V-统计量的关系

经验分布可以写为 \(P_n = n^{-1} \sum_{i=1}^n \delta_{X_i}\)。一个自然的插入式估计量 (plug-in estimator) 是 V-统计量 (V-statistic)：

\[ V_n = \int h(x_1, \dots, x_m) dP_n(x_1) \dots dP_n(x_m) = \frac{1}{n^m} \sum_{i_1, \dots, i_m = 1}^n h(X_{i_1}, \dots, X_{i_m}) \]

• \(V_n\) 包含了重复的下标，因此对于有限的 \(n\) 而言它可能是有偏的。
• \(U_n\) 移除了重复下标，是严格无偏的。
• 对于固定的 \(m\) 和正则的核函数，\(U_n\) 和 \(V_n\) 的差异通常为 \(O_p(n^{-1})\)，但这种差异在处理退化极限 (degenerate limits) 时可能会产生重要影响。

9. 现代与经典统计中的核心示例

9.1 秩的例子：Kendall's tau (Rank example: Kendall's tau)

例 9.3 (Kendall's tau)

对于二元观测数据 \(Z_i = (X_i, Y_i)\)，我们感兴趣的参数为：

\[ \tau = E[\text{sign}\{(X_1 - X_2)(Y_1 - Y_2)\}] \]

其对应的核函数为：

\[ h(z_1, z_2) = \text{sign}\{(x_1 - x_2)(y_1 - y_2)\} \]

由此构造的 U-统计量估计量为：

\[ \hat{\tau} = \binom{n}{2}^{-1} \sum_{i < j} h(Z_i, Z_j) \]

它常被用来衡量变量之间的单调相关性 (monotone association)。

9.2 经典检验：Mann-Whitney 与 AUC

例 9.4 (Mann-Whitney 参数与 AUC)

对于两个独立的样本 \(X_1, \dots, X_n \sim P\) 和 \(Y_1, \dots, Y_N \sim Q\)，其参数定义为：

\[ \theta = \mathbb{P}(X > Y) + \frac{1}{2}\mathbb{P}(X = Y) \]

该参数可以通过一个双样本 (two-sample) U-统计量来进行估计：

\[ U_{n,N} = \frac{1}{nN} \sum_{i=1}^n \sum_{j=1}^N \left\{ \mathbb{I}(X_i > Y_j) + \frac{1}{2}\mathbb{I}(X_i = Y_j) \right\} \]

在机器学习中，这对应于一个评分规则下的总体 AUC (Area Under the ROC Curve)。

9.3 核双样本检验：MMD (Kernel two-sample Testing)

设 \(X, X' \sim P\) 且 \(Y, Y' \sim Q\) 相互独立，并令 \(k\) 为一个正定核 (positive definite kernel)。 最大均值差异 (Maximum Mean Discrepancy) 的平方定义为：

\[ \text{MMD}^2(P, Q) = E k(X, X') + E k(Y, Y') - 2 E k(X, Y) \]

对于配对观测值 \(Z_i = (X_i, Y_i)\)，其无偏估计量是一个二阶的 U-统计量：

\[ \widehat{\text{MMD}}_u^2 = \binom{n}{2}^{-1} \sum_{i < j} h(Z_i, Z_j) \]

其中对称核函数为：

\[ h(z_i, z_j) = k(x_i, x_j) + k(y_i, y_j) - k(x_i, y_j) - k(x_j, y_i) \]

• 特性：在原假设 \(H_0: P = Q\) 成立的情况下，该核函数的一阶投影为零。因此，该统计量是退化的 (degenerate)，其原假设下的极限分布是一种加权卡方 (weighted chi-square) 类型的分布。

9.4 核独立性检验：HSIC (Kernel Independence Testing)

令 \(Z = (X, Y)\)，并设 \(k\) 和 \(l\) 分别是 \(X\) 空间和 \(Y\) 空间上的核函数。Hilbert-Schmidt 独立性准则 (HSIC) 满足：对于特征核 (characteristic kernels)，

\[ \text{HSIC}(P_{XY}, k, l) = 0 \quad \text{当且仅当 } X \text{ 和 } Y \text{ 独立} \]

• 无偏经验 HSIC 是一个四阶的 U-统计量 (U-statistic of order 4)。
• 在独立性假设下，它是退化的：其一阶投影消失为零。
• 这解释了为什么其原假设分布不是简单的正态极限；实际中通常采用谱方法、置换检验 (permutation) 或野生自助法 (wild-bootstrap) 来近似。

核心启示： 退化的 U-统计量绝非理论上的技术奇观，它们在现代核检验 (modern kernel tests) 中占据着绝对核心的地位。

---

10. 条件投影与 Hoeffding 方差公式

为了量化 U-统计量中各交叉项的相依性，我们引入条件投影工具。

10.1 条件投影 (Conditional projections)

假设核函数满足有限二阶矩条件：\(E h^2(X_1, \dots, X_m) < \infty\)。 对于 \(k = 0, 1, \dots, m\)，我们定义条件期望投影：

• 当 \(k=0\) 时：

\[ h_0 = \theta \]

• 对于 \(1 \le k \le m\)：

\[ h_k(x_1, \dots, x_k) = E\{h(x_1, \dots, x_k, X_{k+1}, \dots, X_m)\} \]

易知 \(h_m = h\)，并且期望满足：

\[ E h_k(X_1, \dots, X_k) = \theta \]

接下来，我们定义中心化投影 (centered projection)：

\[ \tilde{h}_k(x_1, \dots, x_k) = h_k(x_1, \dots, x_k) - \theta \]

并定义其对应的投影方差：

\[ \xi_k = Var\{h_k(X_1, \dots, X_k)\} \]

10.2 投影方差的单调性 (Monotonicity of the projection variances)

由于条件期望的塔式性质 (Tower Property)：

\[ h_k(X_1, \dots, X_k) = E\{h_{k+1}(X_1, \dots, X_{k+1}) | X_1, \dots, X_k\} \]

应用条件 Jensen 不等式可得：

\[ \xi_k \le \xi_{k+1} \]

其中 \(\xi_0 = 0\) 且 \(\xi_m = Var\{h(X_1, \dots, X_m)\}\)。

• 直观解释：对于 \(k = 0, 1, \dots, m-1\)，投影方差 \(\xi_k\) 衡量了当我们已知核函数 \(m\) 个自变量中的 \(k\) 个时，核函数的整体变异程度有多少已经被这 \(k\) 个变量所解释。

10.3 Hoeffding 方差公式

定理 9.5 (Hoeffding 方差公式)

如果 \(E h^2(X_1, \dots, X_m) < \infty\)，那么 U-统计量的精确方差为：

\[ Var(U_n) = \binom{n}{m}^{-1} \sum_{k=1}^m \binom{m}{k} \binom{n-m}{m-k} \xi_k \]

此外，它还满足以下几个重要的性质：

• 1. 上下界：

\[ \frac{m^2}{n} \xi_1 \le Var(U_n) \le \frac{m}{n} \xi_m \]

• 2. 样本量单调性：

\[ (n+1)Var(U_{n+1}) \le n Var(U_n) \]

• 3. 退化情况下的渐近方差： 如果存在整数 \(r\)，使得 \(\xi_1 = \dots = \xi_{r-1} = 0\) 且 \(\xi_r > 0\)，那么：

\[ Var(U_n) = \frac{r! \binom{m}{r}^2 \xi_r}{n^r} + O(n^{-(r+1)}) \]

定理 9.5 的证明（点击展开）

第一步：通过重叠计算协方差 (Covariance by overlap)

设中心化核函数为 \(\tilde{h} = h - \theta\)。如果指标子集 \(I\) 和 \(J\) 恰好有 \(k\) 个公共元素（即 \(|I \cap J| = k\)），那么通过对这 \(k\) 个共同观测值取条件期望，我们可以计算协方差：

\[ E\{\tilde{h}(X_I)\tilde{h}(X_J)\} = E \left[ E\{\tilde{h}(X_I) | X_{I \cap J}\} E\{\tilde{h}(X_J) | X_{I \cap J}\} \right] \]

根据投影的定义，这等于：

\[ = E\{\tilde{h}_k(X_1, \dots, X_k)^2\} = \xi_k \]

这是证明中最核心的一步：协方差仅取决于两个子集共享下标的数量 \(k\)。

第二步：统计重叠数量 (Counting overlaps)

固定某一个子集 \(I\)。我们要计算有多少个大小为 \(m\) 的子集 \(J\) 与 \(I\) 恰好共享 \(k\) 个元素。 利用组合数学，这相当于从 \(I\) 的 \(m\) 个元素中选出 \(k\) 个，再从不在 \(I\) 中的 \(n-m\) 个元素中选出 \(m-k\) 个：

\[ \binom{m}{k}\binom{n-m}{m-k} \]

利用方差的双重求和展开：

\[ Var(U_n) = \binom{n}{m}^{-2} \sum_{I} \sum_{J} Cov\{h(X_I), h(X_J)\} \]

合并同类项：

\[ = \binom{n}{m}^{-2} \sum_{I} \sum_{k=1}^m \binom{m}{k}\binom{n-m}{m-k} \xi_k \]

外层关于 \(I\) 的求和共有 \(\binom{n}{m}\) 项，因此：

\[ = \binom{n}{m}^{-1} \sum_{k=1}^m \binom{m}{k}\binom{n-m}{m-k} \xi_k \]

（注意：当 \(k=0\) 时，两个子集完全独立，协方差为 0，对应的项消失。）证明完毕。 \(\square\)

10.4 收敛速率：为什么退化性很重要 (Rates: why degeneracy matters)

分析方差公式中 \(\xi_k\) 的系数，我们可以进行渐近展开：

\[ \binom{n}{m}^{-1}\binom{m}{k}\binom{n-m}{m-k} = \binom{m}{k}^2 k! n^{-k} + O(n^{-(k+1)}) \]

由此可见，第一个非零的投影方差决定了 U-统计量的随机阶 (stochastic order)。

如果 \(\xi_1 = \dots = \xi_{r-1} = 0\) 且 \(\xi_r > 0\)，那么其波动率为：

\[ U_n - \theta = O_p(n^{-r/2}) \]

• 当 \(r = 1\) 时：该 U-统计量是非退化的 (non-degenerate)，具有 \(\sqrt{n}\) 的收敛速率以及正态的极限分布。
• 当 \(r = 2\) 时：该 U-统计量是2阶退化的 (degenerate of order 2)，其收敛速率更快（为 \(n^{-1}\)），并且极限分布是非高斯的（通常是无限多个卡方随机变量的加权和）。

11. U-统计量的渐近性质 (Asymptotic Normality of U-Statistics)

在 U-统计量的渐近理论中，最大的挑战在于：当 \(m > 1\) 时，U-统计量 \(U_n\) 不是独立随机变量的简单加和（即使原始样本 \(\{X_i\}\) 是独立的，不同子样本之间也会有重叠）。这使得我们无法直接应用传统的独立随机变量中心极限定理 (CLT)。

解决思路：找到 \(U_n\) 在各个独立观测值 \(X_1, \dots, X_n\) 上的投影 (Projection)。 具体而言，通过计算条件期望 \(E(U_n|X_i)\) (\(i=1, \dots, n\))，我们构造一个新的统计量：

\[ \tilde{U}_n = EU_n + \sum_{i=1}^n \{E(U_n|X_i) - EU_n\} \]

由于 \(X_i\) 是独立的，\(\tilde{U}_n\) 是独立同分布 (i.i.d.) 随机变量的和，可以直接应用 CLT。如果我们能证明残差项 \(U_n - \tilde{U}_n\) 在渐近意义下可忽略，那么就可以利用 Slutsky 定理建立 \(U_n\) 的渐近正态性。

11.1 U-统计量的投影定义与引理

定义 9.6 (投影 Projection)

设 \(U_n\) 是基于样本 \(\{X_1, \dots, X_n\}\) 的 U-统计量。\(U_n\) 在 \(\{X_1, \dots, X_n\}\) 上的投影定义为：

\[ \tilde{U}_n = EU_n + \sum_{i=1}^n \{E(U_n|X_i) - EU_n\} := \theta + \sum_{i=1}^n \{\varphi_n(X_i) - \theta\} \quad \text{--- (9.1)} \]

其中 \(\varphi_n(X_i) = E(U_n|X_i)\)。

如果 \(\{X_i\}\) 是 i.i.d.（或独立的），那么序列 \(\{\varphi_n(X_i)\}\) 也是 i.i.d.（或独立的）。 显然，由于条件期望的性质，我们有：\(E\tilde{U}_n = \theta\)（如果 \(h = h_m\)，则等于 \(EU_n\)）。

基于协方差的性质 \(cov(U_n, \tilde{U}_n) = var(\tilde{U}_n)\)（详见 Shao p179），我们可以得到以下关于投影误差方差的关键引理：

引理 9.7

设 \(U_n\) 是一个对每个 \(n\) 满足 \(var(U_n) < \infty\) 的 U-统计量。那么有：

\[ E(U_n - \tilde{U}_n)^2 = var(U_n - \tilde{U}_n) = var(U_n) - var(\tilde{U}_n) \]

11.2 U-统计量的渐近分布定理

定理 9.8 (U-统计量的极限分布)

设 \(U_n\) 是基于 i.i.d. 样本 \(\{X_i\}_{i=1}^n\) 的 U-统计量，且满足二阶矩条件 \(Eh^2(X_1, \dots, X_m) < \infty\)。

• (i) 非退化情况：如果一阶投影方差 \(\xi_1 = var(\tilde{h}_1(X)) > 0\)，那么：

\[ \sqrt{n}(U_n - EU_n) \xrightarrow{d} N(0, m^2\xi_1) \]

• (ii) 1阶退化情况：如果 \(\xi_1 = 0\) 但是 \(\xi_2 > 0\)，那么：

\[ n(U_n - EU_n) \xrightarrow{d} \frac{m(m-1)}{2} \sum_{j=1}^\infty \lambda_j(\chi_{1,j}^2 - 1) \]

其中 \(\{\chi_{1,j}^2\}_{j \ge 1}\) 是一系列 i.i.d. 的 \(\chi_1^2\) 随机变量，且 \(\lambda_j\) 是满足 \(\sum_{j=1}^\infty \lambda_j^2 = \xi_2\) 的常数（特征值）。

---

11.3 定理 9.8 (i) 非退化情况的证明

定理 9.8 (i) 的证明（点击展开）

首先计算条件期望 \(E(U_n|X_1)\)：

\[ E(U_n|X_1) = \binom{n}{m}^{-1} \sum_{I} E(h(X_{i_1}, \dots, X_{i_m})|X_1) \]

将其拆分为两部分：

\[ = \binom{n}{m}^{-1} \left\{ \sum_{I_1} E(h(X_{i_1}, \dots, X_{i_m})|X_1) + \sum_{I_2} \theta \right\} \]

其中，\(I_1\) 是所有包含下标 \(1\) 的组合 \((i_1, \dots, i_m)\)，\(I_2\) 是不包含下标 \(1\) 的其他组合。容易通过组合数计算出：

\[ |I_1| = \binom{n-1}{m-1}, \quad |I_2| = \binom{n-1}{m} \]

因此代入得：

\[ E(U_n|X_1) = \frac{m!(n-m)!}{n!} \left[ \frac{(n-1)!}{(m-1)!(n-m)!} h_1(X_1) + \frac{(n-1)!}{m!(n-m-1)!} \theta \right] \]

化简后得到：

\[ = \frac{m}{n} h_1(X_1) + \frac{n-m}{n} \theta \]

随后，我们构造投影统计量 \(\tilde{U}_n\)：

\[ \tilde{U}_n = \theta + \sum_{i=1}^n \left\{ \frac{m}{n} h_1(X_i) + \frac{n-m}{n} \theta - \theta \right\} \]

化简得：

\[ = \theta + \frac{m}{n} \sum_{i=1}^n \{h_1(X_i) - \theta\} = \theta + \frac{m}{n} \sum_{i=1}^n \tilde{h}_1(X_i) \]

根据独立同分布随机变量的中心极限定理 (CLT)，因为已知 \(E\tilde{h}_1^2(X_1) < \infty\)：

\[ \sqrt{n}(\tilde{U}_n - \theta) \xrightarrow{d} N(0, m^2\xi_1) \]

前提是 \(\xi_1 > 0\)（因为 \(var(\tilde{U}_n) = m^2\xi_1/n\)）。

另一方面，应用引理 9.7：

\[ E(U_n - \tilde{U}_n)^2 = var(U_n) - var(\tilde{U}_n) \]

根据定理 9.5 中关于 \(var(U_n)\) 的展开式：

\[ = \frac{m^2\xi_1}{n} + O(n^{-2}) - \frac{m^2\xi_1}{n} = O(n^{-2}) \]

利用 Chebyshev 不等式，对于任意 \(\epsilon > 0\)：

\[ P(\sqrt{n}|U_n - \tilde{U}_n| > \epsilon) \le \frac{n E(U_n - \tilde{U}_n)^2}{\epsilon^2} = O(n^{-1}) \rightarrow 0 \]

即 \(\sqrt{n}(U_n - \tilde{U}_n) = o_p(1)\)。 最后，利用代数恒等式：

\[ \sqrt{n}(U_n - \theta) = \sqrt{n}(\tilde{U}_n - \theta) + \sqrt{n}(U_n - \tilde{U}_n) \]

应用 Slutsky 定理：

\[ = \sqrt{n}(\tilde{U}_n - \theta) + o_p(1) \xrightarrow{d} N(0, m^2\xi_1) \]

证明完毕。 \(\square\)

---

11.4 定理 9.8 (ii) 退化情况的证明

退化的 U-统计量是指 \(\xi_1 = 0\) 的情形。此时标准化系数变为 \(n\) 而非 \(\sqrt{n}\)，并且极限分布是无限卡方变量的线性组合。

定理 9.8 (ii) 的证明（点击展开）

现在我们证明退化 U-统计量定理 9.8(ii)。我们的目标是证明：

\[ n(\hat{U}_n - \theta) := \frac{m(m-1)}{n-1} \sum_{1 \le i < j \le n} \tilde{h}_2(X_i, X_j) \xrightarrow{d} \frac{m(m-1)}{2} Y \]

其中 \(Y = \sum_{j=1}^\infty \lambda_j(W_j^2 - 1)\)，而 \(W_1^2, W_2^2, \dots\) 是独立的 \(\chi_1^2\) 随机变量。 令：

\[ T_n = \frac{1}{n} \sum_{i \ne j} \tilde{h}_2(X_i, X_j) \]

则有：

\[ n(\hat{U}_n - \theta) = \frac{m(m-1)}{2} \frac{n}{n-1} T_n \]

因此，我们的目标转化为证明 \(T_n \xrightarrow{d} Y\)。我们将采用特征函数 (characteristic functions) 方法来证明这一点，即需要证明对任意 \(x\)：

\[ E_F\{e^{ixT_n}\} \rightarrow E\{e^{ixY}\}, \quad n \rightarrow \infty \quad \text{--- (9.2)} \]

我们将使用 \(\tilde{h}_2(x, y)\) 的一种特殊表示。设 \(\{\phi_j(\cdot)\}\) 是对应于与 \(\tilde{h}_2\) 相关的特征值 \(\{\lambda_j\}\) 的标准正交特征函数 (orthonormal eigenfunctions)。 即满足：

\[ E_F\{\phi_j(X)\phi_k(X)\} = \begin{cases} 1, & j = k \\ 0, & j \ne k \end{cases} \]

并且 \(\tilde{h}_2(x, y)\) 可以表示为当 \(K \rightarrow \infty\) 时 \(\sum_{k=1}^K \lambda_k \phi_k(x) \phi_k(y)\) 的均方极限 (mean square limit)。即：

\[ \lim_{K \rightarrow \infty} E_F\left\{ \left[ \tilde{h}_2(X_1, X_2) - \sum_{k=1}^K \lambda_k \phi_k(X_1) \phi_k(X_2) \right]^2 \right\} = 0 \]

我们在均方意义下写为：

\[ \tilde{h}_2(x, y) = \sum_{k=1}^\infty \lambda_k \phi_k(x) \phi_k(y) \quad \text{--- (9.3)} \]

并且相应的：

\[ \tilde{h}_1(x) = \sum_{k=1}^\infty \lambda_k \phi_k(x) E_F\{\phi_k(X)\} \quad \text{--- (9.4)} \]

由于已知退化条件 \(\xi_1 = 0\)，必然对于所有 \(k\) 都有：

\[ E_F\{\phi_k(X)\} = 0 \quad \text{--- (9.5)} \]

此外，根据正交性，我们有：

\[ E_F\left\{ \left[ \tilde{h}_2(X_1, X_2) - \sum_{k=1}^K \lambda_k \phi_k(X_1) \phi_k(X_2) \right]^2 \right\} = E_F\{\tilde{h}_2^2(X_1, X_2)\} - \sum_{k=1}^K \lambda_k^2 \]

从而推导出特征值的平方和是收敛的：

\[ \sum_{k=1}^\infty \lambda_k^2 = E_F\{\tilde{h}_2^2(X_1, X_2)\} < \infty \]

将表示式 (9.4) 代入 \(T_n\)，得到：

\[ T_n = \frac{1}{n} \sum_{i \ne j} \sum_{k=1}^\infty \lambda_k \phi_k(X_i) \phi_k(X_j) \]

现在截取前 \(K\) 项定义 \(T_{nK}\)：

\[ T_{nK} = \frac{1}{n} \sum_{i \ne j} \sum_{k=1}^K \lambda_k \phi_k(X_i) \phi_k(X_j) \]

利用复数不等式 \(|e^{iz} - 1| \le |z|\)，我们可以控制特征函数的截断误差：

\[ |E\{e^{ixT_n}\} - E\{e^{ixT_{nK}}\}| \le E|e^{ixT_n} - e^{ixT_{nK}}| \le |x| E|T_n - T_{nK}| \le |x| [E(T_n - T_{nK})^2]^{1/2} \quad \text{--- (9.6)} \]

观察到 \(T_n - T_{nK}\) 本质上也是一个 U-统计量的形式：

\[ T_n - T_{nK} = \frac{2}{n} \binom{n}{2} U_{nK} \]

其中：

\[ U_{nK} = \binom{n}{2}^{-1} \sum_{i < j} g_K(X_i, X_j) \]

带有截断核函数：

\[ g_K(x, y) = \tilde{h}_2(x, y) - \sum_{k=1}^K \lambda_k \phi_k(x) \phi_k(y) \]

可以验证该截断核函数满足：

\[ E_F\{g_K(X_1, X_2)\} = 0 \]

\[ E_F\{g_K^2(X_1, X_2)\} = \sum_{k=K+1}^\infty \lambda_k^2 \]

\[ E_F\{g_K(x, X)\} = 0 \]

因此 \(E(U_{nK}) = 0\)，且根据定理 9.5：

\[ E\{U_{nK}^2\} = \binom{n}{2}^{-1} \sum_{k=K+1}^\infty \lambda_k^2 \]

从而：

\[ E(T_n - T_{nK})^2 = (n-1)^2 \binom{n}{2}^{-1} \sum_{k=K+1}^\infty \lambda_k^2 \le 2 \sum_{k=K+1}^\infty \lambda_k^2 \quad \text{--- (9.7)} \]

现在固定 \(x\) 并给定 \(\epsilon > 0\)。选择并固定足够大的 \(K\) 使得：

\[ |x| \left( 2 \sum_{k=K+1}^\infty \lambda_k^2 \right)^{1/2} < \epsilon \]

结合 (9.6) 和 (9.7)，我们确立了：

\[ |E\{e^{ixT_n}\} - E\{e^{ixT_{nK}}\}| < \epsilon, \quad \text{对所有 } n \quad \text{--- (9.8)} \]

接下来我们要证明：

\[ T_{nK} \Rightarrow Y_K = \sum_{k=1}^K \lambda_k (W_k^2 - 1) \quad \text{--- (9.9)} \]

我们可以将 \(T_{nK}\) 写为：

\[ T_{nK} = \sum_{k=1}^K \lambda_k (W_{kn}^2 - Z_{kn}) \]

其中 \(W_{kn} = n^{-1/2} \sum_{i=1}^n \phi_k(X_i)\) 且 \(Z_{kn} = n^{-1} \sum_{i=1}^n \phi_k^2(X_i)\)。 由前面的条件可知，对所有 \(k\) 和 \(n\) 都有 \(E(W_{kn}) = 0\)，且：

\[ Cov\{W_{jn}, W_{kn}\} = \begin{cases} 1, & j = k \\ 0, & j \ne k \end{cases} \quad \text{对所有 } j, k \text{ 和 } n \]

因此，由多维 Lindeberg-Levy CLT 可得：

\[ (W_{1n}, \dots, W_{Kn}) \xrightarrow{d} N(0, I_{K \times K}) \]

同时，因为 \(E_F\{\phi_k^2(X)\} = 1\)，经典的强大数定律 (SLLN) 给出：

\[ (Z_{1n}, \dots, Z_{Kn}) \xrightarrow{wp1} (1, \dots, 1) \]

这就证明了 (9.9) 成立，即当 \(n\) 足够大时：

\[ |E\{e^{ixT_{nK}}\} - E\{e^{ixY_K}\}| < 2\epsilon \quad \text{--- (9.10)} \]

最后，我们证明：

\[ |E\{e^{ixY_K}\} - E\{e^{ixY}\}| < \epsilon [E(W_1^2 - 1)^2]^{1/2}, \quad \text{对所有 } n \quad \text{--- (9.11)} \]

为了完成这一步，我们在一个公共概率空间上定义随机变量 \(W_1^2, W_2^2, \dots\)，并将 \(Y\) 表示为 \(K \rightarrow \infty\) 时 \(Y_K\) 的均方极限。那么：

\[ |E\{e^{ixY_K}\} - E\{e^{ixY}\}| \le |x| [E(Y - Y_K)^2]^{1/2} \]

\[ \le |x| [E(W_1^2 - 1)^2]^{1/2} \left[ \sum_{k=K+1}^\infty \lambda_k^2 \right]^{1/2} \]

这就推出了 (9.11)。结合 (9.8)，(9.10) 和 (9.11)，对于任意 \(x\)、任意 \(\epsilon > 0\) 以及足够大的 \(n\)，我们有：

\[ |E\{e^{ixT_n}\} - E\{e^{ixY}\}| \le \epsilon \{2 + [E(W_1^2 - 1)^2]^{1/2}\} \]

证明了当 \(n \rightarrow \infty\) 时 \(T_n \xrightarrow{d} Y\)，这就是定理 9.8 (ii) 所期望的结果。 \(\square\)

12. 退化性与假设检验 (Degeneracy and Hypothesis Testing)

许多检验统计量在实际应用中具有以下模式：

• 在备择假设 \(H_1\) 下是非退化的 (non-degenerate)；

• 在原假设 \(H_0\) 下是退化的 (degenerate)。

经典示例：

• MMD (最大均值差异)：在 \(P \ne Q\) 时，具有 \(\sqrt{n}\) 速率的正态极限；在 \(P = Q\) 下，具有退化的加权卡方极限分布。

• HSIC (Hilbert-Schmidt 独立性准则)：在变量相依时，具有 \(\sqrt{n}\) 速率的正态极限；在变量独立时，呈现退化极限。

• Cramer-von Mises 检验和积分平方密度检验：它们的原假设极限通常来自退化的二次型。

推断结论 (Inference consequence)：

在固定备择假设下成立的正态近似，在原假设下通常会失效。 因此，在进行假设检验时，我们往往需要借助置换检验 (Permutation)、谱方法 (Spectral) 或自助法 (Bootstrap) 校准来获取正确的临界值。

---

13. U-统计量的经典应用示例

13.1 示例 1：样本方差

示例 1：样本方差 (Sample variance)

设总体满足 \(\mu = E X\) 且 \(\sigma^2 = Var(X)\)，并假设第四中心矩有限 \(\mu_4 = E(X-\mu)^4 < \infty\)。

使用核函数：

\[ h(x, y) = \frac{(x-y)^2}{2} \]

其估计的目标参数为 \(\theta = \sigma^2\)。

计算其第一投影函数 \(h_1(x)\)：

\[ h_1(x) = E \left\{ \frac{(x-X')^2}{2} \right\} = \frac{(x-\mu)^2 + \sigma^2}{2} \]

由此可得中心化的第一投影：

\[ h_1(x) - \theta = \frac{(x-\mu)^2 - \sigma^2}{2} \]

计算第一投影的方差 \(\xi_1\)：

\[ \xi_1 = \frac{1}{4} Var\{(X-\mu)^2\} = \frac{\mu_4 - \sigma^4}{4} \]

对应的 U-统计量正是无偏样本方差：

\[ U_n = \binom{n}{2}^{-1} \sum_{i<j} \frac{(X_i - X_j)^2}{2} = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X}_n)^2 \]

如果 \(\mu_4 > \sigma^4\)，这属于非退化情况，由中心极限定理 (CLT) 可得：

\[ \sqrt{n}(U_n - \sigma^2) \xrightarrow{d} N(0, 4\xi_1) = N(0, \mu_4 - \sigma^4) \]

注：对于高斯（正态）数据分布，由于 \(\mu_4 = 3\sigma^4\)，其极限方差即为 \(2\sigma^4\)。

13.2 示例 2：乘积核与退化边界

示例 2：乘积核 (Product kernel)

设核函数为 \(h(x, y) = x y\)。则：

\[ \theta = (E X)^2 = \mu^2 \]

第一投影函数及其方差为：

\[ h_1(x) = \mu x, \quad \xi_1 = Var\{\mu X\} = \mu^2 \sigma^2 \]

情况一：非退化极限

• 如果 \(\mu \ne 0\)，该统计量是非退化的：

\[ \sqrt{n}(U_n - \mu^2) \xrightarrow{d} N(0, 4\mu^2 \sigma^2) \]

情况二：退化极限

• 如果 \(\mu = 0\)，第一投影的方差 \(\xi_1\) 消失为零，统计量变为退化 (degenerate) 的。

这清楚地表明，一个 U-统计量是否退化，可能会依赖于其底层的真实数据分布 \(P\)。

在 \(\mu = 0\) 的退化情况下，我们可以明确写出其分布极限：

\[ U_n = \frac{1}{n(n-1)} \sum_{i \ne j} X_i X_j \]

因为 \(\bar{X}_n^2 = \frac{1}{n^2} \left\{ \sum_{i \ne j} X_i X_j + \sum_{i=1}^n X_i^2 \right\}\)，我们可以得到：

\[ n U_n = \frac{n}{n-1} n \bar{X}_n^2 - \frac{1}{n-1} \sum_{i=1}^n X_i^2 \]

根据中心极限定理和大数定律：

\[ n U_n \xrightarrow{d} \sigma^2(\chi_1^2 - 1) \]

这完美吻合了二阶退化理论中包含一个非零特征值的极限结果。

13.3 示例 3：基尼平均差

示例 3：基尼平均差 (Gini mean difference)

对于一元分布，基尼平均差的目标参数为：

\[ \theta = E|X_1 - X_2| \]

其 U-统计量估计量为：

\[ U_n = \binom{n}{2}^{-1} \sum_{i<j} |X_i - X_j| \]

第一投影函数为：

\[ h_1(x) = E|x - X'| \]

如果 \(Var\{h_1(X)\} > 0\)，则有：

\[ \sqrt{n}(U_n - \theta) \xrightarrow{d} N(0, 4 Var\{h_1(X)\}) \]

这是一个稳健的尺度/离散度度量示例，在此过程中并不需要核函数具备可微性。

13.4 示例 4：Kendall's tau

示例 4：Kendall's tau

对于双变量数据 \(Z = (X, Y)\)，定义核函数：

\[ h(z_1, z_2) = \text{sign}\{(x_1 - x_2)(y_1 - y_2)\} \]

其 U-统计量估计量为：

\[ \hat{\tau} = \binom{n}{2}^{-1} \sum_{i<j} h(Z_i, Z_j) \]

该统计量用于估计：

\[ \tau = \mathbb{P}\{(X_1 - X_2)(Y_1 - Y_2) > 0\} - \mathbb{P}\{(X_1 - X_2)(Y_1 - Y_2) < 0\} \]

• 它是一种度量相依性的非参数方法。

• 在非退化情况下，其渐近方差由 \(4 Var\{h_1(Z)\}\) 决定。

• 秩检验 (Rank tests) 正是 U-统计量理论最初最经典的起源之一。

---

14. 渐近置信区间与假设检验

14.1 构建渐近置信区间

在非退化情形下，我们已知：

\[ \sqrt{n}(U_n - \theta) \xrightarrow{d} N(0, m^2\xi_1) \]

据此，我们可以构造一个自然的置信区间：

\[ U_n \pm z_{1-\alpha/2} \frac{m\hat{\sigma}_1}{\sqrt{n}} \]

其中 \(\hat{\sigma}_1^2\) 是用来估计投影方差 \(\xi_1 = Var\{h_1(X)\}\) 的相合估计量。

困难在于：函数 \(h_1(x) = E h(x, X_2, \dots, X_m)\) 依赖于未知的总体分布 \(P\)。

14.2 估计第一投影的方差

为了估计 \(\xi_1\)，我们为每一个观测值 \(i\) 定义一个留一法平均 (leave-one-in average)：

\[ \hat{h}_{1,i} = \binom{n-1}{m-1}^{-1} \sum_{i \in A, |A|=m} h(X_A) \]

这是包含观测值 \(X_i\) 的所有可能子样本上核函数的平均值。它实际上是对 \(h_1(X_i)\) 的估计。

然后我们利用这些值计算样本方差：

\[ \hat{\xi}_1 = \frac{1}{n-1} \sum_{i=1}^n (\hat{h}_{1,i} - U_n)^2 \]

在标准的固定 \(m\) 正则条件下，可以证明：

\[ \hat{\xi}_1 \xrightarrow{p} \xi_1 \]

因此，U-统计量的标准误估计为：

\[ \widehat{se}(U_n) = \frac{m\sqrt{\hat{\xi}_1}}{\sqrt{n}} \]

14.3 假设检验的常规模板

假设我们希望检验 \(H_0: \theta = \theta_0\)，并且已知统计量在原假设下是非退化的。

我们可以构造如下的标准化检验统计量：

\[ Z_n = \frac{\sqrt{n}(U_n - \theta_0)}{m\sqrt{\hat{\xi}_1}} \xrightarrow{d} N(0, 1) \]

当 \(|Z_n| > z_{1-\alpha/2}\) 时，在 \(\alpha\) 显著性水平下拒绝原假设。

退化警告 (Warning)

如果在原假设 \(H_0\) 下 \(\xi_1 = 0\)，上述统计量构造将是无效的 (invalid)。正确的尺度放缩和原假设极限分布将完全不同。

这一警告在双样本核检验 (Kernel two-sample tests) 和核独立性检验中是极其重要的核心问题。

---

15. 双样本与高阶 U-统计量

15.1 双样本 U-统计量 (Two-sample U-statistics)

许多统计量用于比较两个独立的样本：

\[ X_1, \dots, X_n \stackrel{iid}{\sim} P, \quad Y_1, \dots, Y_N \stackrel{iid}{\sim} Q \]

双样本 U-统计量的一般形式为：

\[ U_{n,N} = \binom{n}{r}^{-1} \binom{N}{s}^{-1} \sum_{I, J} h(X_I, Y_J) \]

经典的例子包括：

• Mann-Whitney / Wilcoxon 统计量；

• 无偏 MMD 估计量；

• 能量距离统计量 (Energy distance statistics)。

同样的投影哲学也适用于双样本情形，区别仅在于此时需要分别计算向 \(X\) 样本和 \(Y\) 样本的条件投影。

15.2 AUC 与排序损失

令 \(S\) 为模型给出的得分，\(P_+\) 和 \(P_-\) 分别为正类和负类的分布。AUC 定义为：

\[ AUC = \mathbb{P}(S_+ > S_-) + \frac{1}{2}\mathbb{P}(S_+ = S_-) \]

其经验 AUC 估计量为：

\[ \widehat{AUC} = \frac{1}{n_+ n_-} \sum_{i=1}^{n_+} \sum_{j=1}^{n_-} \left\{ \mathbb{I}(S_i^+ > S_j^-) + \frac{1}{2}\mathbb{I}(S_i^+ = S_j^-) \right\} \]

这显然是一个双样本 U-统计量。它的中心极限定理可以用于计算分类器比较的标准误，这也解释了为什么成对排序损失 (pairwise ranking losses) 天生与 U-统计量理论紧密相关。

15.3 MMD：原假设下的退化性

对于 MMD，其二阶核函数为：

\[ h(Z_i, Z_j) = k(X_i, X_j) + k(Y_i, Y_j) - k(X_i, Y_j) - k(X_j, Y_i) \]

在原假设 \(H_0: P = Q\) 下：

\[ E\{h(Z_i, Z_j) | Z_i\} = 0 \]

这意味着 \(\xi_1 = 0\)。因此，它具有加权卡方极限：

\[ n \widehat{MMD}_u^2 \xrightarrow{d} \sum_{j=1}^\infty \lambda_j (Z_j^2 - 1) \]

特征值依赖于中心化后的核。而在固定的备择假设 \(H_1: P \ne Q\) 下，第一投影通常不为零，此时：

\[ \sqrt{n}(\widehat{MMD}_u^2 - MMD^2(P,Q)) \]

将服从渐近正态分布。

15.4 HSIC：一个高阶示例

无偏的 HSIC 估计量可以写成一个四阶的 U-统计量 (Fourth-order U-statistic)：

\[ \widehat{HSIC}_u = \binom{n}{4}^{-1} \sum_{1 \le i < j < q < r \le n} h(Z_i, Z_j, Z_q, Z_r) \]

其对称核函数由中心化的 \(X\) 核和 \(Y\) 核的乘积构造而来。

• 如果 \(X\) 和 \(Y\) 是相依的 (dependent)，第一投影不为零，统计量具有 \(\sqrt{n}\) 速率的正态极限。

• 如果 \(X \perp Y\) (相互独立)，第一投影消失，原假设极限是退化的。

• 由于独立性意味着在原假设下的可交换性 (exchangeability)，对其进行置换校准 (Permutation calibration) 是极其自然且有效的做法。

---

16. 可扩展学习中的不完全与依赖参数的 U-统计量

16.1 用于可扩展学习的不完全 U-统计量

完整的 U-统计量需要遍历所有的 \(\binom{n}{m}\) 个子集，当样本量很大时，其计算代价可能是极高的。

不完全 U-统计量 (Incomplete U-statistic) 的思路是随机抽取 \(B\) 个子集 \(I_1, \dots, I_B\)，并定义：

\[ U_{n,B}^{inc} = \frac{1}{B} \sum_{b=1}^B h(X_{I_b}) \]

• 如果子集是均匀抽样的，那么在给定数据的条件下，它仍然是无偏的。

• 它的方差包含了两个部分：来自数据本身的抽样噪声 (sampling noise) 以及由于子集抽样带来的蒙特卡洛噪声 (Monte Carlo noise)。

• 在现代机器学习中，这种方法被广泛应用于大规模核检验、Bagging 以及成对/排序目标函数的优化计算中。

16.2 积分平方误差统计量 (Integrated squared error statistic)

在非参数密度估计中，令核密度估计量 (KDE) 为：

\[ \hat{f}_n(x) = \frac{1}{n b_n} \sum_{i=1}^n K\left( \frac{x - X_i}{b_n} \right) = \frac{1}{n} \sum_{i=1}^n K_{b_n}(x - X_i) \]

其中 \(K_b(t) = b^{-1} K(t/b)\)，且满足 \(b_n \rightarrow 0\), \(n b_n \rightarrow \infty\)。 如果我们要检验拟合优度 \(H_0: f = f_{\theta}\)，一个自然的统计量是：

\[ T_n = \int \{ \hat{f}_n(x) - f_{\hat{\theta}_n}(x) \}^2 dx \]

该统计量中随机二次的部分可以通过一个核函数依赖于样本量 \(n\) 的 U-统计量来表达。

16.3 依赖于 n 的退化核 (The n-dependent degenerate kernel)

令：

\[ \mu_n(y) = E K_{b_n}(y - X) \]

处于主导地位的随机二次项包含如下的核函数：

\[ h_n(x_1, x_2) = \frac{n-1}{n} \int \{K_{b_n}(y - x_1) - \mu_n(y)\} \{K_{b_n}(y - x_2) - \mu_n(y)\} dy \]

此时有：

\[ E\{h_n(x, X_2)\} = 0 \]

因此，起主导作用的非对角线项是一个带有依赖于 n 的核的二阶退化 U-统计量。

结论启示： 平滑拟合优度检验通常会归结为研究退化二次 U-统计量，但其核函数与方差会随着平滑带宽 \(b_n\) 的变化而变化。

---

17. 总结与实践指南

17.1 如何分析一个新的 U-统计量？

如果你在研究中遇到了一个新的 U-统计量，可以遵循以下步骤进行分析：

• 识别核函数 \(h\) 以及你要估计的目标参数 \(\theta = E h(X_1, \dots, X_m)\)。

• 如果初始核函数不是对称的，则对其进行对称化 (Symmetrize)。

• 计算第一投影 \(h_1(x)\)。

• 检查第一投影方差 \(\xi_1 = Var\{h_1(X)\}\) 是否为正（特别是在假设检验的原假设 \(H_0\) 之下）。

• 如果 \(\xi_1 > 0\)：使用带有 \(\sqrt{n}\) 速率的标准中心极限定理，其渐近方差为 \(m^2\xi_1\)。

• 如果 \(\xi_1 = 0\)：计算第一个非零的高阶投影。预期它将具有更快的收敛速率以及非高斯的极限分布。

• 对于实际推断，要么通过一致估计量来估计投影方差，要么采用适合原假设的重抽样 (Resampling) / 谱方法 (Spectral method)。

17.2 核心要点总结 (Main takeaways)

• 构造的本质：U-统计量通过对无序样本中的朴素无偏估计量进行 Rao-Blackwell 化，极其自然地产生。

• 无偏的完全平均：它们通过对所有组合的完全对称平均，用于估计涉及多个观测值泛函的期望。

• 处理相依性：虽然求和项之间存在依赖关系，但可以通过重叠计数 (overlap counting) 和条件投影 (projection) 论证来严格处理。

• Hoeffding 分解：该分解技术将统计量巧妙地分离为正交的不同阶的相互作用项。

• 非退化情况：非退化的 U-统计量满足渐近正态性，方差为 \(m^2\xi_1/n\)。

• 退化情况：退化 U-统计量具有完全不同的收敛速率，并且极限分布通常是加权卡方或者高阶混沌极限 (higher-order chaos limits)。

• 现实意义：退化性绝不仅仅是理论上的“病态案例 (pathological case)”；它在现代核检验 (Kernel Testing) 中处于绝对的中心地位。

💬 Comments