第十一章：M-估计量与 Z-估计量（一）
在本章中，我们将研究 M-估计量（由 Peter J. Huber 提出）和 Z-估计量 的相合性 (Consistency) 与渐近正态性 (Asymptotic Normality)。
极大似然估计量 (MLEs) 和矩估计量 (ME) 分别可以看作是 M-估计量和 Z-估计量的特例。
-
假设我们感兴趣的参数（或“泛函”）\(\theta\) 附加在观测值的分布上。
-
观测值序列服从分布：
1. 基本定义与示例
1.1 M-估计量
定义 12.1 (M-估计量 M-estimator)
M-估计量的目标是寻找一个估计量 \(\hat{\theta}_n := \hat{\theta}_n(X_1, \dots, X_n)\)，使得某种类型的随机（经验）准则函数达到最大化：
例如，通常的形式为样本平均：
1.2 Z-估计量
通常，最大化问题可以通过令导数（或梯度）等于零来求解。这就自然引出了 Z-估计量的概念。
定义 12.2 (Z-估计量 Z-estimator)
Z-估计量满足如下的估计方程 (Estimating Equations)：
更一般地，Z-估计量就是寻找一个估计量 \(\hat{\theta}_n\)，使其成为上述估计方程的根。
关于 M- 和 Z-估计量的几点注记：
-
M- 和 Z-估计量不要求观测值必须独立同分布 (IID) 或具有独立的结构。
-
目标函数 \(-M_n(\theta)\) 的最小化问题可能是非凸的 (non-convex)。
-
在实际计算中，Z-估计量通常通过数值优化算法求解，例如（拟）牛顿法、梯度下降法、随机梯度下降法等（尤其在面临非凸问题时）。
1.3 经典示例
示例 1：极大似然估计与伪极大似然估计
- MLE：设 \(X_1, \dots, X_n \sim p_\theta\)。极大似然估计量最大化似然函数 \(\prod_{i=1}^n p_\theta(X_i)\)，等价于最大化对数似然函数：
- 伪极大似然估计 (Pseudo-MLE)：此时 \(X_i\) 之间可能是相依的（dependent），但我们仍然借用并最大化上述的对数似然准则函数。
示例 2：位置估计量 (Location Estimators)
样本均值和样本中位数都可以视为 Z-估计量，它们分别满足如下估计方程：
- 样本均值：
- 样本中位数：
示例 3：分位数 (Quantiles)
对于分布函数 \(F\)，其分位数函数定义为：
-
中位数：\(\text{med}(X) = F^{-1}(0.5)\)
-
一般分位数：参数可以通过最小化期望损失得到，即 \(\theta_0 = \arg\min_\theta E \rho_\tau(X - \theta) = F^{-1}(\tau)\)。
引入检验函数 (Check function) 作为损失函数：
由此，\(\tau\)-样本分位数 \(\hat{\theta}\) 既可以看作 M-估计量也可以看作 Z-估计量：
- 作为 M-估计量的准则函数：
- 作为 Z-估计量的估计方程：
对于小样本量 \(n\)，van der Vaart 的书给出了一种分位数 \(\hat{\theta}\) 的替代定义，即求解不等式：\(-1 < n\Psi_n(\theta) < 1\)。
示例 4：Huber 估计量
Huber 估计量起源于稳健统计学 (Robust Statistics)，旨在控制极端异常数据点对估计结果的影响。 它基于 Huber \(\psi\) 函数：
Huber 估计量求解如下的估计方程：
当 \(k\) 较大时，Huber 估计量的行为更接近于非稳健的样本均值；当 \(k\) 较小时，其行为更接近于高度稳健的样本中位数。因此，它在均值和中位数之间取得了极好的平衡。
(注：经验上的 Z-估计量方程图像通常呈现阶梯状（如分位数的经验方程），而其总体期望方程则是平滑的曲线。)
2. M-估计量的相合性 (Consistency)
对于估计量 \(\hat{\theta}_n\)，我们希望证明当样本量趋于无穷时，它能够依概率收敛到真实参数：\(\hat{\theta}_n \xrightarrow{p} \theta_0\)，其中 \(\theta, \theta_0 \in \Theta\)，\(\Theta\) 赋予了距离度量 \(d\)。
假设 \(\hat{\theta}_n\) 最大化了随机（经验）准则函数：
其中 \(-M_n(\theta) =: L(P_n, P)\) 可以被看作经验损失函数。
定义 12.3 (真实参数 True parameter)
真实参数 \(\theta_0\) 通常定义为确定性（真实）准则函数 \(M(\theta) =: E m_\theta(X)\) 的最大化点：
由大数定律 (LLN)，对任意给定的 \(\theta\)，有 \(M_n(\theta) \xrightarrow{p} M(\theta)\)。但需要注意的是，这种逐点收敛通常并非在整个参数空间 \(\Theta\) 上一致成立的！
为了证明相合性，给定一个任意的随机函数 \(\theta \mapsto M_n(\theta)\)，我们考虑满足如下近似最大化条件 (Nearly maximization condition) 的估计量序列 \(\{\hat{\theta}_n\}\)：
(例如：当 \(-M_n(\theta)\) 是强凸函数时满足此条件，即当且仅当二阶导 \(\ddot{M}_n(\theta) \ge O(1)I_p > 0, \forall \theta \in \Theta\)。)
2.1 M-估计量相合性基本定理
定理 12.1 (M-估计量的相合性)
设 \(M_n\) 为一列随机函数，\(M\) 为一个固定的确定性函数。若对任意 \(\epsilon > 0\)，以下三个条件均成立：
- C1. 一致收敛 (Uniform convergence)：
- C2. 良好分离/可识别性 (Well-separation / Identifiability)：
- C3. 近似最大化：序列 \(\{\hat{\theta}_n\}\) 满足上述的近似最大化条件。
那么，必有 \(\hat{\theta}_n \xrightarrow{p} \theta_0\)。
定理 12.1 的证明（点击展开）
由良好分离假设 C2，对于任意 \(\epsilon > 0\)，存在 \(\eta > 0\) 使得：
将 \(\theta\) 替换为 \(\hat{\theta}_n\)，我们得到事件的包含关系： \(\{d(\hat{\theta}_n, \theta_0) \ge \epsilon\} \subseteq \{M(\hat{\theta}_n) < M(\theta_0) - \eta\}\)。
因此在概率上：
接下来，我们要证明 (12.2) 式的右侧趋于 0。综合使用条件 C3 和 C1。 由 C3（近似最大化）：
注意 (12.3) 中最后一步等号的成立，是因为 C1 暗示了单点处的依概率收敛：\(M_n(\theta_0) \xrightarrow{p} M(\theta_0)\)。
进一步利用 (12.3) 和 C1：
由于一致收敛性 C1，上式的上确界项是 \(o_p(1)\)。 所以，整体上 \(M(\theta_0) - M(\hat{\theta}_n) = o_P(1)\)。
令 \(n \rightarrow \infty\)，代入 (12.2) 式，这意味着极限概率为 0，从而推出：
证明完毕。 \(\square\)
(注：如果目标函数 \(M(\theta)\) 在极大值点附近非常平坦，或者存在局部极大值任意逼近全局极大值，则良好分离条件 C2 将不成立。)
2.2 修改条件下的相合性推论
推论 12.2 (修改条件下的 M-估计量相合性)
假设以下条件成立：
-
(i) 定理 12.1 中的一致收敛条件 C1；
-
(ii) 唯一最大化 (Unique maximization)：\(M(\theta) := E m_\theta(X)\) 在 \(\theta_0\) 处唯一取得最大值；
-
(iii) 紧致性 (Compactification)：参数空间 \(\Theta\) 是紧致的；
-
(iv) 连续性 (Continuous M-function)：确定性函数 \(M(\theta)\) 是连续的。
那么，对于任何满足近似最大化条件 \((v) \ M_n(\hat{\theta}_n) \ge M_n(\theta_0) - o_P(1)\) 的估计量 \(\hat{\theta}_n\)，均有 \(\hat{\theta}_n \xrightarrow{p} \theta_0\)。
推论 12.2 的证明（点击展开）
对于任意给定的 \(\delta > 0\)，定义邻域的外部集合 \(B_\delta^c(\theta_0) := \{\theta : d(\theta, \theta_0) \ge \delta\}\)。 根据条件 (ii)-(iv)（连续函数在紧集上必定取得最大值），存在某个点 \(\theta^* \in \Theta \cap B_\delta^c(\theta_0)\) 使得：
接下来我们证明，对于任意 \(\epsilon > 0\)，当 \(n\) 足够大时，以下不等式链以趋于 1 的概率 (with probability approaching 1, wpal) 成立：
我们逐项分析 (12.4) 中的不等关系：
第一个 ">" (基于 C1)： 定义事件 \(E_1 := \{M(\hat{\theta}_n) \le M_n(\hat{\theta}_n) - \epsilon/3\}\)。由于一致收敛性 \(\sup_{\theta \in \Theta} |M_n(\theta) - M(\theta)| \xrightarrow{p} 0\)，必然有 \(P(E_1) = o(1)\)。
第二个 ">" (基于条件 v)： 定义事件 \(E_2 := \{M_n(\hat{\theta}_n) \le M_n(\theta_0) - \epsilon/3\}\)。由于近似最大化要求 \(M_n(\hat{\theta}_n) \ge M_n(\theta_0) - o_P(1)\)，故 \(P(E_2) = o(1)\)。
第三个 ">" (基于 C1)： 类似于第一项，定义事件 \(E_3 := \{M_n(\theta_0) - 2\epsilon/3 \le M(\theta_0) - \epsilon\} = \{M_n(\theta_0) \le M(\theta_0) - \epsilon/3\}\)。同样由点态收敛性，\(P(E_3) = o(1)\)。
现在，令 \(\epsilon = M(\theta_0) - M(\theta^*) > 0\)。将此 \(\epsilon\) 代入上述不等式链的头尾，我们得到以趋向于 1 的概率成立：
具体而言：
需要注意到，因为 \(\theta^*\) 是在边界区域 \(\Theta \cap B_\delta^c(\theta_0)\) 上的最大值点，所以如果 \(M(\hat{\theta}_n) > M(\theta^*)\)，则必然意味着 \(\hat{\theta}_n\) 落在了中心邻域内：
因此，令 \(n \rightarrow \infty\) 时：
这就证明了 \(d(\hat{\theta}_n, \theta_0) \xrightarrow{p} 0\)。 \(\square\)
3. Z-估计量的相合性
由于 Z-估计量是通过令目标函数等于零（而不是最大化）来求解的，其相合性定理也是 M-估计量的一个自然推广。
定理 12.3 (Z-估计量的相合性 Consistency of Z-Estimator)
设 \(\Psi_n\) 为一列随机的向量值函数，\(M\) 为固定的向量值函数。若对任意 \(\epsilon > 0\)，以下条件成立：
- C1. 一致收敛**：
- C2. 良好分离 (Identifiability)**：
- C3. 近似零点条件**：估计量序列 \(\{\hat{\theta}_n\}\) 满足 \(\Psi_n(\hat{\theta}_n) = o_P(1)\)。
则必有 \(\hat{\theta}_n \xrightarrow{p} \theta_0\)。
证明思路：此定理直接由 M-估计量的相合性定理得出。只需构造准则函数 \(M_n(\theta) = -\|\Psi_n(\theta)\|\) 以及 \(M(\theta) = -\|\Psi(\theta)\|\)。可以看到，Z-估计量中的近似零点条件 (nearly zero condition) 完美对应于 M-估计量中的近似最大化条件。
3.1 弱化一致收敛条件
在实际应用中，定理 12.3 中要求的一致收敛性 \(C1^*\) 通常过于严格且难以验证（通常需要借助经验过程理论 Empirical Process 才能建立严谨的保证）。 引理 12.4 提供了一个无需一致收敛性即可证明相合性的途径。
引理 12.4 (基于单调性/连续性的相合性，vdv p47)
设 \(\Theta\) 为实数轴的子集，\(\Psi_n\) 为随机函数，\(\Psi\) 为固定函数，且对每一个给定的 \(\theta\)，有逐点收敛：\(\Psi_n(\theta) \xrightarrow{p} \Psi(\theta)\)。
假设以下条件之一成立：
- (a1) 连续且唯一根：每个映射 \(\theta \mapsto \Psi_n(\theta)\) 都是连续的，且恰好有唯一的一个零点 \(\hat{\theta}_n\)；或者
- (a2) 单调有界：映射是非减的（或非增的），并且 \(\Psi_n(\hat{\theta}_n) = o_P(1)\)；
同时假设：
- (b) 真实根的符号交替：设 \(\theta_0\) 满足对任意 \(\epsilon > 0\)，都有 \(\Psi(\theta_0 - \epsilon) < 0 < \Psi(\theta_0 + \epsilon)\)。
那么，\(\hat{\theta}_n \xrightarrow{p} \theta_0\)。
引理 12.4 的证明（点击展开）
情况 1：连续且唯一根 (a1 成立时)
如果映射 \(\theta \mapsto \Psi_n(\theta)\) 是连续的，且在 \(\hat{\theta}_n\) 处有唯一的零点。那么，事件 \(\{\Psi_n(\theta_0 - \epsilon) < 0 \text{ 且 } \Psi_n(\theta_0 + \epsilon) > 0\}\) 必定蕴含了零点介于这两者之间，即 \(\{\theta_0 - \epsilon < \hat{\theta}_n < \theta_0 + \epsilon\}\)。
在概率上，这表示为：
由于对于给定的 \(\theta_0 \pm \epsilon\)，我们有逐点依概率收敛 \(\Psi_n(\theta_0 \pm \epsilon) \xrightarrow{p} \Psi(\theta_0 \pm \epsilon)\)。结合条件 (b)，不等式左侧的概率当 \(n \rightarrow \infty\) 时趋于 1。 因此，右侧的概率也必定趋于 1，这就证明了 \(\hat{\theta}_n\) 的相合性。
情况 2：非减且近似零点 (a2 成立时)
如果映射 \(\theta \mapsto \Psi_n(\theta)\) 是非减的。首先注意到：
由于 \(\Psi_n\) 的非减性，若 \(\hat{\theta}_n \ge \theta_0 - \epsilon\)，则 \(\Psi_n(\hat{\theta}_n) \ge \Psi_n(\theta_0 - \epsilon) < -\eta\)。 令 \(E_- := \{\Psi_n(\hat{\theta}_n) < -\eta\}\)。由于已知条件 \(\Psi_n(\hat{\theta}_n) = o_P(1)\)，对任意 \(\eta > 0\) 都有 \(P(E_-) = o(1)\)。 所以，上述事件并集可以放缩为：
同样地，我们可以为右尾定义事件 \(E_+ := \{\Psi_n(\hat{\theta}_n) > \eta\}\)，也有 \(P(E_+) = o(1)\)。
因此，对于任意给定的 \(\epsilon, \eta > 0\)：
整理后得到：
选择合适的阈值，令 \(2\eta = \min\{-\Psi(\theta_0 - \epsilon), \Psi(\theta_0 + \epsilon)\} > 0\)。由于逐点收敛性，左侧的概率趋于 1，因此右侧的概率同样趋于 1，相合性得证。 \(\square\)
3.2 示例：应用引理 12.4 证明中位数的相合性
样本中位数 \(\hat{\theta}_n\) 可以视为方程 \(\theta \mapsto \Psi_n(\theta) = n^{-1} \sum_{i=1}^n \text{sign}(X_i - \theta)\) 的零点。
根据大数定律 (LLN)，对于每一个固定的 \(\theta\)，我们有：
现在我们验证引理 12.4 的条件：
-
条件 (a) 验证：函数 \(\theta \mapsto \Psi_n(\theta)\) 显然是非增的 (non-increasing)（此处的引理对称适用于非增情况，只需在证明中取反号）。
-
条件 (b) 验证：我们需要证明 \(-\Psi(\theta_0 - \epsilon) < 0 < -\Psi(\theta_0 + \epsilon)\)。 观察极限函数在 \(\theta_0\) 附近的值：
在总体中位数 \(\theta_0\) 处，有：
同理：
如果 \(X\) 的分布是连续的，并且总体的中位数是唯一确定的，那么我们必然有：
因此，条件 (a2) 与 (b) 均满足。应用引理 12.4，直接得出结论：样本中位数相合地收敛于总体中位数，即 \(\hat{\theta}_n \xrightarrow{p} \theta_0\)。这避免了复杂的经验过程理论的推导。
4. M-估计量的 Wald 相合性
4.1 半连续性
半连续性 (Semi-continuity) 是一种弱于连续性的拓扑性质。
- 上半连续 (upper semi-continuous, u.s.c.)：一个实值函数 \(f\) 在 \(x_0\) 处被称为上半连续的，如果满足：
- 下半连续 (lower semi-continuous, l.s.c.)：一个实值函数 \(f\) 在 \(x_0\) 处被称为下半连续的，如果 \(-f\) 是上半连续的，即满足：
在统计推断中，上半连续的 M-函数通常被用于建立 Wald 相合性条件。
4.2 Wald 相合性条件
令 \(P m_\theta := E m_\theta(X)\)。通常情况下，映射 \(\theta \mapsto P m_\theta\) 在点 \(\theta_0\) 处具有唯一的全局最大值点。但在 Wald 相合性的框架下，我们允许存在多个全局最大值点：
此时，\(P m\) 在 \(\Theta_0\) 集合内达到其最大值。
定理 12.4 (M-估计量的 Wald 相合性)
对于每个紧集 \(K \subset \Theta\)，使估计量满足 \(P(d(\hat{\theta}_n, \Theta_0) \ge \epsilon, \hat{\theta}_n \in K) \rightarrow 0\) 的 Wald 相合性条件为：
-
W1. 上半连续条件：映射 \(\theta \mapsto m_\theta(x)\) 对几乎所有的 \(x\) 是上半连续的。
-
W2. 小球上的统一有界性：对于任意小球 \(U \subset \Theta\)，假设 \(x \mapsto \sup_{\theta \in U} m_\theta(x)\) 是可测的，且满足如下的控制收敛（W-条件）：
- W3. 紧集上的近似最大化：序列 \(\{\hat{\theta}_n\}\) 满足：
对于某个 \(\theta_0 \in \Theta_0\) 成立。
定理 12.4 的证明（点击展开）
第一步：构建覆盖
令 \(B = \{\theta \in K : d(\theta, \Theta_0) \ge \epsilon\}\)，我们的目标是证明：
如果函数 \(\theta \mapsto P m_\theta\) 恒等于 \(-\infty\)，那么 \(\Theta_0 = \Theta\) 显然成立。因此我们不妨假设存在 \(\theta_0 \in \Theta_0\) 使得 \(E m_{\theta_0} > -\infty\)。由条件 W2 可知 \(E|m_{\theta_0}(X)| < \infty\)。
固定某个 \(\theta \in K\)，令 \(U_l \ni \theta\) 为一个包含 \(\theta\) 且直径收敛到 0 的递减开球序列。记 \(m_U(x) := \sup_{\theta \in U} m_\theta(x)\)。显然对于每个 \(l\)，序列：
关于 \(l\) 是单调递减的。取极限可得：
其中最后一个不等号是由 \(m_\theta(x)\) 的上半连续性（条件 W1）决定的。
第二步：应用单调收敛定理
由于 \(m_{U_l} \downarrow m_\theta\) a.e.，对序列 \(\{-m_{U_l}\}\) 使用单调收敛定理意味着：
由此可知，对所有 \(\theta \notin \Theta_0\)，由于 \(\theta_0\) 最大化了 \(E m_\theta(X)\)，必有：
因此，必然存在一个覆盖 \(\theta\) 的足够小的开球 \(U_k\) 满足：
由 \(K\) 的紧致性，紧集 \(B\) 可以被有限个这样的开球 \(U_{\theta_1}, \dots, U_{\theta_p}\) 所覆盖。结合大数定律 (LLN)，我们有：
第三步：概率测度极限放缩
另一方面，通过近似最大化的假设，事件 \(\{\hat{\theta}_n \in B\}\) 蕴含了以下事件：
其中等号是通过将大数定律应用于单点 \(P_n m_{\theta_0}\) 得到的。因此，我们有如下的事件包含关系：
从而导致：
证明完毕。 \(\square\)
4.3 示例：柯西分布的位置极大似然估计
考虑柯西分布 \(\text{Cauchy}(\theta)\)，其概率密度函数 (pdf) 为：
基于独立同分布样本 \(X_1, \dots, X_n \sim \text{Cauchy}(\theta)\) 的位置参数 \(\theta\) 的极大似然估计量 (MLE) 旨在最大化对数似然函数 \(\theta \mapsto P_n m_\theta\)：
由于初始的参数空间 \(\mathbb{R}\) 不是紧致的，为了应用 Wald 定理，我们可以将参数空间扩张为其紧致化形式：
现在我们利用 Wald 相合性条件进行逐项分析：
-
W1. 上半连续条件：由于 \(m_\theta(x)\) 在整个扩张空间上连续，因此上半连续条件显然满足。
-
W2. 小球上的统一有界性：对于任意开球 \(U\)，有：
且当 \(\theta \rightarrow \pm\infty\) 时，极限表现良好：
- W3. 紧集上的近似最大化：由估计量的定义自然满足。
我们将 \(\Theta = \overline{\mathbb{R}}\) 配备如下距离度量：
根据极大似然估计的可识别性条件可知，最大值点集为单点集 \(\Theta_0 = \{\theta_0\}\)。取紧集 \(K = \overline{\mathbb{R}}\)，应用 Wald 定理直接得到 \(d(\hat{\theta}_n, \Theta_0) \xrightarrow{p} 0\)，即柯西极大似然估计量满足相合性。
5. Z-估计量的渐近正态性
5.1 渐近正态性定理
定理 12.5 (Z-估计量的渐近正态性)
假设满足以下常规条件：
-
(C1) 可测性：对于参数空间（欧氏空间的开子集）中的每个 \(\theta\)，映射 \(x \mapsto \psi_\theta(x)\) 为一个可测的向量值函数。
-
(C2) 局部 Lipschitz 条件：对于真实参数 \(\theta_0\) 的某个邻域内的任意 \(\theta_1\) 和 \(\theta_2\)，存在一个满足 \(P[\dot{\psi}(X)]^2 < \infty\) 的可测包络函数 \(\dot{\psi}(x)\)，使得：
- (C3) 矩与可微性条件：假设 \(P\|\psi_{\theta_0}\|^2 < \infty\)，且映射 \(\theta \mapsto P \psi_\theta\) 在零点 \(\theta_0\) 处可微，其导数矩阵 \(V_{\theta_0}\) 非奇异：
- (C4) 相合性：估计量满足 \(P_n \psi_{\hat{\theta}_n} = o_P(n^{-1/2})\) 且 \(\hat{\theta}_n \xrightarrow{p} \theta_0\)。
那么，估计量满足渐近正态性：
5.2 经验过程与 Donsker 类
为了严格证明 M-估计量和 Z-估计量的渐近正态性，我们需要引入经验过程 (Empirical Process) 的工具。
- 基本设定：令 \(X_1, \dots, X_n\) 为来自可测空间 \((\mathcal{X}, \mathcal{A})\) 上未知分布 \(P\) 的随机样本。定义经验分布测度为：
- 算子化表示：给定可测函数 \(f: \mathcal{X} \mapsto \mathbb{R}\)，我们将 \(f\) 在经验测度 \(P_n\) 和真实测度 \(P\) 下的期望分别记为：
- 经验过程线性泛函：定义经验过程作用于函数 \(f\) 的状态为：
定义 12.4 (Donsker 函数类)
一个可测函数族 \(\mathcal{F}\) 被称为 P-Donsker 类，如果对于所有 \(f \in \mathcal{F}\)，序列 \(\mathbb{G}_n f\) 在有界线性泛函空间 \(\ell^\infty(\mathcal{F})\) 中弱收敛到一个紧的极限高斯过程。
- 稳健的 Lipschitz Donsker 判别准则：令 \(\mathcal{F} = \{f_\theta : \theta \in \Theta\}\) 为由有界子集 \(\Theta \subset \mathbb{R}^d\) 索引的函数族。如果存在一个可测函数 \(m(x)\) 使得 \(f_\theta(x)\) 满足全局 Lipschitz 条件：
且满足矩条件 \(P|m|^r < \infty\) （对于某个 \(r > 0\)），则该函数族 \(\mathcal{F}\) 是 P-Donsker 的。
5.3 关键随机函数引理
引理 12.6 (van der Vaart 引理 19.24)
假设以下条件成立：
-
(a) \(\mathcal{F}\) 是一个 P-Donsker 的可测函数族。
-
(b) \(\{\hat{f}_n\}\) 是一组取值于 \(\mathcal{F}\) 中的随机函数，且在 \(L_2(P)\) 意义下收敛于某个确定性函数 \(f_0\)：
那么有：
引理 12.6 在 Z-估计量中的推广应用（点击展开）
在定理的框架下，我们设置 \(\hat{f}_n := \psi_{\hat{\theta}_n}\) 以及 \(f_0 := \psi_{\theta_0}\)。由 Lipschitz 条件可得：
当 \(\hat{\theta}_n \xrightarrow{p} \theta_0\) 且包络矩有限 \(P(\dot{\psi})^2 < \infty\) 时，上述条件自然满足。因此，由于 \(\mathcal{F} = \{\psi_\theta : \theta \in \Theta\}\) 是 P-Donsker 类，根据引理 12.6 直接有：
移项整理即得：
证明完毕。\(\square\)
5.4 定理 12.5 的完整证明
定理 12.5 的渐近展开证明（点击展开）
根据 5.3 节引理的推导，我们已经确立了经验过程的一致渐近等价性：
同时，展开经验过程的定义式：\(\mathbb{G}_n \psi_{\hat{\theta}_n} = \sqrt{n}(P_n \psi_{\hat{\theta}_n} - P \psi_{\hat{\theta}_n})\)。因为 \(\theta_0\) 是真实的总体零点，满足 \(P \psi_{\theta_0} = 0\)，我们可以将上式改写为：
根据近似零点条件 (C4)，\(\sqrt{n} P_n \psi_{\hat{\theta}_n} = o_P(1)\)，代入上式可得：
将 (12.14) 与 (12.13) 结合，我们可以消除估计量位置的经验线性项：
接下来，对确定性期望函数 \(P \psi_\theta\) 在 \(\theta_0\) 处进行一阶泰勒展开：
代入矩阵定义 \(V_{\theta_0}\)：
由于中心极限定理 (CLT) 保证了 \(\mathbb{G}_n \psi_{\theta_0} = O_P(1)\)，由 (12.15) 式我们可以得到随机有界性：\(\sqrt{n} \|V_{\theta_0}(\hat{\theta}_n - \theta_0)\| = O_P(1)\)。利用矩阵非奇异性：
这就证明了其具有 \(\sqrt{n}\) 的收敛速率，即 \(\sqrt{n} \|\hat{\theta}_n - \theta_0\| = O_P(1)\)。
将此速率项重新代入残差控制项 (12.15)，高阶项变为 \(o_P(1)\)：
最终，应用多元中心极限定理与 Slutsky 定理，即证渐近正态性。 \(\square\)
6. M-估计量的渐近正态性
类似于 Z-估计量，我们可以通过对准则函数施加平滑性与可微性条件，建立 M-估计量的渐近正态性。
定理 12.6 (M-估计量的渐近正态性)
假设满足以下常规条件：
-
可测性：对于开参数空间内的每个 \(\theta\)，映射 \(x \mapsto m_\theta(x)\) 是可测的，且 \(\theta \mapsto m_\theta(x)\) 在真实点 \(\theta_0\) 处对 \(P\)-几乎所有的 \(x\) 是可微的，其一阶导数（得分函数）记为 \(\dot{m}_{\theta_0}(x)\)。
-
Lipschitz 条件：存在一个平方可积的控制函数 \(\dot{m}(x)\) (\(P[\dot{m}(X)]^2 < \infty\))，使得在 \(\theta_0\) 的某个邻域内满足：
- 矩与二阶可微条件：假设映射 \(\theta \mapsto P m_\theta\) 在全局极大值点 \(\theta_0\) 处承认如下的二阶泰勒展开：
其中对称的二阶导数黑塞矩阵 \(V_{\theta_0}\) 是非奇异的：
- 相合性与近似最大化速率：估计量满足 \(P_n m_{\hat{\theta}_n} \ge \sup_\theta P_n m_\theta - o_P(n^{-1})\) 且 \(\hat{\theta}_n \xrightarrow{p} \theta_0\)。
那么，M-估计量满足渐近正态性：
7. 经典应用示例
7.1 样本中位数的渐近分布（基于 M-估计理论）
样本中位数可以通过最大化如下的准则函数得到：
假设总体分布函数 \(F(x)\) 在真实的总体中位数 \(\theta_0 = F^{-1}(1/2)\) 处可微，且其概率密度满足 \(f(\theta_0) > 0\)。
我们采用中心化的 M-估计函数：\(m_\theta(x) = |x - \theta| - |x|\)。根据三角不等式，对任意 \(\theta_1, \theta_2\)，有：
这说明该函数满足常数控制的 Lipschitz 条件，其中 \(\dot{m}(x) \equiv 1\)，显然满足平方可积条件。
此外，该映射在除 \(x = \theta\) 外的区域几乎处处可微，其一阶导数（得分函数）为：
其平方期望为：
利用分部积分法，我们可以计算出确定性目标函数的解析形式：
对目标函数求一阶与二阶导数：
因此，在 \(\theta_0\) 处展开的二阶矩阵为 \(V_{\theta_0} = 2f(\theta_0)\)。
由于极限方差呈夹心饼干结构 \(V_{\theta_0}^{-1} P[\dot{m}_{\theta_0} \dot{m}_{\theta_0}^T] V_{\theta_0}^{-1} = \frac{1}{(2f(\theta_0)) \cdot 1 \cdot (2f(\theta_0))} = \frac{1}{4f^2(\theta_0)}\)，代入定理 12.6 可直接导出中位数的经典渐近正态性结果：
7.2 非线性最小二乘估计 (Nonlinear Least Squares)
假设观测样本 \((X_1, Y_1), \dots, (X_n, Y_n)\) 由协变量 \(X\) 和响应变量 \(Y\) 构成，其数据生成机制为：
非线性最小二乘估计量 (LSE) 通过最小化残差平方和实现：
这等价于一个特殊的 M-估计量，其损失函数定义为 \(m_\theta(x, y) = -(y - f_\theta(x))^2\)。该经验目标函数大数定律极限为：
由 (12.16) 式可见，若模型满足可识别性条件（即 \(\theta \ne \theta_0 \implies P(f_\theta(X) \ne f_{\theta_0}(X)) > 0\)），则真实的参数 \(\theta_0\) 确实构成了该目标函数的全局最大值点，从而保证了估计量的相合性。
下面我们来验证渐近正态性的关键 Lipschitz 条件：
假设模型回归函数在一阶意义上良构：\(|f_{\theta_1}(x) - f_{\theta_2}(x)| \le g(x) \|\theta_2 - \theta_1\|\)，且函数值一致有界 \(|f_\theta(x)| \le c(x)\)。则我们可以构造出平方可积的全局 Lipschitz 包络函数：
对目标函数 (12.16) 进行泰勒展开以求解二阶导数矩阵 \(V_{\theta_0}\)：
由此可得黑塞矩阵以及对应的一阶得分函数形式：
代入 M-估计量渐近正态性的公式，在误差项 \(e\) 与协变量 \(X\) 独立的假设下，中间的夹心矩阵项化简为：
由此确定了非线性最小二乘估计量的渐近分布。
7.3 二分类回归模型 (Binary Regression Model)
假设观测样本 \((X_1, Y_1), \dots, (X_n, Y_n)\) 中，\(X_i\) 为 \(k\) 维协变量向量，\(Y_i \in \{0, 1\}\) 为二进制响应变量，其条件概率模型为：
其中 \(\Psi: \mathbb{R} \mapsto [0, 1]\) 是一个已知的连续可微的单调连接函数。
-
逻辑斯蒂回归 (Logistic Regression)：取 \(\Psi(t) = \frac{1}{1 + e^{-t}}\)。
-
Probit 模型：取 \(\Psi(t) = \Phi(t)\) （标准正态分布函数）。
该模型的极大似然估计量通过最大化条件对数似然函数得到：
为了确保参数的可识别性，我们必须要求协变量不退化，即 \(X_i\) 的分布不能集中在 \(\mathbb{R}^k\) 的任意一个 \((k-1)\) 维仿射子空间上。为此，我们假设 \(X_i\) 的范围有界且矩阵 \(E X X^T\) 是非奇异的。
通过将对数似然函数求导，我们可以得到其对应的 Z-估计得分方程：
当参数 \(\theta\) 在紧致区域内变化时，该得分函数关于 \(x,y\) 是一致有界的，因此条件自然满足。计算其对应的 Fisher 信息矩阵：
根据 Z-估计量的渐近正态性定理，极大似然估计量收敛到如下的正态极限分布：