第八章：矩估计与广义矩估计 (ME & GMM)

在统计推断中，极大似然估计 (MLE) 是参数估计的黄金标准。然而，MLE 强烈依赖于对数据分布的完全参数化假设。当分布的精确形式未知，或者仅仅知道部分矩条件时，我们需要其他估计方法。本章将介绍矩估计 (Moment Estimator, ME) 以及在计量经济学和统计学中极为重要的广义矩估计 (Generalized Method of Moments, GMM)。

1. 矩估计 (Moment Estimator)

设 \(X_1, ..., X_n \stackrel{i.i.d}{\sim} F_\theta\)，其中 \(\theta_0\) 是真实参数。给定一组已知函数 \(f_1, ..., f_k\)。

总体的矩 (Moments) 定义为：

\[ E_\theta f_j(X) = \int f_j(x) dF_\theta(x), \quad j=1, ..., k \]

最经典的选择是 \(f_j(x) = x^j\)。令向量 \(f = (f_1, ..., f_k)^T\)。

定义 12.1 (矩估计 Moment Estimator, ME)

将样本矩 \(\frac{1}{n} \sum_{i=1}^n f(X_i)\) 与其对应的总体矩进行匹配：

\[ P_n f := \frac{1}{n} \sum_{i=1}^n f(X_i) \stackrel{\text{匹配}}{=} e(\theta) := E_\theta f(X) := P_\theta f \]

如果 \(e(\theta)\) 是一一映射 (one-to-one)，那么矩估计量可以显式表示为 \(\hat{\theta}_n = e^{-1}(P_n f)\)。

如果逆映射 \(e^{-1}\) 可微，并且二阶矩 \(E_{\theta_0} f(X)f^T(X) < \infty\)（这保证了 \(P_n f\) 的渐近正态性），那么 \(\hat{\theta}_n\) 也具有渐近正态性。

定理 12.1 (矩估计的中心极限定理)

如果 \(e(\theta) = P_\theta f := E_\theta f(X)\) 在 \(\mathbb{R}^k\) 的开集 \(\Theta\) 上是一一映射，且在 \(\theta_0\) 处连续可微，雅可比矩阵 \(e'(\theta_0)\) 非奇异，且 \(P_{\theta_0} \|f\|^2 < \infty\)。

那么 \(\hat{\theta}_n\) 以趋于 1 的概率 (wpa 1) 存在，并且满足渐近正态性：

\[ \sqrt{n}(\hat{\theta}_n - \theta_0) \xrightarrow{d} N\left(0, [e'(\theta_0)]^{-1} (E_{\theta_0} ff^T - E_{\theta_0} f E_{\theta_0} f^T) ([e'(\theta_0)]^{-1})^T \right) \]

为了证明该定理，我们需要用到反函数定理：

引理 12.1 (反函数定理 The Inverse Function Theorem)

设 \(A\) 是 \(\mathbb{R}^n\) 中的开集；\(g: A \mapsto \mathbb{R}^n\) 在 \(a\) 处连续可微，且在 \(a \in A\) 的邻域内可微。如果雅可比矩阵 \(Dg(x) := \partial g(x) / \partial x^T\) 在点 \(a\) 处非奇异。

那么，存在点 \(a\) 的一个邻域 \(U\) 和 \(\mathbb{R}^n\) 的一个开集 \(V\)，使得 \(g: U \mapsto V\) 是一一映射；并且存在反函数 \(g^{-1}: V \mapsto U\)，该反函数连续可微且满足：

\[ Dg^{-1}(y) := \partial g^{-1}(y) / \partial y^T = (Dg(x))^{-1} \]

定理 12.1 的证明（点击展开）

在 \(\theta_0\) 处的连续可微性意味着在 \(\theta_0\) 邻域内的可微性以及 \(\theta \mapsto e'_\theta\) 的连续性。
\(e'_\theta\) 的非奇异性意味着在 \(\theta_0\) 的某个邻域内它也是非奇异的。
因此，根据反函数定理，存在 \(\theta_0\) 的开邻域 \(U\) 和 \(P_{\theta_0}f\) 的开邻域 \(V\)，使得 \(e: U \mapsto V\) 是可微的双射（一一映射），且具有可微的反函数 \(e^{-1}: V \mapsto U\)。
根据大数定律 (LLN)，\(\mathbb{P}_n f \equiv \frac{1}{n} \sum_{i=1}^n f(X_i) \xrightarrow{a.s.} e(\theta_0) \in V\)。因此，以趋于 1 的概率有 \(\mathbb{P}_n f \in V\)，这意味着 \(\hat{\theta}_n = e^{-1}(\mathbb{P}_n f)\) 以趋于 1 的概率存在。然后由连续映射定理：

\[ \hat{\theta}_n := e^{-1}(\mathbb{P}_n f) \xrightarrow{a.s.} e^{-1}(e(\theta_0)) = \theta_0 \]

根据中心极限定理 (CLT)，序列 \(\sqrt{n}(\mathbb{P}_n f - P_{\theta_0} f)\) 满足渐近正态性。
最后，应用 Delta 方法 (Delta Method) 即可完成证明：乘以雅可比矩阵 \((e^{-1}(x_0))' = (e'(\theta_0))^{-1}\) 即可得到最终的渐近方差。

2. 矩估计实例与指数族

2.1 实例：Beta 分布的矩估计

设 \(X_1, X_2, ..., X_n\) 是来自 Beta 分布的随机样本，其密度函数为 \(f(x; \alpha, \beta) = \frac{1}{B(\alpha, \beta)} x^{\alpha-1} (1-x)^{\beta-1}\)，其中 \(x \in (0,1)\)，参数 \(\alpha > 0, \beta > 0\)。

总体矩为：

\[ \mathbb{E}X^k = \frac{1}{B(\alpha, \beta)} \int x^{\alpha+k-1} (1-x)^{\beta-1} dx = \frac{B(\alpha+k, \beta)}{B(\alpha, \beta)} = \prod_{r=0}^{k-1} \frac{\alpha+r}{\alpha+\beta+r} \]

使用一阶和二阶矩进行匹配：

\[ \overline{X} = \frac{\alpha}{\alpha+\beta}, \quad \overline{X^2} = \frac{\alpha(\alpha+1)}{(\alpha+\beta)(\alpha+\beta+1)} \]

解得矩估计量为：

\[ \hat{\alpha} = \overline{X} \left[ \frac{\overline{X}(1-\overline{X})}{\overline{X^2} - \overline{X}^2} - 1 \right], \quad \hat{\beta} = (1-\overline{X}) \left[ \frac{\overline{X}(1-\overline{X})}{\overline{X^2} - \overline{X}^2} - 1 \right] \]

其渐近分布可通过定理计算雅可比矩阵和协方差矩阵得到 \(\sqrt{n}(\hat{\theta}_n - \theta) \Rightarrow N(0, \Sigma)\)。

2.2 指数族 (Exponential Family)

假设 \(X_1, ..., X_n \sim F_\theta\)，其密度属于指数族：

\[ p_\theta(x) = c(\theta)h(x)\exp\{\theta^T t(x)\} \]

对数似然为 \(l_\theta(x) = \log c(\theta) + \log h(x) + \theta^T t(x)\)。得分函数为 \(\dot{l}_\theta(x) = \frac{\dot{c}(\theta)}{c(\theta)} + t(x) = t(x) - E_\theta t(X)\)（因为 \(E \dot{l}_\theta(X) = 0\) 推导出 \(\dot{c}(\theta)/c(\theta) = -E_\theta t(X)\)）。

因此，极大似然估计 (MLE) 本质上就是矩估计 (ME)：

\[ \frac{1}{n} \sum_{i=1}^n t(X_i) = E_\theta t(X) = e(\theta) \]

如果 \(e(\theta)\) 连续可微且 \(E_\theta \|t(X)\|^2 < \infty\)，则 \(\hat{\theta}_{mle} = \hat{\theta}_{me}\)，且：

\[ \sqrt{n}(\hat{\theta}_{me} - \theta) \rightarrow N\left(0, [(e'(\theta))^{-1}] var_\theta(t(X)) [(e'(\theta))^{-1}]^T \right) = N(0, I_\theta^{-1}) \]

其中 \(I_\theta\) 是 Fisher 信息矩阵 \(I_\theta = var(\dot{l}_\theta(X))\)。

矩估计的局限性： 1. ME 的统计效率通常劣于 MLE。 2. ME 可以是半参数的，而 MLE 必须是全参数化的。 3. 用于匹配的“矩”的选择具有一定的随意性 (ad-hoc)。

3. 广义矩估计 (Generalized Method of Moments, GMM)

MLE 需要对模型进行完全的分布指定（如联合密度、条件密度等）。GMM 由 Hansen (1982) 提出，作为矩估计的推广，它不需要指定分布密度，只需要矩约束条件。这使得 GMM 在处理具有无限维干扰项（半参数）的模型时极具吸引力。

3.1 设定与例子

设 \(\{w_i\}_{i=1}^n\) 为 \(\mathbb{R}^m\) 中的 i.i.d. 随机变量，\(g(w_i; \theta) \in \mathbb{R}^r\) 为已知的 \(r\) 维函数，参数 \(\theta \in \Theta \subset \mathbb{R}^p\)。假设存在唯一的真实参数 \(\theta_0 \in \Theta\)，使得：

\[ E\{g(w_i; \theta_0)\} = 0 \]

恰好识别 (Just-identified)：当 \(r = p\)（矩条件数 = 参数个数）时，统计学家通常直接求解方程 \(\frac{1}{n}\sum_{i=1}^n g(w_i, \theta) = 0\)。
过度识别 (Over-identified)：当 \(r > p\) 时，方程组无法被精确求解，这是经济学家常处理的情况，必须使用 GMM。

例子 1：参数回归 回归数据 \(\{w_i = (Y_i, X_i)\}_{i=1}^n\)。模型 \(Y_i = m(X_i, \theta) + \epsilon_i\)，且 \(E(\epsilon_i | X_i) = 0\)。最小二乘法的得分函数为 \(g(w_i, \theta) = \frac{\partial m(X_i, \theta)}{\partial \theta}(Y_i - m(X_i, \theta))\)。这里 \(r = p\)，可以直接求解。

例子 2：泊松回归 假设计数数据 \(Y_i\) 满足 \(E(Y_i | X_i) = \mu(X_i, \theta)\) 且 \(Var(Y_i | X_i) = \mu(X_i, \theta)\)。我们可以结合均值和方差的信息构造超定的得分函数：

\[ g(w_i, \theta) = \begin{pmatrix} g_1(w_i, \theta) \\ g_2(w_i, \theta) \end{pmatrix} = \begin{pmatrix} \frac{\partial \mu(X_i, \theta)}{\partial \theta}(Y_i - \mu(X_i, \theta)) \\ a(X_i, \theta) \{[Y_i - \mu(X_i, \theta)]^2 - \mu(X_i, \theta)\} \end{pmatrix} \]

这利用了更多信息，比仅使用均值更有效率。

3.2 GMM 估计量定义

定义 12.2 (GMM 估计量)

给定 \(g(w_i; \theta)\) 满足 \(E g(w_i; \theta_0) = 0\)。GMM 估计量 \(\hat{\theta}_{GMM}\) 定义为极小化如下二次型：

\[ \hat{\theta}_n = \arg\min_{\theta \in \Theta} \left( \frac{1}{n}\sum_{i=1}^n g(w_i, \theta) \right)^T \hat{W}_n \left( \frac{1}{n}\sum_{i=1}^n g(w_i, \theta) \right) \]

其中 \(\hat{W}_n\) 是一个 \(r \times r\) 的非负定权重矩阵，且满足 \(\hat{W}_n \xrightarrow{p} W_0 > 0\)，其中 \(W_0\) 是确定性的，可能依赖于 \(\theta_0\)。

为了保证识别性，我们假设 \(\theta_0\) 是唯一的参数使得 \(E g(w_i; \theta) = 0\)。因为 \(W_0 > 0\)，\(\theta_0\) 也是唯一极小化目标函数 \(E\{g^T(w_i; \theta)\} W_0 E\{g(w_i; \theta)\}\) 的参数。

4. GMM 的渐近正态性 (Asymptotic Normality)

假设： (i) \(g(w, \cdot)\) 在内点 \(\theta \in Int(\Theta)\) 是连续可微的。 (ii) \(G_0 = E\left( \frac{\partial g(w, \theta_0)}{\partial \theta^T} \right)_{r \times p}\) 存在且为满秩矩阵 (秩为 \(p\))。

定理 12.2 (GMM 的渐近正态性)

在保证 \(\hat{\theta}_n \rightarrow \theta_0\) 的前提下，我们有：

\[ \sqrt{n}(\hat{\theta}_n - \theta_0) \xrightarrow{d} N\left(0, (G_0^T W_0 G_0)^{-1} G_0^T W_0 \Lambda_0 W_0 G_0 (G_0^T W_0 G_0)^{-1} \right) \]

其中根据中心极限定理，\(\frac{1}{\sqrt{n}} \sum_{i=1}^n g(w_i, \theta_0) \rightarrow N(0, \Lambda_0)\)，这里 \(\Lambda_0 = Var\{g(w_i; \theta_0)\}\)。

渐近正态性的证明（点击展开）

根据 \(\hat{\theta}_n\) 极小化二次型的定义，其一阶条件 (FOC) 为：

\[ \frac{1}{n} \sum_{i=1}^n \frac{\partial g^T(w_i, \hat{\theta}_n)}{\partial \theta} \hat{W}_n \left( \frac{1}{n} \sum_{i=1}^n g(w_i, \hat{\theta}_n) \right) = 0 \quad \cdots (1) \]

注意矩阵求导法则：\(\frac{\partial g^T W g}{\partial \theta_i} = 2 \frac{\partial g^T}{\partial \theta_i} W g\)。

我们在真实参数 \(\theta_0\) 处对式 (1) 中的 \(g(w_i, \hat{\theta}_n)\) 进行泰勒展开：

\[ \frac{1}{n} \sum_{i=1}^n \frac{\partial g^T(w_i, \hat{\theta}_n)}{\partial \theta} \hat{W}_n \left\{ \frac{1}{n} \sum_{i=1}^n g(w_i, \theta_0) + \frac{1}{n} \sum_{i=1}^n \frac{\partial g(w_i, \hat{\theta}_n^*)}{\partial \theta^T} (\hat{\theta}_n - \theta_0) \right\} = 0 \quad \cdots (2) \]

其中 \(\hat{\theta}_n^*\) 介于 \(\theta_0\) 和 \(\hat{\theta}_n\) 之间。由于 \(\hat{\theta}_n \rightarrow \theta_0\)，由大数定律可知梯度矩阵依概率收敛：

\[ \frac{1}{n} \sum_{i=1}^n \frac{\partial g^T(w_i, \hat{\theta}_n)}{\partial \theta} \xrightarrow{p} G_0^T, \quad \frac{1}{n} \sum_{i=1}^n \frac{\partial g^T(w_i, \hat{\theta}_n^*)}{\partial \theta} \xrightarrow{p} G_0^T \]

由于 \(\hat{W}_n \rightarrow W_0\)，从式 (2) 我们得到：

\[ (G_0^T W_0 G_0)(\hat{\theta}_n - \theta_0) = -G_0^T W_0 \frac{1}{n} \sum_{i=1}^n g(w_i, \theta_0) \{1 + o_p(1)\} \]

令 \(A_0 = G_0^T W_0 G_0\)，两边同乘 \(\sqrt{n}\)：

\[ \sqrt{n}(\hat{\theta}_n - \theta_0) = -A_0^{-1} G_0^T W_0 \frac{1}{\sqrt{n}} \sum_{i=1}^n g(w_i, \theta_0) + o_p(1) \]

因为 \(\frac{1}{\sqrt{n}} \sum_{i=1}^n g(w_i, \theta_0) \xrightarrow{d} N(0, \Lambda_0)\)，最终得到：

\[ \sqrt{n}(\hat{\theta}_n - \theta_0) \xrightarrow{d} N(0, A_0^{-1} G_0^T W_0 \Lambda_0 W_0 G_0 A_0^{-1}) \]

证明完毕。

5. 最优权重矩阵与推断

5.1 最优权重矩阵 (Optimal Weighting Matrix)

GMM 估计量的效率取决于权重矩阵 \(\hat{W}_n\)（渐近趋于 \(W_0\)）的选择。哪一个是最好的？

如果选择 \(W_0 = \Lambda_0^{-1}\)，渐近方差中的中间项变为 \(G_0^T \Lambda_0^{-1} \Lambda_0 \Lambda_0^{-1} G_0 = G_0^T \Lambda_0^{-1} G_0\)，渐近方差简化为：

\[ Avar(\hat{\theta}_{GMM}) = A_0^{-1} = (G_0^T \Lambda_0^{-1} G_0)^{-1} \]

Hansen (1982) 证明了对于任何 \(W_0 > 0\)，都有：

\[ (G_0^T W_0^{-1} G_0)^{-1} (G_0^T W_0 \Lambda_0 W_0 G_0) (G_0^T W_0^{-1} G_0)^{-1} \ge (G_0^T \Lambda_0^{-1} G_0)^{-1} \]

因此，\(W_0^* = \Lambda_0^{-1}\) 是最优权重矩阵。

5.2 两步 GMM 估计 (Two-step GMM)

为了获得最优 GMM 估计量，我们通常采用两步法：

Step 1: 构造一个初始估计量 \(\tilde{\theta}\)，使用任何正定权重矩阵（例如 \(\hat{W}_n = I_r\)）。
Step 2: 利用初估值估计协方差矩阵，从而获得最优权重矩阵：

\[ \hat{W}_n^* = \hat{\Lambda}^{-1} = \left( \frac{1}{n} \sum_{i=1}^n g(w_i; \tilde{\theta}) g^T(w_i; \tilde{\theta}) \right)^{-1} \]

使用 \(\hat{W}_n^*\) 重新进行 GMM 估计，即可得到有效 GMM 估计量 \(\hat{\theta}_{GMM}^*\)。

6. 假设检验与 Sargan-Hansen 检验

6.1 Sargan-Hansen 检验 (超定检验)

对于过度识别模型 (\(r > p\))，我们需要检验矩条件本身是否合理，即检验 \(H_0: E g(w_i; \theta_0) = 0\)。使用最优 GMM 估计量 \(\hat{\theta} = \hat{\theta}_{GMM}^*\)，目标函数满足：

\[ T_n(\hat{\theta}) = n^{-1/2} \sum_{i=1}^n g^T(w_i; \hat{\theta}) \hat{W}_n^* n^{-1/2} \sum_{i=1}^n g(w_i; \hat{\theta}) \xrightarrow{d} \chi^2_{r-p} \]

拒绝法则：如果 \(T_n(\hat{\theta}) > \chi^2_{r-p, 1-\alpha}\)，则拒绝原假设。
在此上下文中，\(\hat{\theta}_{GMM}\) 也被称为最小卡方估计量 (Minimum \(\chi^2\)-estimator)。

6.2 参数假设检验

对于假设 \(H_0: c(\theta_0) = 0\)，其中 \(c(\theta) \in \mathbb{R}^Q\) 且 \(Q \le p\)：

Wald 检验：

\[ c^T(\hat{\theta}) (\hat{V}(\hat{\theta}))^{-1} c(\hat{\theta}) \xrightarrow{d} \chi^2_Q \]

其中 \(\hat{V}(\hat{\theta}) = var(c(\hat{\theta}))\)。
距离差异检验 (Distance Discrepancy Test)：

\[ \tilde{T}_n = \frac{1}{n} \left[ \sum_{i=1}^n g^T(w_i; \tilde{\theta}_n) \hat{W}_n^* \sum_{i=1}^n g(w_i; \tilde{\theta}_n) - \sum_{i=1}^n g^T(w_i; \hat{\theta}_n) \hat{W}_n^* \sum_{i=1}^n g(w_i; \hat{\theta}_n) \right] \xrightarrow{d} \chi^2_Q \]

其中 \(\tilde{\theta}_n\) 是在约束 \(c(\theta) = 0\) 下的受限 GMM 估计量。

7. GMM 的重要特征：矩条件越多越有效

如果有 \(r\) 个限制条件，加入更多的矩条件会提高效率吗？考虑 \(g(w, \theta) = (g_{(r-1)}^T(w, \theta), g_r(w, \theta))^T\)。

基于 \(r\) 维条件的渐近方差为：\(V_r = [E\left(\frac{\partial g^T}{\partial \theta}\right) E^{-1}(gg^T) E\left(\frac{\partial g}{\partial \theta}\right)]^{-1}\)。基于 \(r-1\) 维条件的方差为：\(V_{r-1} = [E\left(\frac{\partial g_{(r-1)}^T}{\partial \theta}\right) E^{-1}(g_{(r-1)} g_{(r-1)}^T) E\left(\frac{\partial g_{(r-1)}}{\partial \theta}\right)]^{-1}\)。

重要特征

\[ V_r \le V_{r-1} \]

因此，拥有 \(r\) 个限制条件的 GMM 至少与拥有 \(r-1\) 个限制条件的 GMM 一样有效率。

特征的证明（点击展开）

在 \(\theta = \theta_0\) 处，将协方差矩阵分块：

\[ E(gg^T) = \begin{pmatrix} E(g_{(r-1)} g_{(r-1)}^T) & E(g_{(r-1)} g_r^T) \\ E(g_{(r-1)}^T g_r) & E(g_r^2) \end{pmatrix} := \begin{pmatrix} A & B \\ B^T & C \end{pmatrix} \]

利用分块矩阵求逆公式，令 Schur 补 \(D = C - B^T A^{-1} B\)：

\[ \begin{pmatrix} A & B \\ B^T & C \end{pmatrix}^{-1} = \begin{pmatrix} A^{-1} & 0 \\ 0 & 0 \end{pmatrix} + \begin{pmatrix} A^{-1}B \\ -I \end{pmatrix} D^{-1} (B^T A^{-1}, -I) \]

可以简写为：

\[ (E(gg^T))^{-1} = \begin{pmatrix} (E(g_{(r-1)} g_{(r-1)}^T))^{-1} & 0 \\ 0 & 0 \end{pmatrix} + H \]

其中 \(H \ge 0\) (半正定)。将其代入信息矩阵的二次型中：

\[ V_r^{-1} = \left( E\left(\frac{\partial g_{(r-1)}^T}{\partial \theta}\right), E\left(\frac{\partial g_r^T}{\partial \theta}\right) \right) \left\{ \begin{pmatrix} (E(g_{(r-1)} g_{(r-1)}^T))^{-1} & 0 \\ 0 & 0 \end{pmatrix} + H \right\} \begin{pmatrix} E\left(\frac{\partial g_{(r-1)}}{\partial \theta}\right) \\ E\left(\frac{\partial g_r}{\partial \theta}\right) \end{pmatrix} \]

展开后得到：

\[ V_r^{-1} = E\left(\frac{\partial g_{(r-1)}^T}{\partial \theta}\right) (E(g_{(r-1)} g_{(r-1)}^T))^{-1} E\left(\frac{\partial g_{(r-1)}}{\partial \theta}\right) + \tilde{H} = V_{r-1}^{-1} + \tilde{H} \]

因为 \(\tilde{H} \ge 0\)，所以 \(V_r^{-1} \ge V_{r-1}^{-1}\)，即 \(V_r \le V_{r-1}\)。这正是 GMM 的吸引力所在：通过在某些方向上加入有效的矩条件，可以减小渐近方差。