第七章：内积空间与 Hilbert 空间基础

在赋范线性空间中，我们引入了“长度”（范数）和“距离”的概念，但泛函分析中还缺乏解析几何中非常重要的一个概念——角度（正交）。为了将正交、正交投影等概念拓广到更一般的抽象空间中，我们需要先将“内积”的概念进行推广，并通过内积来诱导范数。

1. 内积与内积空间

定义 7.1 (内积与内积空间)

设 \(X\) 为实（或复）数域 \(K\) 上的线性空间，那么 \(X\) 中任意一对元素 \(x, y\) 恒对应于 \(K\) 中一个数，记为 \((x, y)\)，且满足以下条件：

(i) 对第一变元的线性性：\((\alpha x, y) = \alpha (x, y)\)；
(ii) 对第一变元的加法性：\((x+y, z) = (x, z) + (y, z)\)，这里 \(z \in X\)；
(iii) 共轭对称性：当 \(K\) 为实数域时，\((x, y) = (y, x)\)；当 \(K\) 为复数域时，\((x, y) = \overline{(y, x)}\)；
(iv) 非负性：\((x, x) \ge 0\)，且 \((x, x) = 0\) 的充分必要条件是 \(x = \theta\)。

满足上述条件的 \(X\) 称为实（或复）内积空间，简称为内积空间。\((x, y)\) 称为元素 \(x\) 与 \(y\) 的内积。

由内积的定义可以直接导出下列基本事实：

当 \(K\) 为实数域时，\((x, y)\) 关于 \(x, y\) 都是线性的：

\[ (\alpha_1 x_1 + \alpha_2 x_2, y) = \alpha_1(x_1, y) + \alpha_2(x_2, y) \]

\[ (x, \alpha_1 y_1 + \alpha_2 y_2) = \alpha_1(x, y_1) + \alpha_2(x, y_2) \]

当 \(K\) 为复数域时，\((x, y)\) 关于 \(x\) 是线性的，关于第二个变元 \(y\) 则是反线性的（或共轭线性的）：

\[ (x, \alpha_1 y_1 + \alpha_2 y_2) = \overline{\alpha_1}(x, y_1) + \overline{\alpha_2}(x, y_2) \]

当 \(x, y\) 中有一个等于零元素 \(\theta\) 时，内积为 \(0\)。例如设 \(y = \theta\)，则：

\[ (x, \theta) = (x, 0\theta) = 0(x, \theta) = 0 \]

2. Schwarz 不等式与范数的导出

在内积空间中，对任何 \(x \in X\)，定义范数 \(\|x\| = (x, x)^{\frac{1}{2}}\)。为了证明这样定义的函数确实满足范数的三角不等式，我们需要先证明著名的 Schwarz 不等式。

定理 7.1 (施瓦茨 Schwarz 不等式)

在内积空间中，对任意 \(x, y \in X\)，有：

\[ |(x, y)| \le \|x\| \|y\| \]

Schwarz 不等式的证明

设 \(X\) 是复内积空间。当 \(y = \theta\) 时，两边均为 0，不等式显然成立。

现设 \(y \neq \theta\)。对任一复数 \(\lambda\)，由内积的非负性有：

\[ (x + \lambda y, x + \lambda y) \ge 0 \]

展开该式得到：

\[ 0 \le (x, x) + \overline{\lambda}(x, y) + \lambda(y, x) + |\lambda|^2 (y, y) \]

\[ = (x, x) + \lambda(y, x) + \overline{\lambda} [ (x, y) + \lambda(y, y) ] \]

我们巧妙地选取 \(\lambda = -\frac{(x, y)}{(y, y)}\)，使得方括号内的项为零。代入上式得到：

\[ 0 \le (x, x) - \frac{(x, y)(y, x)}{(y, y)} \]

即 \(0 \le (x, x) - \frac{|(x, y)|^2}{(y, y)}\)。移项并整理得：

\[ |(x, y)|^2 \le (x, x)(y, y) = \|x\|^2 \|y\|^2 \]

开平方即证得 Schwarz 不等式。 \(\square\)

利用 Schwarz 不等式，我们可以轻松证明三角不等式：对任何 \(x, y \in X\)，

\[ \|x + y\|^2 = (x + y, x + y) = (x, x) + (x, y) + (y, x) + (y, y) \]

\[ \le \|x\|^2 + 2|(x, y)| + \|y\|^2 \le \|x\|^2 + 2\|x\|\|y\| + \|y\|^2 = (\|x\| + \|y\|)^2 \]

两边开方即得 \(\|x + y\| \le \|x\| + \|y\|\)。因此，按照该范数，\(X\) 是一个赋范线性空间。我们称 \(\|\cdot\|\) 是由 \(X\) 的内积导出的范数。

3. 内积的连续性与极化恒等式

内积的连续性：内积 \((x, y)\) 是关于变元 \(x, y\) 的二元连续函数。

证明：内积是连续函数

设 \(x_n, y_n\) 是 \(X\) 中的点列，且分别依范数收敛于 \(x, y \in X\)。由三角不等式和 Schwarz 不等式：

\[ |(x_n, y_n) - (x, y)| \le |(x_n, y_n) - (x, y_n)| + |(x, y_n) - (x, y)| \]

\[ = |(x_n - x, y_n)| + |(x, y_n - y)| \le \|x_n - x\| \|y_n\| + \|x\| \|y_n - y\| \]

由于 \(y_n\) 依范数收敛，故序列 \(\{\|y_n\|\}\) 是有界的。当 \(n \to \infty\) 时，\(\|x_n - x\| \to 0\) 且 \(\|y_n - y\| \to 0\)，故整个式子趋于 0。 \(\square\)

极化恒等式 (Polarization Identity)：内积与导出的范数之间存在极化关系。

当 \(K\) 为实数域时：

\[ (x, y) = \frac{1}{4} (\|x + y\|^2 - \|x - y\|^2) \]

当 \(K\) 为复数域时：

\[ (x, y) = \frac{1}{4} (\|x + y\|^2 - \|x - y\|^2 + i\|x + iy\|^2 - i\|x - iy\|^2) \]

极化恒等式的证明展开

首先计算实数部分：

\[ \|x + y\|^2 - \|x - y\|^2 = (x + y, x + y) - (x - y, x - y) \]

\[ = [(x, x) + (x, y) + (y, x) + (y, y)] - [(x, x) - (x, y) - (y, x) + (y, y)] \]

\[ = 2(x, y) + 2(y, x) = 4 \text{Re}(x, y) \]

对于复内积空间，还需要虚部。注意到 \(\text{Re}(x, iy) = \text{Re}\{ \overline{i}(x, y) \} = \text{Re}\{ -i(x,y) \} = \text{Im}(x, y)\)，所以：

\[ i(\|x + iy\|^2 - \|x - iy\|^2) = i(4\text{Re}(x, iy)) = 4i\text{Im}(x, y) \]

将实部与虚部相加除以 4 即可得到复极化恒等式。 \(\square\)

4. Hilbert 空间及经典实例

定义 7.2 (Hilbert 空间)

如果内积空间作为赋范线性空间是完备的，则称其为 希尔伯特 (Hilbert) 空间。若不完备，内积空间则称为准希尔伯特空间。

4.1 有限维酉空间 \(\mathbb{C}^n\)

任取 \(\mathbb{C}^n\) 中的两个元素 \(x = (x_1, \dots, x_n)\) 和 \(y = (y_1, \dots, y_n)\)，定义内积：

\[ (x, y) = \sum_{j=1}^n x_j \overline{y_j} \]

它满足内积的全部条件。按照代数常用的术语，称 \(\mathbb{C}^n\) 为酉空间，它是一个完备的 Hilbert 空间。

4.2 序列空间 \(l^2\)

任取 \(l^2\) 中的两个元素 \(x = \{x_1, x_2, \dots\}, y = \{y_1, y_2, \dots\}\)。由 Cauchy-Schwarz 不等式，级数绝对收敛：

\[ \sum_{j=1}^\infty |x_j y_j| \le \left( \sum_{j=1}^\infty |x_j|^2 \right)^{\frac{1}{2}} \left( \sum_{j=1}^\infty |y_j|^2 \right)^{\frac{1}{2}} = \|x\| \|y\| < \infty \]

因此可以定义内积：

\[ (x, y) = \sum_{j=1}^\infty x_j \overline{y_j} \]

按照该内积，\(l^2\) 是一个完备、可分的 Hilbert 空间。

4.3 函数空间 \(L^2(F)\) 与加权空间 \(L^2([a,b], \omega)\)

对于 \(f, g \in L^2(F)\)，定义内积：

\[ (f, g) = \int_F f(t) \overline{g(t)} dt \]

对于加权空间，\(\omega\) 是 \([a, b]\) 上的正值可测函数，平方可积条件为 \(\|f\| = \left( \int_{[a,b]} |f(t)|^2 \omega(t) dt \right)^{1/2} < \infty\)，其内积定义为：

\[ (f, g)_\omega = \int_{[a, b]} f(t) \overline{g(t)} \omega(t) dt \]

这两种空间均是完备且可分的 Hilbert 空间。

5. 内积空间的特征：平行四边形公式

反过来，给定一个赋范线性空间，它的范数满足什么条件才能保证它是由某个内积导出的呢？答案就是“平行四边形公式”。

定理 7.2 (平行四边形公式 / 中线公式)

设 \(X\) 是内积空间，则由 \(X\) 的内积导出的范数必然满足平行四边形公式：对任意 \(x, y \in X\)，有

\[ \|x + y\|^2 + \|x - y\|^2 = 2(\|x\|^2 + \|y\|^2) \]

反之（充分性）：设 \(X\) 是赋范线性空间，如果 \(X\) 的范数满足以上等式，则在 \(X\) 中可以定义内积 \((x, y)\) 使 \(X\) 成为内积空间，且 \(X\) 的范数就是由该内积导出的。

定理的证明（必要性与充分性）

1. 必要性（若为内积空间，必满足公式）：

\[ \|x + y\|^2 + \|x - y\|^2 = (x + y, x + y) + (x - y, x - y) \]

\[ = [(x, x) + (x, y) + (y, x) + (y, y)] + [(x, x) - (x, y) - (y, x) + (y, y)] \]

\[ = 2(x, x) + 2(y, y) = 2(\|x\|^2 + \|y\|^2) \]

2. 充分性（若满足公式，必可定义内积）：

由极化恒等式启发，我们自然应该“定义”内积如下（以复空间为例）：

\[ (x, y) = \frac{1}{4} (\|x + y\|^2 - \|x - y\|^2 + i\|x + iy\|^2 - i\|x - iy\|^2) \]

现在我们需要验证这样定义的 \((x,y)\) 满足内积的所有公理。前提条件（平行四边形公式）等价于：

\[ \|a\|^2 + \|b\|^2 = 2\left\|\frac{a+b}{2}\right\|^2 + 2\left\|\frac{a-b}{2}\right\|^2 \]

证明可加性 \((x+y, z) = (x, z) + (y, z)\)：对于任意的 \(x, y, z \in X\)，利用定义的展开式：

\[ 4(x, z) + 4(y, z) = \|x + z\|^2 - \|x - z\|^2 + i\|x + iz\|^2 - i\|x - iz\|^2 \]

\[ + \|y + z\|^2 - \|y - z\|^2 + i\|y + iz\|^2 - i\|y - iz\|^2 \]

将含有 \(z\) 和 \(-z\) 的项分别组合，并利用平行四边形公式：

\[ = 2\left\|\frac{x+y}{2} + z\right\|^2 - 2\left\|\frac{x+y}{2} - z\right\|^2 + 2i\left\|\frac{x+y}{2} + iz\right\|^2 - 2i\left\|\frac{x+y}{2} - iz\right\|^2 \]

这正好等于 \(8\left(\frac{x+y}{2}, z\right)\)。所以，\((x, z) + (y, z) = 2\left(\frac{x+y}{2}, z\right)\)。

由定义显然 \((\theta, y) = 0\)。在上式中令 \(y = \theta\) 得到：

\[ (x, z) + (\theta, z) = 2\left(\frac{x}{2}, z\right) \implies (x, z) = 2\left(\frac{x}{2}, z\right) \]

将其代回原式，即可得到严格的可加性：

\[ (x, z) + (y, z) = (x + y, z) \]

证明齐次性 \((\alpha x, y) = \alpha(x, y)\)：令函数 \(f(\alpha) = (\alpha x, y)\)，其中 \(\alpha\) 为实数。由上面证明的可加性知：

\[ f(\alpha + \beta) = ((\alpha + \beta)x, y) = (\alpha x + \beta x, y) = (\alpha x, y) + (\beta x, y) = f(\alpha) + f(\beta) \]

并且，当 \(\alpha \to \beta\)（即 \(\alpha - \beta \to 0\)）时，由范数的连续性易证 \(f(\alpha)\) 是连续函数。根据下文的辅助引理，满足 \(f(\alpha+\beta) = f(\alpha)+f(\beta)\) 的连续函数必然满足 \(f(\alpha) = \alpha f(1)\)。因此对实数 \(\alpha\)，\((\alpha x, y) = \alpha(x, y)\) 成立。

对于复数情形，还需要验证 \((ix, y) = i(x, y)\)：

\[ 4(ix, y) = \|ix + y\|^2 - \|ix - y\|^2 + i\|ix + iy\|^2 - i\|ix - iy\|^2 \]

\[ = \|x - iy\|^2 - \|x + iy\|^2 + i\|x + y\|^2 - i\|x - y\|^2 \]

\[ = i(\|x + y\|^2 - \|x - y\|^2 + i\|x + iy\|^2 - i\|x - iy\|^2) = 4i(x, y) \]

因此对任意复数 \(\alpha\)，齐次性 \((\alpha x, y) = \alpha(x, y)\) 成立。最后，由定义容易直接验证共轭对称性 \((x, y) = \overline{(y, x)}\) 以及非负性 \((x, x) = \|x\|^2 \ge 0\)。至此，充分性证明完毕。 \(\square\)

辅助引理：实函数 \(f(\alpha+\beta) = f(\alpha)+f(\beta)\) 的线性性

引理内容：设 \(f\) 是定义在 \(\mathbb{R}\) 上的连续实值函数，且对任意实数 \(\alpha, \beta\) 有 \(f(\alpha+\beta) = f(\alpha)+f(\beta)\)，则对任何实数 \(\alpha\) 有 \(f(\alpha) = \alpha f(1)\)。

证明：由假设，对任何自然数 \(n\) 及实数 \(\alpha\)，反复使用可加性得：

\[ f(n\alpha) = nf(\alpha) \]

取 \(\alpha = \frac{1}{n}\)，得到 \(f(1) = nf(\frac{1}{n})\)，即 \(f(\frac{1}{n}) = \frac{1}{n}f(1)\)。于是对任何正有理数 \(\frac{m}{n}\)，有：

\[ f\left(\frac{m}{n}\right) = m f\left(\frac{1}{n}\right) = \frac{m}{n}f(1) \]

又因为 \(f(0) = f(0+0) = 2f(0)\)，故 \(f(0) = 0\)。由 \(f(\alpha) + f(-\alpha) = f(0) = 0\) 可知 \(f(-\alpha) = -f(\alpha)\)。因此，对任何有理数 \(q = \frac{m}{n}\)（无论正负），都有 \(f(q) = qf(1)\)。由于 \(f\) 在实数轴上连续，有理数在实数中稠密，故结论对任何实数 \(\alpha\) 成立。 \(\square\)

5.1 不满足平行四边形公式的赋范空间（反例）

并非所有赋范线性空间的范数都能由内积导出。

连续函数空间 \(C[0, 1]\)：范数定义为 \(\|x\| = \max_{t \in [0, 1]} |x(t)|\)。设 \(f(t) = t, g(t) = 1 - t\)，则 \(\|f\| = 1, \|g\| = 1\)。右边：\(2(\|f\|^2 + \|g\|^2) = 4\)。左边：\(f+g = 1 \implies \|f+g\|^2 = 1\)；\(f-g = 2t-1 \implies \max |2t-1| = 1 \implies \|f-g\|^2 = 1\)。因此 \(\|f+g\|^2 + \|f-g\|^2 = 2 \neq 4\)。不满足。
空间 \(l^p\)（当 \(p \neq 2\) 时）：取 \(x = e_1 = (1, 0, 0, \dots), y = e_2 = (0, 1, 0, \dots)\)。右边：\(2(\|x\|_p^2 + \|y\|_p^2) = 2(1 + 1) = 4\)。左边：\(\|x+y\|_p^2 + \|x-y\|_p^2 = \|(1, 1, 0, \dots)\|_p^2 + \|(1, -1, 0, \dots)\|_p^2 = (1^p+1^p)^{2/p} + (1^p+|-1|^p)^{2/p} = 2^{2/p} + 2^{2/p} = 2 \cdot 2^{2/p}\)。显然，只有当 \(p = 2\) 时，\(2 \cdot 2^{2/p} = 4\) 才成立。
空间 \(L^p[0, 1]\)（当 \(p \neq 2\) 时）：取特征函数 \(f = \chi_{[0, 1/2]}, g = \chi_{[1/2, 1]}\)。利用积分计算范数，类似于 \(l^p\) 的推导，左边得出 \(2\)，右边得出 \(4 \cdot 2^{-2/p}\)。等式依然只在 \(p=2\) 时成立。

6. 正交与正交补

内积的最重要应用是引入“正交”（垂直）的概念。

定义 7.3 (正交与正交补)

设 \(X\) 为内积空间，\(x, y \in X\)。若 \((x, y) = 0\)，则称 \(x\) 与 \(y\) 正交，记为 \(x \perp y\)。
设 \(M\) 是 \(X\) 的一个子集，\(x \in X\)。若 \(x\) 与 \(M\) 内的任一元素正交，则称 \(x\) 与 \(M\) 正交，记为 \(x \perp M\)。
设 \(N\) 也是 \(X\) 的一个子集。如果对任意的 \(x \in M\) 以及任意的 \(y \in N\)，有 \(x \perp y\)，则称 \(M\) 与 \(N\) 正交，记为 \(M \perp N\)。
\(X\) 中所有与 \(M\) 正交的元素构成的集称为 \(M\) 的 正交余（正交补），记为 \(M^\perp\)。

基于正交的定义，内积空间满足经典的几何定理：

定理 7.3 (内积空间中的勾股定理与性质)

(i) 设 \(X\) 中的元素 \(x_1, \dots, x_n\) 相互正交，且 \(x = x_1 + \dots + x_n\)，则：

\[ \|x\|^2 = \|x_1\|^2 + \dots + \|x_n\|^2 \]

(ii) 若 \(X\) 中的元素 \(x\) 与 \(X\) 中一个稠密子集 \(L\) 正交，则 \(x = \theta\)。
(iii) 对任何子集 \(M \subset X\)，其正交补 \(M^\perp\) 是 \(X\) 的闭子空间。

性质的证明

证明 (i) 勾股定理： 当 \(n=2\) 时，因 \((x, y) = (y, x) = 0\)：

\[ \|x + y\|^2 = (x + y, x + y) = (x, x) + (x, y) + (y, x) + (y, y) = \|x\|^2 + \|y\|^2 \]

对于一般情形，由于相互正交，\((x_1 + \dots + x_{n-1}, x_n) = 0\)。由数学归纳法：

\[ \|x_1 + \dots + x_n\|^2 = \|x_1 + \dots + x_{n-1}\|^2 + \|x_n\|^2 = \dots = \|x_1\|^2 + \dots + \|x_n\|^2 \]

证明 (ii)： 因 \(L\) 在 \(X\) 中稠密，故存在点列 \(\{x_n\} \subset L\) 收敛于 \(x\)。由内积的连续性且 \(x \perp L\)：

\[ (x, x) = \lim_{n \to \infty} (x, x_n) = 0 \]

根据内积正定性，故 \(x = \theta\)。

证明 (iii)： 若 \(x, y \in M^\perp\)，则对任给的 \(z \in M\)，有 \((\alpha x + \beta y, z) = \alpha(x, z) + \beta(y, z) = 0\)，故 \(M^\perp\) 构成线性子空间。再设 \(x\) 属于 \(M^\perp\) 的闭包，则存在 \(M^\perp\) 中的点列 \(\{x_n\}\) 收敛于 \(x\)。利用内积连续性，对任意 \(z \in M\)：

\[ (x, z) = \lim_{n \to \infty} (x_n, z) = 0 \]

故极限点 \(x \in M^\perp\)。因此 \(M^\perp\) 必定是闭集。 \(\square\)

7. 最佳逼近元

我们将以最佳逼近元的存在性与唯一性来为下一节的“正交分解”铺平道路。为此先引进最佳逼近元及凸集的概念。

定义 7.4 (最佳逼近元与凸闭集)

最佳逼近元：设 \(M\) 是内积空间的一个子集，\(x \in X\) 为给定的元素。如果存在元素 \(y \in M\) 使得 \(\|x - y\| = \inf_{z \in M} \|x - z\|\) 则称 \(y\) 是 \(x\) 在 \(M\) 中的最佳逼近元。
凸集：设 \(M\) 是 \(X\) 的一个子集。如果对任意的 \(x, y \in M\) 以及满足 \(0 \le \alpha \le 1\) 的任一实数 \(\alpha\)，元素 \(\alpha x + (1 - \alpha)y\) 仍属于 \(M\)，则称 \(M\) 是凸集。既凸且闭的集称为凸闭集。

定理 7.4

设 \(M\) 是 Hilbert 空间 \(X\) 中的凸闭集，则 \(X\) 中的任一元素 \(x\) 在 \(M\) 中存在唯一的最佳逼近元。

最佳逼近元存在性与唯一性的证明

1. 存在性： 令距离下确界 \(\alpha := \inf_{z \in M} \|x - z\|\)。由下确界的定义，存在点列 \(\{y_n\} \subset M\) 使得当 \(n \to \infty\) 时，\(\alpha \le \|x - y_n\| \le \alpha + \frac{1}{n}\)，即 \(\|x - y_n\| \to \alpha\)。

由于 \(M\) 是凸集，中点 \(\frac{y_n + y_m}{2} \in M\)。因此它到 \(x\) 的距离不会小于下确界 \(\alpha\)：

\[ \left\|x - \frac{y_n + y_m}{2}\right\| \ge \alpha \]

为了证明 \(\{y_n\}\) 是 Cauchy 列，我们对向量 \((x - y_n)\) 和 \((x - y_m)\) 应用平行四边形公式：

\[ \|(x - y_n) - (x - y_m)\|^2 + \|(x - y_n) + (x - y_m)\|^2 = 2\|x - y_n\|^2 + 2\|x - y_m\|^2 \]

整理得到：

\[ \|y_m - y_n\|^2 = 2\|x - y_n\|^2 + 2\|x - y_m\|^2 - 4\left\|x - \frac{y_n + y_m}{2}\right\|^2 \]

由于 \(\left\|x - \frac{y_n + y_m}{2}\right\| \ge \alpha\)，我们可以放缩减号后面的项：

\[ \|y_n - y_m\|^2 \le 2\|x - y_n\|^2 + 2\|x - y_m\|^2 - 4\alpha^2 \]

当 \(n, m \to \infty\) 时，\(\|x - y_n\| \to \alpha, \|x - y_m\| \to \alpha\)，上式右端趋近于 \(2\alpha^2 + 2\alpha^2 - 4\alpha^2 = 0\)。因此，\(\{y_n\}\) 是 \(M\) 中的基本点列（Cauchy 列）。由于 Hilbert 空间 \(X\) 是完备的，且 \(M\) 是闭集，故该序列必收敛于 \(M\) 中的某一点 \(y\)（即 \(y \in M\)）。再由范数的连续性：

\[ \|x - y\| = \lim_{n \to \infty} \|x - y_n\| = \alpha \]

这证明了存在性，即 \(y\) 就是最佳逼近元。

2. 唯一性： 设存在另一个最佳逼近元 \(y' \in M\)，满足 \(\|x - y'\| = \alpha\)。由于 \(M\) 是凸集，中点 \(\frac{y + y'}{2} \in M\)，故其到 \(x\) 的距离也大于等于 \(\alpha\)。再次使用平行四边形公式对 \((x - y)\) 和 \((x - y')\) 展开：

\[ \|y - y'\|^2 = 2\|x - y\|^2 + 2\|x - y'\|^2 - 4\left\|x - \frac{y + y'}{2}\right\|^2 \]

\[ \le 2\alpha^2 + 2\alpha^2 - 4\alpha^2 = 0 \]

这只能说明 \(\|y - y'\|^2 = 0\)，即 \(y = y'\)。最佳逼近元唯一。 \(\square\)