版权声明： 本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！

仓库源文，站点原文

title: 笔记 - 对称双线性度量空间与线性方程组 categories:

线性函数, 双线性函数, Euclidean 空间等

<!-- more -->

线性空间上的线性和双线性函数

顾名思义, 线性函数就是具有线性的函数, 双线性函数就是具有双重线性的函数

因为这两个概念有许多相通之处, 故选用如下方式展示

基本定义

{% tabs define-1-base,1 %}

<!-- tab 线性函数 -->

定义 线性函数

对映射 $f:V\to\mathbb{P}$, 满足 $(\forall\alpha,\beta\in V,k,l\in\mathbb{P}),~f(k\alpha+l\beta)=kf(\alpha)+lf(\beta)$

例如矩阵的迹 $\operatorname{tr}A$

<!-- endtab --> <!-- tab 双线性函数 -->

定义 双线性函数

对映射 $f:V\times V\to\mathbb{P}$, 满足

<!-- endtab -->

{% endtabs %}

表示向量/表示矩阵

{% tabs define-1-representation,1 %}

<!-- tab 线性函数 -->

定义 表示向量

令 $(\epsilon_0,\epsilon_1,\dots,\epsilon_n)$ 为 $V$ 的一组基, 称

$$ (f(\epsilon_1),f(\epsilon_2),...,f(\epsilon_n)) $$

为 $f$ 在 $(\epsilon_0,\epsilon_1,\dots,\epsilon_n)$ 下的表示向量

我们有如下定理

<a href="#end-t-1-1-1" id="t-1-1-1">定理 - 1-1-1</a>

$\eta:L(V,\mathbb{P})\to\mathbb{P}^n;~f\mapsto(f(\epsilon_1),f(\epsilon_2),...,f(\epsilon_n))$ 为双射

即所有线性函数的集合 $L(V,\mathbb{P})$ 与 $\mathbb{P}^n$ 同构

<a href="#t-1-1-1" id="end-t-1-1-1">$\Box$</a>

<!-- endtab --> <!-- tab 双线性函数 -->

定义 表示矩阵/度量矩阵

令 $(\epsilon_0,\epsilon_1,\dots,\epsilon_n)$ 为 $V$ 的一组基, 称

$$ (f(\epsilon_i,\epsilonj)){n\times n} $$

为 $f$ 在 $(\epsilon_0,\epsilon_1,\dots,\epsilon_n)$ 下的表示矩阵

我们有如下定理

<a href="#end-t-1-1-2" id="t-1-1-2">定理 - 1-1-2</a>

$\zeta:BL(V,\mathbb{P})\to\mathbb{P}^{n\times n};~f\mapsto(f(\epsilon_i,\epsilonj)){n\times n}$ 为双射

即所有双线性函数的集合 $BL(V,\mathbb{P})$ 与 $\mathbb{P}^{n\times n}$ 同构

<a href="#t-1-1-2" id="end-t-1-1-2">$\Box$</a>

<!-- endtab -->

{% endtabs %}

证明很简单, 读者可尝试自行补充

我们发现
$\forall\alpha=\displaystyle\sum_{i=1}^nx_i\epsilon_i=(\epsilon_0,\epsilon_1,\dots,\epsilonn)X,\beta=\sum{i=1}^ny_i\epsilon_i=(\epsilon_0,\epsilon_1,\dots,\epsilon_n)Y\in V$
都有

$$ f(\alpha,\beta)=X^TAY $$

这样就将双线性函数的计算转换成了矩阵乘法, 这个形式很重要

零元

类比线性空间中的零元, 我们可定义零线性函数/零双线性函数

{% tabs define-1-zero,1 %}

<!-- tab 线性函数 -->

定义 零线性函数

对于线性函数 $f$, 若 $(\forall\alpha\in V),~f(\alpha)=0$, 则称 $f$ 为零线性函数, 记作 $\bold{0}$

<!-- endtab --> <!-- tab 双线性函数 -->

定义 零双线性函数

对于双线性函数 $f$, 若 $(\forall\alpha,\beta\in V),~f(\alpha,\beta)=0$, 则称 $f$ 为零双线性函数, 记作 $\bold{0}$

<!-- endtab -->

{% endtabs %}

基底间的过渡

设 $(\epsilon_0,\epsilon_1,\dots,\epsilon_n)$ 和 $(\eta_0,\eta_1,\dots,\eta_n)$ 是 $V$ 的两组基底, 过渡矩阵 $T$ 使得

$$ (\eta_0,\eta_1,\dots,\eta_n)=(\epsilon_0,\epsilon_1,\dots,\epsilon_n)T $$

{% tabs define-1-trans,1 %}

<!-- tab 线性函数 -->

若线性函数 $f$ 在 $(\epsilon_0,\epsilon_1,\dots,\epsilon_n)$ 和 $(\eta_0,\eta_1,\dots,\eta_n)$ 下的表示向量分别为 $(a_1,a_2,\dots,a_n)$ 和 $(b_1,b_2,\dots,b_n)$, 则

$$ (b_1,b_2,\dots,b_n)=(a_1,a_2,\dots,a_n)T $$

因此 $T$ 非奇异

<!-- endtab --> <!-- tab 双线性函数 -->

若双线性函数 $f$ 在 $(\epsilon_0,\epsilon_1,\dots,\epsilon_n)$ 和 $(\eta_0,\eta_1,\dots,\eta_n)$ 下的表示矩阵分别为 $A$ 和 $B$, 则

$$ B=T^TAT $$

因此 $T$ 非奇异, 称 $\operatorname{rk}A$ 为 $f$ 的秩

<!-- endtab -->

{% endtabs %}

接下来我们定义一些特殊的双线性函数, 我们可以从这些函数具有的性质中感受到其与矩阵的密切关系

非奇异双线性函数

定义 非奇异双线性函数

称 $f$ 是非奇异的, 若

$$ (\forall\alpha\in V/{\theta},~\exists\beta\in V),~f(\alpha,\beta)\ne0 $$

<a href="#end-t-1-2" id="t-1-2">定理 - 1-2</a>

下列命题等价

  1. $f$ 是非奇异的
  2. $f$ 在 $V$任意基底下的度量矩阵是非奇异的
  3. $f$ 在 $V$某一基底下的度量矩阵是非奇异的
  4. $(\forall\alpha\in V/{\theta},~\exists\beta\in V),~f(\beta,\alpha)\ne0$ (对称性)
<a href="#t-1-2" id="p-t-1-2">证明</a>

$1\iff2:$

$$ \begin{aligned} (\forall\alpha\in V,~\forall\beta\in V,~f(\alpha,\beta)=0\implies\alpha=0)&\iff(\forall X\in\mathbb{P}^n,~\forall Y\in\mathbb{P}^n,~X^TAY=0\implies X=0)\ &\iff(\forall X\in\mathbb{P}^n,~X^TA=0\implies X=0) \end{aligned} $$

$2\iff3:$ 显然

$2\iff4:$ 参照 $1\iff2$

<a href="#p-t-1-2" id="end-t-1-2">$\Box$</a>

对称双线性函数

定义 对称双线性函数

称 $f$ 是对称的, 若

$$ (\forall\alpha,\beta\in V),~f(\alpha,\beta)=f(\beta,\alpha) $$

<a href="#end-t-1-3" id="t-1-3">定理 - 1-3</a>

下列命题等价

  1. $f$ 是对称的
  2. $f$ 在 $V$任意基底下的度量矩阵是对称的
  3. $f$ 在 $V$某一基底下的度量矩阵是对称的

证明参照 <a href="#t-1-2">定理 - 1-2</a>

<a href="#t-1-3" id="end-t-1-3">$\Box$</a>

斜对称双线性函数

定义 斜对称双线性函数

称 $f$ 是斜对称的, 若

$$ (\forall\alpha,\beta\in V),~f(\alpha,\beta)=-f(\beta,\alpha) $$

正定双线性函数

定义 正定双线性函数

称 $f$ 是正定的, 若

$$ (\forall\alpha\in V/{\theta}),~f(\alpha,\alpha)>0 $$

我们将在 Euclidean 空间 见到它

它有类似 <a href="#t-1-2">定理 - 1-2</a>, <a href="#t-1-3">定理 - 1-3</a> 的定理 (<a href="#t-3-4">定理 - 3-4</a>)

正交与正交基

定义 正交

对双线性函数 $f$, 称 $\alpha,\beta\in V$正交, 若 $f(\alpha,\beta)=0$

定义 正交基底

一组基底 $(\epsilon_0,\epsilon_1,\dots,\epsilon_n)$ 称作正交基底, 若 $(\forall 1\leqslant i,j\leqslant n,i\ne j), f(\epsilon_i,\epsilon_j)=0$

<a href="#end-t-1-4" id="t-1-4">定理 - 1-4</a>

对任意线性空间 $V$ 和其上的对称双线性函数 $f$, 正交基底总是存在
进而 $f$ 在该基底下的度量矩阵为对角矩阵, 对角线上的非零元素个数为 $f$ 的秩

<a href="#t-1-4" id="p-t-1-4">证明</a>

<a href="#p-t-1-4" id="end-t-1-4">$\Box$</a>

<a href="#end-ifr-1-4-1" id="ifr-1-4-1">推论 - 1-4-1</a>

另一种写法:

<a href="#ifr-1-4-1" id="p-ifr-1-4-1">证明</a>

若 $V$ 为 $\mathbb{R}$ 上一 $n$ 维线性空间, 则由 <a href="#t-1-4">定理 - 1-4</a> 可知,
存在正交基底 $(\epsilon_0,\epsilon_1,\dots,\epsilon_n)$, 使得 $f$ 的度量矩阵为 $\operatorname{diag}{d_1,d_2,\dots,dp,-d{p+1},-d{p+2},...,-d{r},0,...,0}$, 其中 $d_1,d_2,\dots,d_r>0,~0\leqslant p\leqslant r\leqslant n$

考虑 $f(\epsilon_i,\epsilon_i)=(-1)^{[i>p]}d_i,~1\leqslant i\leqslant r$

令 $\displaystyle\epsilon'_i={\epsilon_i\over\sqrt{d_i}}$, 则 $f(\epsilon'_i,\epsilon'_i)=(-1)^{[i>p]}$

容易验证 $(\epsilon'_0,\epsilon'_1,\dots,\epsilon'r,\epsilon{r+1},\epsilon{r+2},...,\epsilon{n})$ 为正交基底

故在正交基底 $(\epsilon'_0,\epsilon'_1,\dots,\epsilon'r,\epsilon{r+1},\epsilon{r+2},...,\epsilon{n})$ 下, $f$ 的度量矩阵为 $\operatorname{diag}{\underbrace{1,...,1}{p},\underbrace{-1,...,-1}{\operatorname{rk}f-p},0,...,0}$

我们可以注意到负号产生的原因是 $\sqrt{\phantom{-}}$ 要求被开方数非负, 而在 $\mathbb{C}$ 上没有这个限制, 故在 $\mathbb{C}$ 上即为 $\operatorname{diag}{\underbrace{1,...,1}_{\operatorname{rk}f},0,...,0}$

<a href="#p-ifr-1-4-1" id="end-ifr-1-4-1">$\Box$</a>

在后面还有进一步的讨论

习题

<a href="#end-prob-1-1" id="prob-1-1">习题 - 1-1</a>

令 $V$ 为 $\mathbb{P}$ 上一 $n$ 维线性空间, $f_1,f_2,\dots,f_k$ 为 $V$ 上 $k$ 个线性函数, 证明:

  1. $$ W={\alpha\in V|f_i(\alpha)=0}\leqslant V $$

    称 $W$ 为 $f_1,f_2,\dots,f_k$ 的零化子空间

  2. 若 $W\leqslant V$, 则存在 $V$ 上 $k$ 个线性函数 $f_1,f_2,\dots,f_k$ 使得 $W$ 为 $f_1,f_2,\dots,f_k$ 的零化子空间

<a href="#prob-1-1" id="p-prob-1-1">解</a>

  1. 首先, $\theta\in W$

    又, 若 $\alpha,\beta\in W$, 即 $f_i(\alpha)=f_i(\beta)=0,~i=1,2,...,k$

    则 $(\forall s,t\in\mathbb{P}),~f_i(s\alpha+t\beta)=sf_i(\alpha)+tf_i(\beta)=0,~i=1,2,...,k$

    因此 $W\leqslant V$ 1

<a href="#p-prob-1-1" id="end-prob-1-1">$\Box$</a>

<a href="#end-prob-1-2" id="prob-1-2">习题 - 1-2</a>

令 $V$ 是复线性空间, $\dim V\geqslant 2$, $f$ 为 $V$ 上一对称双线性函数, 证明:

  1. $$ (\exists\theta\ne\zeta\in V),~f(\zeta,\zeta)=0 $$

  2. 若 $f$ 非奇异, 则存在线性无关向量 $\zeta,\eta$ 使得

    $$ f(\zeta,\eta)=1,f(\zeta,\zeta)=f(\eta,\eta)=0 $$

<a href="#prob-1-2" id="p-prob-1-2">解</a>

  1. 由 $\dim V\geqslant2$ 可知, 存在 $\alpha,\beta\in V$ 使得 $\alpha,\beta$ 线性无关

    设 $f(\alpha,\alpha)=a,f(\beta,\beta)=b$

  2. 由 1 知, $(\exists\theta\ne\zeta\in V),~f(\zeta,\zeta)=0$

    取 $\zeta\ne\xi'\in V/{\theta}$, 由 $f$ 非奇异知 $f(\zeta,\xi')=b\ne0$

    令 $\xi=\displaystyle\frac{\xi'}{b}$

<a href="#p-prob-1-2" id="end-prob-1-2">$\Box$</a>

对称双线性度量空间与线性方程组可解的几何解释

说实话, 我挺讨厌这种万物都往方程组上靠的做法

对称双线性度量空间

就是有非奇异对称双线性函数的线性空间

特别的, 当 $\mathbb{P}=\mathbb{R}$ 时即称其为伪 Euclidean 空间

显然, 这个非奇异对称双线性函数是满秩的, 即

<a href="#end-prop-2-1" id="prop-2-1">命题 - 2-1</a>

$n$ 维对称双线性度量空间 $V$ 存在正交基底 $(\epsilon_0,\epsilon_1,\dots,\epsilon_n)$, 使得 $V$ 上的非奇异对称双线性函数 $f$ 有

<a href="#prop-2-1" id="end-prop-2-1">$\Box$</a>

正交补空间

在继续讨论线性方程组之前, 我们先引入正交补的概念

定义 正交补(空间)

对 $n$ 维对称双线性度量空间 $V=(V,+,\cdot,\mathbb{P},f)$ 和 $V_1\leqslant V$, 称

$$ {\alpha\in V|(\forall\beta\in V_1),~f(\alpha,\beta)=0} $$

为 $V_1$ 的正交补(空间), 记作 $V_1^\perp$

显然 $V_1^\perp\leqslant V$

由定义立得

<a href="#end-prop-2-2" id="prop-2-2">命题 - 2-2</a>

若令 $f$ 在基底 $(\epsilon_0,\epsilon_1,\dots,\epsilon_n)$ 下的表示矩阵为 $A$, $\beta_0,\beta_1,\dots,\beta_r$ 的坐标分别为 $B_1,B_2,\dots,B_r,~\alpha$ 的坐标为 $X$, 则上述方程组可表示为

$$ X^TA(B_1,B_2,\dots,B_r)=\theta $$

另外, $V_1^\perp$ 与上式的解空间 $S$ 同构

<a href="#prop-2-2" id="end-prop-2-2">$\Box$</a>

<a href="#end-t-2-1" id="t-2-1">定理 - 2-1</a>

若 $V$ 为 $n$ 维对称双线性度量空间, $V_1\leqslant V$, 则

  1. $\dim V_1+\dim V_1^\perp=\dim V$
  2. $(V_1^\perp)^\perp=V_1$
<a href="#t-2-1" id="p-t-2-1">证明</a>

当 $\dim V_1=0$ 时, 易知命题成立

当 $\dim V_1=r\geqslant1$ 时,

  1. 只需证 $\dim S=n-r$

    $S$ 即为 $(B_1,B_2,\dots,B_r)^TAX=\theta$ 的解空间 (等式两边取转置)

    令 $B=(B_1,B_2,\dots,B_r)^T$, 则 $\dim S=n-r\iff\operatorname{rk} BA=r$

    而 $\operatorname{rk}B=r$, 由 $A$ 可逆知 $\operatorname{rk}BA=\operatorname{rk}B=r$

    因此 $\dim S=n-r$

  2. 由 1 知, $\dim V_1^\perp=n-r,~\dim~(V_1^\perp)^\perp=r=\dim V_1$

    又 $V_1\subseteq(V_1^\perp)^\perp$

    故 $(V_1^\perp)^\perp=V_1$

<a href="#p-t-2-1" id="end-t-2-1">$\Box$</a>

<a href="#end-atten-2-1-1" id="atten-2-1-1">注意 - 2-1-1</a>

未必有 $V_1\cap V_1^\perp={\theta}$, 即未必有 $V=V_1\oplus V_1^\perp$

如在 $\mathbb{C}^2$ 上引入 $f((x_1,y_1),(x_2,y_2))=x_1x_2+y_1y_2$, 显然可构成对称双线性度量空间, 而取 $V_1=G[(1,i)]$, 显然 $V_1=V_1^\perp$

<a href="#atten-2-1-1" id="end-atten-2-1-1">$\Box$</a>

线性方程组可解的几何解释

进入正题

本节将在 $n$ 维对称双线性度量空间 $\mathbb{P}^n(E)$ 中讨论

$$ AX=\theta\tag{2.3.1} $$

和

$$ AX=B\tag{2.3.2} $$

其中 $\mathbb{P}^n(E)$ 表示 $\mathbb{P}^n$ 连同在自然基底下度量矩阵为 $E$ 的双线性函数 $f_E$ 所构成的对称双线性度量空间, 显然有

$$ f_E([a_1,a_2,\dots,a_n]^T,[b_1,b_2,\dots,bn]^T)=\sum{i=1}^na_ib_i $$

<a href="#end-t-2-2" id="t-2-2">定理 - 2-2</a>

非齐次线性方程组 $(2.3.2)$ 有解当且仅当 $B$ 与 $(2.3.3)$ 的解空间正交

<a href="#p-t-2-2" id="end-t-2-2">$\Box$</a>

习题

<a href="#end-prob-2-1" id="prob-2-1">习题 - 2-1</a>

令 $V$ 为 $\mathbb{P}$ 上一 $n$ 维线性空间, $V_1<V,\zeta\notin V_1$, $f$ 为 $V$ 上一对称双线性函数, 证明:

$$ (\exists0\ne\eta\in V_1+G[\zeta]),(\forall\alpha\in V_1),~f(\eta,\alpha)=0 $$

<a href="#prob-2-1" id="p-prob-2-1">解</a>

即证 $\theta\ne\eta\in(V_1+G[\zeta])\cap V_1^\perp$

设 $\dim V_1=r$, 则 $\dim(V_1+G[\zeta])=r+1,~\dim V_1^\perp=n-r$

故 $\dim((V_1+G[\zeta])\cap V_1^\perp)\ne0$

<a href="#p-prob-2-1" id="end-prob-2-1">$\Box$</a>

euclidean 空间

定义 Euclidean 空间

令 $V$ 为实线性空间, 若其上一对称双线性函数 $f$ 满足正定性, 则称 $V$ 连同 $f$ 构成Euclidean 空间

称 $f$ 为内积, 记作 $(~,~)$, $f(\alpha,\beta)$ 可简记为 $(\alpha,\beta)$

显然 Euclidean 空间是伪 Euclidean 空间

例 - 1

定义 $f$ 如下:

$$ f(g(x),h(x))=\int_a^bf(x)g(x)\mathrm{d}x $$

易证 $f$ 是内积, $C[a,b]$ 连同 $f$ 构成 Euclidean 空间

向量的长度与夹角 (度量)

Euclidean 空间有一个很好的性质, 就是我们可以在其上定义向量的长度, 夹角等在直观几何中的概念
这一点即使是在一般的伪 Euclidean 空间都是做不到的

定义 长度

令 $V$ 为一 Euclidean 空间, $\alpha\in V$, 称 $\sqrt{(\alpha,\alpha)}$ 为 $\alpha$ 的长度, 记作 $|\alpha|$

定义 单位向量

假设同上, 称 $\alpha$ 为单位向量, 若 $|\alpha|=1$

如果 $\alpha\ne\theta$, 则 $\displaystyle\frac{\alpha}{|\alpha|}:=\frac{1}{|\alpha|}\alpha$ 为单位向量

在定义夹角之前, 我们需要证明 $\displaystyle\frac{|(\alpha,\beta)|}{|\alpha||\beta|}\leqslant1$

在高中数学中, 这个形式等价于 $\displaystyle\left|\sum_{i=1}^na_ibi\right|\leqslant\sqrt{\sum{i=1}^nai^2}\sqrt{\sum{i=1}^nb_i^2}$, 这就是大名鼎鼎的 Cauchy 不等式

到了 Euclidean 空间, 我们自然也会考虑是否能将 Cauchy 不等式推广过来

很幸运, 这是可行的

<a href="#end-t-3-1" id="t-3-1">定理 - 3-1</a> (Cauchy-Bunjakovski-Schwarz 不等式)

令 $V$ 为一 Euclidean 空间, 则对其上任意非零向量 $\alpha,\beta$, 均有

$$ \frac{|(\alpha,\beta)|}{|\alpha||\beta|}\leqslant1 $$

等号成立当且仅当 $\alpha,\beta$ 线性相关

若写成 $|(\alpha,\beta)|\leqslant|\alpha||\beta|$, 则不需限制 $\alpha,\beta$ 非零

<a href="#t-3-1" id="p-t-3-1">证明</a>

考察 $\alpha-k\beta,~k\in\mathbb{R}$, 由内积的正定性可得

$$ k^2(\beta,\beta)-2k(\alpha,\beta)+(\alpha,\alpha)\leqslant0 $$

此式表明判别式非正, 即 $(\alpha,\beta)^2-(\alpha,\alpha)(\beta,\beta)\leqslant0$

亦即

$$ \frac{|(\alpha,\beta)|}{|\alpha||\beta|}\leqslant1 $$

当 $\alpha,\beta$ 线性相关时, 上式等号显然成立
反之, 若上式等号成立, 则 $(\exists t_0\in\mathbb{R}),~(\alpha-t_0\beta,\alpha-t_0\beta)=0$, 可得 $\alpha-t_0\beta=0$, 即 $\alpha,\beta$ 线性相关

<a href="#p-t-3-1" id="end-t-3-1">$\Box$</a>

Cauchy-Bunjakovski-Schwarz 不等式有两个著名的实例

接下来给出夹角的定义

定义 夹角

令 $V$ 为一 Euclidean 空间, $\alpha,\beta\in V/{\theta}$, 称 $\displaystyle\arccos\frac{(\alpha,\beta)}{|\alpha||\beta|}\in[0,\pi]$ 为 $\alpha$ 和 $\beta$ 的夹角, 记作 $\langle\alpha,\beta\rangle$

接下来我们可以尝试把我们熟知的, 与长度和角度相关的几何定理都推广到 Euclidean 空间了 (其实, 在 <a href="#ifr-3-2">推论 - 3-2</a> 的保障下, 我们可以更大胆些)

<a href="#end-t-3-2" id="t-3-2">定理 - 3-2</a>

令 $V$ 为一 Euclidean 空间, $\alpha,\beta\in V$, 则

  1. $|\alpha+\beta|\leqslant|\alpha|+|\beta|$ (三角不等式)
  2. $(\alpha,\beta)=0\implies|\alpha+\beta|^2=|\alpha|^2+|\beta|^2$ (勾股定理)

    可推广为

    $$ ((\forall1\leqslant i,j\leqslant m,i\ne j),~(\alpha_i,\alphaj)\ne0),~\left|\sum{i=1}^mai\right|^2=\sum{i=1}^m|\alpha_i|^2 $$

<a href="#t-3-2" id="p-t-3-2">证明</a>
  1. 由 <a href="#t-3-1">定理 - 3-1</a>, $$ |\alpha+\beta|^2=(\alpha,\alpha)+2(\alpha,\beta)+(\beta,\beta)\leqslant|\alpha|^2+2|\alpha||\beta|+|\beta|^2=(|\alpha|+|\beta|)^2 $$
  2. $$ |\alpha+\beta|^2=(\alpha,\alpha)+(\beta,\beta)=|\alpha|^2+|\beta|^2 $$

<a href="#p-t-3-2" id="end-t-3-2">$\Box$</a>

标准正交基底

简单来说, 就是满足其所有基向量都是单位向量的一组正交基底

定义 标准正交基底

称 $n$ 维 Euclidean 空间上的一组基 $(\epsilon_0,\epsilon_1,\dots,\epsilon_n)$ 是标准正交的, 若

容易验证, $n$ 维 Euclidean 空间存在标准正交基, 而且我们还可以将其上任意基底标准正交化

<a href="#end-t-3-3" id="t-3-3">定理 - 3-3</a> (标准正交化)

若 $(\alpha_0,\alpha_1,\dots,\alpha_n)$ 为 $n$ 维 Euclidean 空间上的一组基, 则其上存在标准正交基 $(\beta_0,\beta_1,\dots,\beta_n)$ 使得

$$ G[\alpha_0,\alpha_1,\dots,\alpha_i]=G[\beta_0,\beta_1,\dots,\beta_i],~i=1,2,...,n $$

<a href="#t-3-3" id="p-t-3-3">证明</a>

观察定理形式可知是用归纳法证的

该证法也是构造性的

因此我们可以找到一组正交基 $(\beta'_0,\beta'_1,\dots,\beta'_n)$ 满足

$$ G[\alpha_0,\alpha_1,\dots,\alpha_i]=G[\beta'_0,\beta'_1,\dots,\beta'_i],~i=1,2,...,n $$

上述过程即 Schmidt 正交化

又令 $\beta_i=\displaystyle\frac{1}{|\beta'_i|}\beta'_i,~i=1,2,...,n$, 命题即得证

<a href="#p-t-3-3" id="end-t-3-3">$\Box$</a>

应用 <a href="#t-3-3">定理 - 3-3</a> 的方法即可将任意基底标准正交化

此方法本质上还是矩阵乘法

<a href="#end-ifr-3-1" id="ifr-3-1">推论 - 3-1</a>

令 $(\epsilon_0,\epsilon_1,\dots,\epsilon_n)$ 为 $n$ 维 Euclidean 空间 $V$ 的一组标准正交基, 则

<a href="#ifr-3-1" id="end-ifr-3-1">$\Box$</a>

接下来是一个与内积证明和性质有关的定理

<a href="#end-t-3-4" id="t-3-4">定理 - 3-4</a>

令 $V$ 为 $n$ 维实线性空间, $f$ 是 $V$ 上一双线性函数, 则下列命题等价:

  1. $f$ 为 $V$ 上的内积
  2. $f$ 在 $V$ 的任意基底下的度量矩阵 $A$ 正定, 即存在可逆矩阵 $P$ 使得 $A=P^TP$
  3. $f$ 在 $V$ 的某一基底下的度量矩阵 $A$ 正定
<a href="#t-3-4" id="p-t-3-4">证明</a>

$1\implies2:$

可知 $V$ 连同 $f$ 构成 Euclidean 空间

故由 <a href="#ifr-3-1">推论 - 3-1</a> 可知, 存在标准正交基 $(\epsilon_0,\epsilon_1,\dots,\epsilon_n)$ 使得 $f$ 的度量矩阵为 $E$

任取 $V$ 上一组基底 $(\eta_0,\eta_1,\dots,\eta_n)=(\epsilon_0,\epsilon_1,\dots,\epsilon_n)Q$, 易知 $Q$ 可逆, 则 $f$ 在该基底下的度量矩阵 $A=Q^TEQ=Q^TQ$

$2\implies3:$ 显然

$3\implies1:$

不妨设该基底为 $(\eta_0,\eta_1,\dots,\eta_n)$

假设 $f$ 在该基底下的度量矩阵为 $A=Q^TQ=Q^TEQ$, 则 $E=(Q^{-1})^TAQ^{-1}$

故存在基底 $(\epsilon_0,\epsilon_1,\dots,\epsilon_n)=(\eta_0,\eta_1,\dots,\eta_n)Q^{-1}$ 使得 $f$ 的度量矩阵为 $E$

显然 $f$ 是对称正定双线性函数, 即 $f$ 为 $V$ 上的内积

<a href="#p-t-3-4" id="end-t-3-4">$\Box$</a>

Euclidean 空间的同构

定义 Euclidean 空间同构映射

令 $V,V'$ 为两个 Euclidean 空间, 称 $V$ 到 $V'$ 的同构映射 $f$ 是 $V$ 到 $V'$ 的Euclidean 空间同构映射, 若

$$ (\forall\alpha,\beta\in V),~(f(\alpha),f(\beta))=(\alpha,\beta) $$

此时, 称 $V$ 与 $V'$ 是同构的

显然这个同构也是等价关系

<a href="#end-t-3-5" id="t-3-5">定理 - 3-5</a>

两有限维 Euclidean 空间 $V,V'$ 同构当且仅当 $\dim V=\dim V'$

<a href="#t-3-5" id="p-t-3-5">证明</a>

$\implies$: 显然

$\impliedby$:

只需证 $n$ 维 Euclidean 空间 $V$ 同构于 $\mathbb{R}^n$

令 $(\epsilon_0,\epsilon_1,\dots,\epsilon_n)$ 为 $V$ 的一组标准正交基, 建立映射

$$ f_{{\epsiloni}{i=1}^n}:\alpha\mapsto(x_1,x_2,\dots,xn)^T\in\mathbb{R}^n,~\alpha=\sum{i=1}^nx_i\epsilon_i\in V $$

易知 $f_{{\epsiloni}{i=1}^n}$ 是 $V$ 到 $\mathbb{R}^n$ 的线性同构映射

任取 $\alpha=\sum_{i=1}^nx_i\epsiloni,\beta=\sum{i=1}^ny_i\epsilon_i$, 均有

$$ \begin{aligned} (\alpha,\beta)&=\sum_{i=1}^nx_iy_i\ &=((x_1,x_2,\dots,x_n)^T,(y_1,y_2,\dots,yn)^T)\ &=(f{{\epsiloni}{i=1}^n}(\alpha),f_{{\epsiloni}{i=1}^n}(\beta)) \end{aligned} $$

<a href="#p-t-3-5" id="end-t-3-5">$\Box$</a>

基于这个定理, 我们有一个重要且有用的推论

<a href="#end-ifr-3-2" id="ifr-3-2">推论 - 3-2</a>

在 Euclidean 空间中, 所有关于两个或三个向量的命题均可在三维直观几何空间验证

<a href="#ifr-3-2" id="p-ifr-3-2">证明</a>

在 Euclidean 空间中, 两个或三个向量可生成维数不超过 3 的 Euclidean 空间, 由 <a href="#t-3-5">定理 - 3-5</a> 可知其与三维直观几何空间或其子空间同构

而 Euclidean 空间中的命题均可只用空间说的加法, 实数乘和内积描述, 因此只需在三维直观几何空间中验证就行

<a href="#p-ifr-3-2" id="end-ifr-3-2">$\Box$</a>

在本章的最后, 我们另给出一组定理

<a href="#end-t-3-6" id="t-3-6">定理 - 3-6</a>

令 $V$ 为一 $n$ 维 Euclidean 空间, $\alpha_0,\alpha_1,\dots,\alpha_m\in V$, 则有如下平行的事实

  1. 若 $\alpha_i\ne\theta,~(\alpha_i,\alpha_j)=0,~i,j=1,2,...,m,~i\ne j$, 则 $m\leqslant n$
  2. 若 $(\alpha_i,\alpha_j)<0,~i,j=1,2,...,m,~i\ne j$, 则 $m\leqslant n+1$
  3. 若 $(\alpha_i,\alpha_j)>0,~i,j=1,2,...,m,~i\ne j$, 则不存在映射 $f:\mathbb{Z}^+\to\mathbb{Z}^+$ 满足 $m\leqslant f(n)$

又在线性相关的角度, 我们可以注意到更深刻的事实

  1. 条件蕴含 $\alpha_0,\alpha_1,\dots,\alpha_m$ 线性无关
  2. 条件蕴含 $\alpha_0,\alpha_1,\dots,\alpha_m$ 的任意真子组线性无关
<a href="#t-3-6" id="p-t-3-6">证明</a>

  1. 设 $\exists ki\in\mathbb{R},~i=1,2,...,m,~s.t.~\displaystyle\sum{i=1}^mk_i\alpha_i=\theta$

    则

    $$ k_j(\alpha_j,\alpha_j)=-(\alphaj,\sum{i=1,~i\ne j}^mk_i\alpha_i)=0,~j=1,2,...,m $$

    而 $(\alpha_j,\alpha_j)>0$, 故 $k_j=0,~j=1,2,...,m$

    因此 $\alpha_0,\alpha_1,\dots,\alpha_m$ 线性无关

    因此 $m\leqslant n$

  2. 不妨设 $m=n+2$

    则

    $$ \exists ki\in\mathbb{R},~i=1,2,...,n+1,\sum{i=1}^{n+1}ki^2\ne0,~s.t.~\sum{i=1}^{n+1}k_i\alpha_i=\theta $$

    此时 $(\alpha{n+2},\sum{i=1}^{n+1}k_i\alpha_i)=0$

    此式说明 $k_0,k1,\dots,k{n+1}$ 中有正有负, 不妨设

    $$ k_i>0,k_j<0,~i=1,2,...,s,~j=s+1,s+2,...,t,~1\leqslant s<t\leqslant n+1 $$

    则 $\sum_{i=1}^sk_i\alphai=-\sum{i=s+1}^tk_i\alpha_i$

    而

    $$ (\sum_{i=1}^sk_i\alphai,-\sum{i=s+1}^tk_i\alphai)=-\sum{i=1}^s\sum_{j=s+1}^t(k_i\alpha_i,k_j\alpha_j)<0 $$

    这与点积的正定性矛盾, 故 $m\leqslant n+1$

    类似地, 我们可证明 $\alpha_0,\alpha_1,\dots,\alpha_m$ 的任意真子组线性无关

    只需证 $\alpha_0,\alpha1,\dots,\alpha{m-1}$ 线性无关

    设 $\exists ki\in\mathbb{R},~i=1,2,...,m-1,~s.t.~\displaystyle\sum{i=1}^{m-1}k_i\alpha_i=\theta$

    此时 $(\alpham,\sum{i=1}^{m-1}k_i\alpha_i)=0$

    此式说明要么 $k_0,k1,\dots,k{m-1}$ 中有正有负, 要么 $k_0,k1,\dots,k{m-1}$ 均为 $0$

  3. 由条件知 $\alpha_i\ne\theta,i=1,2,...,m$

    假设 $f$ 存在

    因此 $D(f)=\varnothing$, $f$ 不存在

<a href="#p-t-3-6" id="end-t-3-6">$\Box$</a>

习题

<a href="#end-prob-3-1" id="prob-3-1">习题 - 3-1</a>

令 $V$ 为一 $n$ 维 Euclidean 空间, $\alpha$ 为 $V$ 中一向量, 证明:

  1. $f(\beta)=(\beta,\alpha)$ 定义 $V$ 上一线性函数
  2. 若 $g(\eta):=(\eta,\beta),~\beta\ne\alpha$, 则 $f\ne g$
  3. 对于 $V$ 上任一线性函数 $f$, 都存在向量 $\alpha$, 使得 $f$ 可由 $f(\eta)=(\eta,\alpha)$ 定义
<a href="#prob-3-1" id="p-prob-3-1">解</a>
  1. 显然
  2. 若 $f=g$, 则 $(f-g)(\alpha-\beta)=(\alpha-\beta,\alpha-\beta)=0$, 矛盾

  3. 任取 $V$ 上一组基 $\epsilon_0,\epsilon_1,\dots,\epsilon_n$, 设 $f(\epsilon_i)=t_i,~i=1,2,...,n$

    考虑方程组

    $$ \begin{bmatrix} (\epsilon_1,\epsilon_1)&(\epsilon_1,\epsilon_2)&...&(\epsilon_1,\epsilon_n)\ (\epsilon_2,\epsilon_1)&(\epsilon_2,\epsilon_2)&...&(\epsilon_2,\epsilon_n)\ \vdots&\vdots&\ddots&\vdots\ (\epsilon_n,\epsilon_1)&(\epsilon_n,\epsilon_2)&...&(\epsilon_n,\epsilon_n)\ \end{bmatrix}\begin{bmatrix} k_1\k_2\\vdots\k_n \end{bmatrix}=\begin{bmatrix} t_1\t_2\\vdots\t_n \end{bmatrix} $$

    由 $((\epsilon_i,\epsilonj)){n\times n}$ 的正定性可知方程组有唯一解, 令 $\alpha=\displaystyle\sum_{i=1}^nk_i\epsilon_i$

    则 $(\epsilon_i,\alpha)=t_i=f(\epsilon_i)$

    从而 $(\forall\eta\in V),~f(\eta)=(\eta,\alpha)$

<a href="#p-prob-3-1" id="end-prob-3-1">$\Box$</a>

向量到子空间的距离与线性方程组的最小二乘法

若无明确说明, 本章内容均在有限维 Euclidean 空间内进行讨论

向量在子空间的正射影

我们在 <a href="#t-2-1">定理 - 2-1</a> 得知 $\dim V_1+\dim V_1^\perp=\dim V$, 而如果 $V$ 是 $n$ 维 Euclidean 空间, 我们有更进一步的结论

<a href="#end-t-4-1" id="t-4-1">定理 - 4-1</a>

令 $V$ 为一 $n$ 维 Euclidean 空间, 则 $\forall V_1\leqslant V$, 均有

$$ V=V_1\oplus V_1^\perp $$

<a href="#t-4-1" id="p-t-4-1">证明</a>

设 $\alpha\in V_1\cap V_1^\perp$, 则 $(\alpha,\alpha)=0$, 由内积的正定性可得 $\alpha=\theta$, 因此 $V_1\cap V_1^\perp={\theta}$

又 $V_1+V_1^\perp\subseteq V$, $\dim V_1+\dim V_1^\perp=\dim V$

因此 $V=V_1\oplus V_1^\perp$

<a href="#p-t-4-1" id="end-t-4-1">$\Box$</a>

有了这个定理, 我们就可在 Euclidean 空间定义正射影了

定义 正射影

令 $V$ 为一 $n$ 维 Euclidean 空间, $V_1\leqslant V$, 则 $\forall\alpha\in V_1,~\alpha$ 均有唯一分解

$$ \alpha=\alpha_1+\alpha_2,~\alpha_1\in V_1,\alpha_2\in V_1^\perp $$

称 $\alpha_1$ 为 $\alpha$ 在 $V_1$ 上的正射影

向量到子空间的距离

定义 向量间距离

令 $V$ 为一 $n$ 维 Euclidean 空间, $\alpha,\beta\in V$, 称 $d(\alpha,\beta):=|\alpha-\beta|$ 为 $\alpha$ 与 $\beta$ 的距离

类似在直观几何空间中的距离, Euclidean 空间中的距离也有如下性质

在三维直观几何空间中, 一点到一平面的最短距离即是该点到垂足的连线, 在 Euclidean 空间中表现为

<a href="#end-t-4-2" id="t-4-2">定理 - 4-2</a>

令 $V$ 为一 $n$ 维 Euclidean 空间, $V_1\leqslant V,\alpha\in V$, $\alpha_1\in V_1$ 为 $\alpha$ 在 $V_1$ 上的正射影, 则

$$ (\forall\beta\in V_1,\beta\ne\alpha_1),~d(\alpha,\alpha_1)<d(\alpha,\beta) $$

<a href="#t-4-2" id="p-t-4-2">证明</a>

$\alpha-\beta=(\alpha-\alpha_1)+(\alpha_1-\beta),~\alpha_1-\beta\in V_1,\alpha-\alpha_1\in V_1^\perp$
故 $|\alpha-\beta|^2=|\alpha-\alpha_1|^2+|\alpha_1-\beta|^2$

由 $|\alpha_1-\beta|^2>0$ 可知 $|\alpha-\beta|^2>|\alpha-\alpha_1|^2$

因此 $d(\alpha,\alpha_1)<d(\alpha,\beta)$

<a href="#p-t-4-2" id="end-t-4-2">$\Box$</a>

因此, 我们可在 Euclidean 空间下定义向量到子空间的距离

定义 向量到子空间的距离

假设如 <a href="#t-4-2">定理 - 4-2</a>, 称 $d(\alpha,\alpha_1)$ 为 $\alpha$ 到 $V_1$ 的距离

我们要求向量到子空间的距离, 只需要求向量到正射影的距离即可

接下来将会给出正射影的求法

首先我们需要定义一个特殊矩阵

定义 Gram 矩阵

令 $V$ 为一 $n$ 维 Euclidean 空间, $\alpha_0,\alpha_1,\dots,\alpha_m\in V$, 称

$$ ((\alpha_i,\alphaj)){m\times m} $$

为 $\alpha_0,\alpha_1,\dots,\alpha_m$ 的Gram 矩阵, 记作 $G(\alpha_0,\alpha_1,\dots,\alpha_m)$

接下来我们就可以给出做法了

<a href="#end-t-4-3" id="t-4-3">定理 - 4-3</a>

令 $V$ 为一 $n$ 维 Euclidean 空间, $V_1=G[\alpha_0,\alpha_1,\dots,\alpha_m]\leqslant V$, $\alpha\in V$, $X=(x_1,x_2,\dots,x_m)^T\in\mathbb{R}^m$

则

$$ \gamma=(\alpha_0,\alpha_1,\dots,\alpham)X=\sum{i=1}^mx_i\alpha_i\tag{4-3.1} $$

为 $\alpha$ 在 $V_1$ 上的正射影当且仅当

$$ G(\alpha_0,\alpha_1,\dots,\alpha_m)X=((\alpha,\alpha_0),(\alpha,\alpha_1),\dots,(\alpha,\alpha_m))^T\tag{4-3.2} $$

<a href="#t-4-3" id="p-t-4-3">证明</a>

显然 $\alpha$ 的正射影 $\gamma$ 一定存在, 则

$$ \begin{aligned} (\text{4-3.1})&\iff \left(\alpha-\sum_{i=1}^mx_i\alpha_i\right)\in V_1^\perp\ &\iff 0=(\alphaj,\alpha-\sum{i=1}^mx_i\alpha_i)=(\alpha,\alphaj)-\sum{i=1}^mx_i(\alpha_j,\alpha_i),~j=1,2,...,m\ &\iff G(\alpha_0,\alpha_1,\dots,\alpha_m)X=((\alpha,\alpha_0),(\alpha,\alpha_1),\dots,(\alpha,\alpha_m))^T \end{aligned} $$

<a href="#p-t-4-3" id="end-t-4-3">$\Box$</a>

这里补充一点, <a href="#t-4-3">定理 - 4-3</a> 条件里并未限制 $\alpha_0,\alpha_1,\dots,\alpha_m$ 线性无关

最小二乘法

这是个很有用的理论, 不过放到这有点突兀, 姑且当作前面内容的应用吧

在实际应用中, 线性方程组 $AX=B,~A\in\mathbb{R}^{m\times n}$ 由于测量精度等原因往往无解, 即

$$ \sum_{i=1}^n(b1-\sum{j=1}^na_{ij}x_j)^2\ne0\tag{4.1} $$

此时, 我们则需要寻找一组实数 $x_1,x_2,\dots,x_n$ 使得式 $(4.1)$ 左端的值最小
这样的 $x_1,x_2,\dots,x_n$ 即为 $AX=B$ 的最小二乘解

下面我们将在 $m$ 维 Euclidean 空间讨论该问题

将 $A$ 按列分块, $A=(\alpha_0,\alpha_1,\dots,\alpha_n),~\alpha_i\in\mathbb{R}^m,i=1,2,...,n$

有

$$ AX=\sum_{i=1}^nx_i\alpha_i\in G[\alpha_0,\alpha_1,\dots,\alpha_n]\leqslant\mathbb{R}^m $$

而式 $(4.1)$ 左端用内积的语言描述即为

$$ (B-\sum_{i=1}^nx_i\alphai,B-\sum{i=1}^nx_i\alphai)=|B-\sum{i=1}^nx_i\alpha_i|^2\tag{4.2} $$

要使式 $(4.2)$ 的值最小, 只需 $d(B,\sum_{i=1}^nx_i\alpha_i)$ 最小

此时取的 $x_1,x_2,\dots,xn$ 即要使 $\sum{i=1}^nx_i\alpha_i$ 为 $B$ 在 $G[\alpha_0,\alpha_1,\dots,\alpha_n]$ 的正射影

这样的 $x_1,x_2,\dots,x_n$ 是且仅是

$$ G(\alpha_0,\alpha_1,\dots,\alpha_n)X=((B,\alpha_0),(B,\alpha_1),\dots,(B,\alpha_n))^T\tag{4.3} $$

的解

又

$$ G(\alpha_0,\alpha_1,\dots,\alpha_n)=A^TA $$

$$ ((B,\alpha_0),(B,\alpha_1),\dots,(B,\alpha_n))^T=A^TB $$

因此式 $(4.3)$ 即为

$$ A^TAX=A^TB\tag{4.4} $$

由正射影的存在性可知该方程一定可解, 其解为 $X=(A^TA)^{-1}A^TB$

$(4.4)$ 的可解性也可通过 $\operatorname{rk}(A^TA)=\operatorname{rk}((A^TA,A^TB))$ 推得
(注意到 $\forall A\in\mathbb{R}^{m\times n},AX=0$ 与 $A^TAX=0$ 同解)

习题

<a href="#end-prob-4-1" id="prob-4-1">习题 - 4-1</a>

令 $V$ 为一 $n$ 维 Euclidean 空间, $\alpha_0,\alpha_1,\dots,\alpha_m\in V$, 证明:
$\alpha_0,\alpha_1,\dots,\alpha_m$ 线性无关当且仅当 $|G(\alpha_0,\alpha_1,\dots,\alpha_m)|\ne0$

<a href="#prob-4-1" id="p-prob-4-1">解</a>

<a href="#p-prob-4-1" id="end-prob-4-1">$\Box$</a>

参考资料