一、投影和投影矩阵

我们以下面两个问题开始，问题一是为了展示投影是很容易视觉化的，问题二是关于 “投影矩阵”（projection matrices）—— 对称矩阵且 $P^2=P$。 $\mathbf{b}$ 的投影是 $P\mathbf{b}$。

1. $\mathbf{b}=(2,3,4)$ 在 $z$ 轴和 $xy$ 平面的投影是什么？
2. 什么样的矩阵 $P_1$ 和 $P_2$ 可以产生这条直线和平面上的投影？
   当 $\mathbf{b}$ 投影到一条直线上时，它的投影 $\mathbf{p}$ 是沿着这条直线的一部分。如果 $\mathbf{b}$ 投影到一个平面，$\mathbf{p}$ 是这条平面的一部分。投影 $\mathbf{p}$ 就是 $P\mathbf{b}$。
   投影矩阵 $P$ 乘 $\mathbf{b}$ 得到 $\mathbf{p}$。这一节就是找到 $\mathbf{p}$ 和 $P$。

我们将 $z$ 轴上的投影称为 ${\mathbf{p}}_1$。第二个投影是垂直下降到 $xy$ 平面的，图像如 Figure 4.5 所示。从 $\mathbf{b}=(2,3,4)$ 开始，横向的投影 ${\mathbf{p}}_1=(0,0,4)$，竖直的投影 ${\mathbf{p}}_2=(2,3,0)$，它们分别是 $\mathbf{b}$ 沿着 $z$ 轴和在 $xy$ 平面的部分。

投影矩阵 $P_1$ 和 $P_2$ 都是 $3\times 3$ 的矩阵，它们乘上 $\mathbf{b}$ 的 $3$ 个分量可以得到投影 $\mathbf{p}$（也有 $3$ 个分量）。投影到一条直线上的矩阵是秩一矩阵，投影到一个平面上的矩阵是秩二矩阵：$$投影矩阵到z轴P_1=\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 1\end{array}\right]到xy平面P_2=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right]$$$P_1$ 筛选出每个向量的 $z$ 轴分量，$P_2$ 筛选出 $x$ 和 $y$ 分量。为了求出 $\mathbf{b}$ 的投影 ${\mathbf{p}}_1$ 和 ${\mathbf{p}}_2$，将 $P_2$ 和 $P_2$ 分别乘上 $\mathbf{b}$（小写的 $\mathbf{p}$ 是向量，大写的 $P$ 是产生投影向量的矩阵）：$${\mathbf{p}}_1=P_1\mathbf{b}=\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ z\end{array}\right]{\mathbf{p}}_2=P_2\mathbf{b}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}x\\ y\\ 0\end{array}\right]$$这种情况下的投影 ${\mathbf{p}}_1$ 和 ${\mathbf{p}}_2$ 是垂直的，$xy$ 平面和 $z$ 轴是正交子空间，就像房间的地板和两面墙的交线一样。
它们不仅仅是正交的子空间，这条直线和平面嗨还是正交补，它们的维度相加是 $1+2=3$。整个空间的任意向量 $\mathbf{b}$ 都是这两个子空间部分的和，投影 ${\mathbf{p}}_1$ 和 ${\mathbf{p}}_2$ 就是 $\mathbf{b}$ 的这两个部分：$$向量得到{\mathbf{p}}_1+{\mathbf{p}}_2=\mathbf{b}矩阵得到P_1+P_2=I(\mathrm{4.2.1})$$这很完美，对于这个例子，我们的目标达到了。对于任意直线、任意平面和任意的 $n$ 维子空间，我们有相同的目标，就是寻找在每个子空间的部分 $\mathbf{p}$，还有可以得到这个 $\mathbf{p}$ 的矩阵 $P$，即 $\mathbf{p}=P\mathbf{b}$。${\text{R}}^m$ 的每个子空间都有自己的 $m\times m$ 投影矩阵。为了计算 $P$，我们需要一个好的可以描述投影到的目标子空间。
子空间的最好的描述就是基，将基向量放到 $A$ 的列，现在我们投影到 $A$ 的列空间！$z$ 轴就是 $3\times 1$ 矩阵 $A_1$ 的列空间，$xy$ 平面就是 $A_2$ 的列空间，这个平面同样也是 $A_3$ 的列空间（一个子空间有很多组基），所以 ${\mathbf{p}}_2={\mathbf{p}}_3$，$P_2=P_3$。$$A_1=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right],A_2=\left[\begin{array}{cc}1& 0\\ 0& 1\\ 0& 0\end{array}\right],A_3=\left[\begin{array}{cc}1& 2\\ 2& 3\\ 0& 0\end{array}\right]$$我们的问题是把任意的 $\mathbf{b}$ 投影到任意的 $m\times n$ 矩阵的列空间中。从一条直线开始（维度为 $n=1$）。矩阵 $A$ 只有一列，称为 $\mathbf{a}$。

二、投影到一条直线

一条过原点的直线方向是 $\mathbf{a}=(a_1,a_2,\cdots ,a_m)$，我们要找到沿着这条直线的一点 $\mathbf{p}$，它离 $\mathbf{b}=(b_1,b_2,\cdots ,b_m)$ 最近。投影的关键是正交：从 $\mathbf{b}$ 到 $\mathbf{p}$ 的直线与向量 $\mathbf{a}$ 垂直，就是 Figure 4.6左侧标识 $\mathbf{e}=\mathbf{b}-\mathbf{p}$ 的点线，它代表误差。现在我们使用代数计算 $\mathbf{p}$。

投影 $\mathbf{p}$ 会是 $\mathbf{a}$ 的某个倍数，记为 $\mathbf{p}=\hat{x}\mathbf{a}$ 读作 “$x\text{hat}$” 乘 $\mathbf{a}$。通过计算 $\hat{x}$ 我们可以得到向量 $\mathbf{p}$，然后根据 $\mathbf{p}$ 的公式可以得到投影矩阵 $P$。这三步可以求出所有的投影矩阵：求 $\hat{x}$；然后求向量 $\mathbf{p}$；再求出矩阵 $P$。
点线 $\mathbf{b}-\mathbf{p}$ 就是“误差” $\mathbf{e}=\mathbf{b}-\hat{x}\mathbf{a}$，它与向量 $\mathbf{a}$ 垂直，由这个条件我们就可以求出 $\hat{x}$。由于 $\mathbf{b}-\hat{x}\mathbf{a}$ 和向量 $\mathbf{a}$ 垂直，所以它们的点积为零：

$$\begin{array}{c}\mathbf{b}投影到\mathbf{a}上，误差\mathbf{e}=\mathbf{b}-\hat{x}\mathbf{a}\\ \mathbf{a}\cdot (\mathbf{b}-\hat{x}\mathbf{a})=0或\mathbf{a}\cdot \mathbf{b}-\hat{x}\mathbf{a}\cdot \mathbf{a}=0\end{array}\begin{array}{c}\hat{x}=\frac{\mathbf{a}\cdot \mathbf{b}}{\mathbf{a}\cdot \mathbf{a}}=\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}}\end{array}(\mathrm{4.2.2})$$

乘法 ${\mathbf{a}}^T\mathbf{b}$ 和 $\mathbf{a}\cdot \mathbf{b}$ 是一样的，转置的表示方法会更好些，因为它也可以应用在矩阵上。由公式 $\hat{x}=\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}}$ 可以得到投影 $\mathbf{p}=\hat{x}\mathbf{a}$。

$$\begin{gathered} 向量\mathbf{b}在通过\mathbf{a}的直线上的投影是向量\mathbf{p}=\hat{x}\mathbf{a}=\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}}\mathbf{a} \\ 特殊情况1：如果\mathbf{b}=\mathbf{a}，则\hat{x}=1。\mathbf{a}投影到\mathbf{a}是它自己。P\mathbf{a}=\mathbf{a}。 \\ 特殊情况2：如果\mathbf{b}垂直于\mathbf{a}，则{\mathbf{a}}^T\mathbf{b}=0。投影\mathbf{p}=0. \end{gathered}$$

【例1】将 $\mathbf{b}=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$ 投影在 $\mathbf{a}=\left[\begin{array}{c}1\\ 2\\ 2\end{array}\right]$ 上，求出 Figure 4.6 中的 $\mathbf{p}=\hat{x}\mathbf{a}$。
解： 数字 $\hat{x}$ 是 ${\mathbf{a}}^T\mathbf{b}=5$ 和 ${\mathbf{a}}^T\mathbf{a}=9$ 的比值，所以投影 $\mathbf{p}=\frac{5}{9}\mathbf{a}$。
$\mathbf{b}$ 和 $\mathbf{p}$ 之间的误差向量是 $\mathbf{e}=\mathbf{b}-\mathbf{p}$，向量 $\mathbf{p}$ 和 $\mathbf{e}$ 相加可以得到 $\mathbf{b}=(1,1,1)$：$$\mathbf{p}=\frac{5}{9}\mathbf{a}=\left(\frac{5}{9},\frac{10}{9},\frac{10}{9}\right)\mathbf{e}=\mathbf{b}-\mathbf{p}=\left(\frac{4}{9},-\frac{1}{9},-\frac{1}{9}\right)$$误差 $\mathbf{e}$ 垂直于 $\mathbf{a}=(1,2,2)$：${\mathbf{e}}^T\mathbf{a}=\frac{4}{9}-\frac{2}{9}-\frac{2}{9}=0$。
直角三角形 $\mathbf{b}，\mathbf{p}$ 和 $\mathbf{e}$，向量 $\mathbf{b}$ 分成两部分 —— 沿着直线的分量是 $\mathbf{p}$，与直线垂直的部分是 $\mathbf{e}$。这两条边 $\mathbf{p}$ 和 $\mathbf{e}$ 的长度是 $||\mathbf{p}||=||\mathbf{b}||\cos \theta$，$||\mathbf{e}||=||\mathbf{b}||\sin \theta$。与三角学的点积相匹配：$$\mathbf{p}=\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}}\mathbf{a}的长度||\mathbf{p}||=\frac{||\mathbf{a}||||\mathbf{b}||\cos \theta }{||\mathbf{a}|{|}^2}||\mathbf{a}||=||\mathbf{b}||\cos \theta (\mathrm{4.2.3})$$点积比上述带有 $\cos \theta$ 和 $\mathbf{b}$ 长度的形式更简洁，本例中会在 $\cos \theta =\frac{5}{3\sqrt{3}}$ 与 $||\mathbf{b}||=\sqrt{3}$ 出现平方根，而投影 $\mathbf{p}=\frac{5}{9}\mathbf{a}$ 没有平方根出现。通过 $\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}}$ 得到 $\frac{5}{9}$ 是比较好的一种方法。
现在来看投影矩阵，在 $\mathbf{p}$ 的公式中，是哪个矩阵乘 $\mathbf{b}$ 呢？如果将 $\hat{x}$ 放在 $\mathbf{a}$ 的右侧，那么就很容易看出这个矩阵：

$$投影矩阵P当矩阵P=\frac{\mathbf{a}{\mathbf{a}}^T}{{\mathbf{a}}^T\mathbf{a}}时，p=\mathbf{a}\hat{x}=\mathbf{a}\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}}=P\mathbf{b}$$

$P$ 是一列乘一行！列是 $\mathbf{a}$，行是 ${\mathbf{a}}^T$，除以数字 ${\mathbf{a}}^T\mathbf{a}$。投影矩阵 $P$ 是一个 $m\times m$ 的秩一矩阵，我们对一维子空间做投影，这条直线通过 $\mathbf{a}$，它是 $P$ 的列空间。

【例2】求投影在通过 $\mathbf{a}=\left[\begin{array}{c}1\\ 2\\ 2\end{array}\right]$ 的直线上的投影矩阵 $P=\frac{\mathbf{a}{\mathbf{a}}^T}{{\mathbf{a}}^T\mathbf{a}}$。
解： 列 $\mathbf{a}$ 乘行 ${\mathbf{a}}^T$ 再除以 ${\mathbf{a}}^T\mathbf{a}=9$：$$投影矩阵P=\frac{\mathbf{a}{\mathbf{a}}^T}{{\mathbf{a}}^T\mathbf{a}}=\frac{1}{9}\left[\begin{array}{c}1\\ 2\\ 2\end{array}\right]\left[\begin{array}{ccc}1& 2& 2\end{array}\right]=\frac{1}{9}\left[\begin{array}{ccc}1& 2& 2\\ 2& 4& 4\\ 2& 4& 4\end{array}\right]$$这个矩阵可以将任意向量 $\mathbf{b}$ 投影到 $\mathbf{a}$，验证例1中 $\mathbf{p}=P\mathbf{b}$，其中 $\mathbf{b}=(1,1,1)$：$$\mathbf{p}=P\mathbf{b}=\frac{1}{9}\left[\begin{array}{ccc}1& 2& 2\\ 2& 4& 4\\ 2& 4& 4\end{array}\right]\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]=\frac{1}{9}\left[\begin{array}{c}5\\ 10\\ 10\end{array}\right]正确$$如果向量 $\mathbf{a}$ 加倍，矩阵 $P$ 不变！它仍然是投影在相同的直线上。如果矩阵平方，$P^2=P$。投影两次不会改变任何东西，所以 $P^2=P$。对角元素的和 $\frac{1}{9}(1+4+4)=1$。
矩阵 $I-P$ 也是投影矩阵，它可以得到三角形的另一边 $\mathbf{e}$，即 $\mathbf{b}$ 的垂直部分。注意 $(I-P)\mathbf{b}=\mathbf{b}-\mathbf{p}$ 就是左零空间中的 $\mathbf{e}$。
当 $P$ 投影到一个子空间，$I-P$ 会投影到垂直的子空间中。这里 $I-P$ 投影到垂直于 $\mathbf{a}$ 的平面。

三、投影到一个子空间

下面我们将视角从一维移开，看一下投影在一个 $n$ 维子空间的情况。
${\text{R}}^m$ 中有 $n$ 个向量 ${\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_n$，假设这些向量都是线性无关的。
$$问题：找到离给定向量\mathbf{b}最近的组合\mathbf{p}={\hat{x}}_1{\mathbf{a}}_1+{\hat{x}}_2{\mathbf{a}}_2+\cdots +{\hat{x}}_n{\mathbf{a}}_n。$$ 我们要将 ${\text{R}}^m$ 中的每个向量 $\mathbf{b}$ 投影到由 ${\mathbf{a}}^{\prime }s$ 所张成的子空间中。
当 $n=1$（只有一个向量 ${\mathbf{a}}_1$）时，就是投影到一条直线上，这条直线是 $A$ 的列空间，此时 $A$ 只有一列。一般情况下矩阵 $A$ 有 $n$ 列，分别是 ${\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_n$。
${\text{R}}^m$ 中的组合是列空间中的向量 $A\mathbf{x}$，我们要找到一个特别的组合 $\mathbf{p}=A\hat{\mathbf{x}}$（投影），它离 $\mathbf{b}$ 是最近的。在 $\hat{\mathbf{x}}$ 上的一个帽子表示这是一个最好的选择，它可以得到子空间中最靠近 $\mathbf{b}$ 的一个向量。当 $n=1$ 时，选择就是 $\hat{x}=\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}}$；当 $n>1$ 时，就是我们现在要找到的最佳选择 $\hat{\mathbf{x}}=({\hat{x}}_1,{\hat{x}}_2,\cdots ,{\hat{x}}_n)$。
和一维的情况一样，我们同样用三个步骤来计算在 $n$ 维子空间的投影：找到向量 $\hat{\mathbf{x}}$；找到投影 $\mathbf{p}=A\hat{\mathbf{x}}$；找到投影矩阵 $P$。
这里的关键就在几何方面！Figure 4.6 中的点线是从 $\mathbf{b}$ 到子空间最近的点 $A\hat{\mathbf{x}}$，误差向量 $\mathbf{b}-A\hat{\mathbf{x}}$ 垂直于子空间。误差 $\mathbf{b}-A\hat{\mathbf{x}}$ 和所有的基向量 ${\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_n$ 都有一个直角，这 $n$ 个直角可以得到 $n$ 个 $\hat{\mathbf{x}}$ 的方程：

$$\begin{array}{c}{\mathbf{a}}_1^T(\mathbf{b}-A\hat{\mathbf{x}})=0\\ ⋮\\ {\mathbf{a}}_n^T(\mathbf{b}-A\hat{\mathbf{x}})=0\end{array}或\left[\begin{array}{c}-{\mathbf{a}}_1^T-\\ ⋮\\ -{\mathbf{a}}_n^T-\end{array}\right]\left[\begin{array}{c}\mathbf{b}-A\hat{\mathbf{x}}\end{array}\right]=\left[\begin{array}{c}\\ 0\\ \end{array}\right](\mathrm{4.2.4})$$

行是 ${\mathbf{a}}_i^T$ 的据说是 $A^T$，这 $n$ 个方程就是 $A^T(\mathbf{b}-A\hat{\mathbf{x}})=0$。
将 $A^T(\mathbf{b}-A\hat{\mathbf{x}})=0$ 改写成著名的形式 $A^{T}A\hat{\mathbf{x}}=A^T\mathbf{b}$，这个就是 $\hat{\mathbf{x}}$ 的方程，系数矩阵是 $A^{T}A$。现在我们就可以按照顺序求出 $\hat{\mathbf{x}}、\mathbf{p}$ 和 $P$。

组合 $\mathbf{p}={\hat{x}}_1{\mathbf{a}}_1+{\hat{x}}_2{\mathbf{a}}_2+\cdots +{\hat{x}}_n{\mathbf{a}}_n=A\hat{\mathbf{x}}$ 是由 $\hat{\mathbf{x}}$ 得到的距离 $\mathbf{b}$ 最近的点：$$求\hat{\mathbf{x}}(n\times 1)A^T(\mathbf{b}-A\hat{\mathbf{x}})=0或A^{T}A\hat{\mathbf{x}}=A^T\mathbf{b}(\mathrm{4.2.5})$$$A^{T}A$ 是 $n\times n$ 的对称矩阵，如果 ${\mathbf{a}}^{\prime }s$ 是无关的，则它可逆，解是 $\hat{\mathbf{x}}=(A^{T}A{)}^{-1}{A}^T\mathbf{b}$。$\mathbf{b}$ 在子空间的投影是 $\mathbf{p}$：$$求\mathbf{p}(m\times 1)\mathbf{p}=A\hat{\mathbf{x}}=A(A^{T}A{)}^{-1}{A}^T\mathbf{b}(\mathrm{4.2.6})$$下个公式是投影矩阵，就是（4.2.6）中乘 $\mathbf{b}$ 的部分：$$求P(m\times m)P=A(A^{T}A{)}^{-1}{A}^T(\mathrm{4.2.7})$$

对比一下在直线上的投影，当 $A$ 只有一列时：$A^{T}A$ 就是 ${\mathbf{a}}^T\mathbf{a}$。

$$当n=1,\hat{x}=\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}}，\mathbf{p}=\mathbf{a}\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}}，P=\frac{\mathbf{a}{\mathbf{a}}^T}{{\mathbf{a}}^T\mathbf{a}}$$

这些公式和（4.2.5）、（4.2.6）、（4.2.7）是一致的，数字 ${\mathbf{a}}^T\mathbf{a}$ 变成了矩阵 $A^{T}A$，当它是数字时，我们可以直接除以它；当它是矩阵时，我们取它的逆。新的公式里是 $(A^{T}A{)}^{-1}$ 而不是 $1/{\mathbf{a}}^T\mathbf{a}$。列 ${\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_n$ 的线性无关保证了逆矩阵的存在。
关键的步骤是 $A^T(\mathbf{b}-A\hat{\mathbf{x}})=0$，在这里使用了几何性质（$\mathbf{e}$ 与每个 $\mathbf{a}$ 正交）。线性代数用快速又漂亮的方法也给出了 “正态方程”（normal equation）：

1. 子空间是 $A$ 的列空间
2. 误差向量 $\mathbf{b}-A\hat{\mathbf{x}}$ 垂直于这个列空间
3. 因此 $\mathbf{b}-A\hat{\mathbf{x}}$ 在 $A^T$ 的零空间中！就是 $A^T(\mathbf{b}-A\hat{\mathbf{x}})=0$ 的意思。

左零空间在投影中非常重要，$A^T$ 的零空间包含误差向量 $\mathbf{b}-A\hat{\mathbf{x}}$。向量 $\mathbf{b}$ 分成了投影 $\mathbf{p}$ 和误差 $\mathbf{e}=\mathbf{b}-\mathbf{p}$。投影产生了三个边分别是 $\mathbf{p}，\mathbf{e}$ 和 $\mathbf{b}$ 的三角形。

【例3】如果 $A=\left[\begin{array}{cc}1& 0\\ 1& 1\\ 1& 2\end{array}\right]$，$\mathbf{b}=\left[\begin{array}{c}6\\ 0\\ 0\end{array}\right]$，求 $\hat{\mathbf{x}}、\mathbf{p}$ 和 $P$。
解： 计算方阵 $A^{T}A$ 和向量 $A^T\mathbf{b}$：$$A^{T}A=\left[\begin{array}{ccc}1& 1& 1\\ 0& 1& 2\end{array}\right]\left[\begin{array}{cc}1& 0\\ 1& 1\\ 1& 2\end{array}\right]=\left[\begin{array}{cc}3& 3\\ 3& 5\end{array}\right]，A^T\mathbf{b}=\left[\begin{array}{ccc}1& 1& 1\\ 0& 1& 2\end{array}\right]\left[\begin{array}{c}6\\ 0\\ 0\end{array}\right]=\left[\begin{array}{c}6\\ 0\end{array}\right]$$下面求解正态方程 $A^{T}A\hat{\mathbf{x}}=A^T\mathbf{b}$，得到 $\hat{\mathbf{x}}$：$$\left[\begin{array}{cc}3& 3\\ 3& 5\end{array}\right]\left[\begin{array}{c}{\hat{x}}_1\\ {\hat{x}}_2\end{array}\right]=\left[\begin{array}{c}6\\ 0\end{array}\right]解得\hat{\mathbf{x}}=\left[\begin{array}{c}{\hat{x}}_1\\ {\hat{x}}_2\end{array}\right]=\left[\begin{array}{c}5\\ -3\end{array}\right](\mathrm{4.2.8})$$组合 $\mathbf{p}=A\hat{\mathbf{x}}$ 是 $\mathbf{b}$ 在 $A$ 列空间上的投影：$$\mathbf{p}=5\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]-3\left[\begin{array}{c}0\\ 1\\ 2\end{array}\right]=\left[\begin{array}{c}5\\ 2\\ -1\end{array}\right]，误差是\mathbf{e}=\mathbf{b}-\mathbf{p}=\left[\begin{array}{c}1\\ -2\\ 1\end{array}\right](\mathrm{4.2.9})$$在计算上要检查两个地方，第一，误差 $\mathbf{e}=(1,-2,1)$ 与两列 $(1,1,1)$ 和 $(0,1,2)$ 都垂直；第二，矩阵 $P$ 乘 $\mathbf{b}=(6,0,0)$ 能够正确得到 $\mathbf{p}=(5,2,-1)$。我们得到矩阵 $P$ 后，就可以立刻对特定的 $\mathbf{b}$ 的投影进行求解。
投影矩阵是 $P=A(A^{T}A{)}^{-1}{A}^T$，$A^{T}A$ 的行列式是 $15-9=6$，很容易就可以求出 $(A^{T}A{)}^{-1}$。$A$ 乘 $(A^{T}A{)}^{-1}$ 乘 $A^T$ 得到 $P$：$$(A^{T}A{)}^{-1}=\frac{1}{6}\left[\begin{array}{cc}5& -3\\ -3& 3\end{array}\right]，P=\frac{1}{6}\left[\begin{array}{ccc}5& 2& -1\\ 2& 2& 2\\ -1& 2& 5\end{array}\right](\mathrm{4.2.10})$$一定有 $P^2=P$，因为第二次投影不会改变第一次投影。
警告： 矩阵 $P=A(A^{T}A{)}^{-1}{A}^T$ 会具有误导性，如果将 $(A^{T}A{)}^{-1}$ 分成 $A^{-1}$ 乘 $(A^T{)}^{-1}$，然后将它们继续代入 $P$，则会发现 $P=A{A}^{-1}(A^T{)}^{-1}{A}^T$，此时全部都消去了，看起来就像是 $P=I$，是一个单位矩阵。但是这是错误的。
矩阵 $A$ 是矩形，大部分情况下是没有逆矩阵的。我们不能将 $(A^{T}A{)}^{-1}$ 拆成 $A^{-1}$ 乘 $(A^T{)}^{-1}$，因为 $A^{-1}$ 都不一定存在。
以我们的经验来看，牵涉到矩形矩阵的情况大多数都会得到 $A^{T}A$，如果 $A$ 的列是无关的，则 $A^{T}A$ 是可逆的。这个事实很重要，我们会清楚的描述并证明。

$A^{T}A可逆当且仅当A的列是线性无关的。$

证明： $A^{T}A$ 是一个方阵 $(n\times n)$。对于每个矩阵 $A$，下面会证明 $A^{T}A$ 和 $A$ 有相同的零空间。若 $A$ 的列线性无关，则它的零空间只有零向量，由于 $A^{T}A$ 和 $A$ 有相同的零空间，可得 $A^{T}A$ 可逆。
对于任意的矩阵 $A$，如果 $\mathbf{x}$ 在它的零空间中，则 $A\mathbf{x}=0$，左乘 $A^T$ 得 $A^{T}A\mathbf{x}=0$，所以 $\mathbf{x}$ 也在 $A^{T}A$ 的零空间中。
现在从 $A^{T}A$ 的零空间开始，我们由 $A^{T}A\mathbf{x}=0$ 证明 $A\mathbf{x}=0$。我们不能在左边乘上 $(A^T{)}^{-1}$，一般来说它不存在。我们左乘 ${\mathbf{x}}^T$：$$({\mathbf{x}}^T)A^{T}A\mathbf{x}=0即(A\mathbf{x}{)}^T(A\mathbf{x})=0或||A\mathbf{x}|{|}^2=0(\mathrm{4.2.11})$$这里证明了若 $A^{T}A\mathbf{x}=0$，那么 $A\mathbf{x}$ 的长度为零，所以 $A\mathbf{x}=0$。每个向量 $\mathbf{x}$ 在其中一个的零空间中也在另外一个的零空间。所以 $A^{T}A$ 和 $A$ 有相同的零空间。如果 $A^{T}A$ 有相关列，那么 $A$ 也一样；如果 $A^{T}A$ 是无关列，则 $A$ 也是，这种情况很好，此时 $A^{T}A$ 可逆。$$当A的列线性无关时，A^{T}A是方形、对称且可逆的矩阵。$$再次强调：$A^{T}A$ 是（$n\times m$）乘 $(m\times n)$ ，则 $A^{T}A$ 是方阵（$n\times n$）。对称是因为 $(A^{T}A{)}^T=A^T(A^T{)}^T=A^{T}A$。我们刚刚证明了当 $A$ 的列线性无关时，$A^{T}A$ 可逆。注意无关列和相关列的差别：$$\begin{array}{cc}{A}^{T}A{A}^{T}A& A^{T}A{A}^{T}A\\ \left[\begin{array}{ccc}1& 1& 0\\ 2& 2& 0\end{array}\right]\left[\begin{array}{cc}1& 2\\ 1& 2\\ 0& 0\end{array}\right]=\left[\begin{array}{cc}2& 4\\ 4& 8\end{array}\right]& \left[\begin{array}{ccc}1& 1& 0\\ 2& 2& 1\end{array}\right]\left[\begin{array}{cc}1& 2\\ 1& 2\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}2& 4\\ 4& 9\end{array}\right]\\ 相关奇异& 无关可逆\end{array}$$非常简短的总结：为了求出投影 $\mathbf{p}={\hat{x}}_1{\mathbf{a}}_1+{\hat{x}}_2{\mathbf{a}}_2+\cdots +{\hat{x}}_n{\mathbf{a}}_n$，求解 $A^{T}A\hat{\mathbf{x}}=A^T\mathbf{b}$，得到 $\hat{\mathbf{x}}$。投影 $\mathbf{p}=A\hat{\mathbf{x}}$，误差是 $\mathbf{e}=\mathbf{b}-\mathbf{p}=\mathbf{b}-A\hat{\mathbf{x}}$。投影矩阵 $P=A(A^{T}A{)}^{-1}{A}^T$ 得到 $\mathbf{p}=P\mathbf{b}$。$$投影矩阵满足P^2=P。从\mathbf{b}到子空间C(A)的距离是||\mathbf{e}||。$$

四、主要内容总结

1. $\mathbf{b}$ 在通过 $\mathbf{a}$ 的直线上的投影是 $\mathbf{p}=\mathbf{a}\hat{x}=\mathbf{a}\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}}$。
2. 秩一的投影矩阵 $P=\frac{\mathbf{a}{\mathbf{a}}^T}{{\mathbf{a}}^T\mathbf{a}}$ 乘 $\mathbf{b}$ 得到 $\mathbf{p}$。
3. 把 $\mathbf{b}$ 投影到子空间会有 $\mathbf{e}=\mathbf{b}-\mathbf{p}$ 垂直于这个子空间。
4. 当 $A$ 有列满秩 $n$ 时，由方程 $A^{T}A\hat{\mathbf{x}}=A^T\mathbf{b}$ 可以得到 $\hat{\mathbf{x}}$ 和 $\mathbf{p}=A\hat{\mathbf{x}}$。
5. 投影矩阵 $P=A(A^{T}A{)}^{-1}{A}^T$，有 $P^T=P、P^2=P、P\mathbf{b}=\mathbf{p}$。

五、例题

【例4】将 $\mathbf{b}=(3,4,4)$ 投影在一条过 $\mathbf{a}=(2,2,1)$ 的直线上，然后将它投影在同时包含 ${\mathbf{a}}^{\ast }=(1,0,0)$ 的平面上。验证第一个误差向量 $\mathbf{b}-\mathbf{p}$ 垂直于 $\mathbf{a}$，第二个误差向量 ${\mathbf{e}}^{\ast }=\mathbf{b}-{\mathbf{p}}^{\ast }$ 也垂直于 ${\mathbf{a}}^{\ast }$。
求出将向量投影在包含有 $\mathbf{a}$ 和 ${\mathbf{a}}^{\ast }$ 平面上的 $3\times 3$ 的投影矩阵 $P$。找到一个在这个平面上的投影是零向量的向量，为什么它就是误差 ${\mathbf{e}}^{\ast }$?
解： $\mathbf{b}$ 在通过 $\mathbf{a}=(2,2,1)$ 直线上的投影是 $\mathbf{p}=2\mathbf{a}$：$$投影在直线\mathbf{p}=\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}}\mathbf{a}=\frac{18}{9}(2,2,1)=(4,4,2)=2\mathbf{a}$$误差向量 $\mathbf{e}=\mathbf{b}-\mathbf{p}=(-1,0,2)$ 垂直于 $\mathbf{a}=(2,2,1)$，所以 $\mathbf{p}$ 是正确的。
$\mathbf{a}=(2,2,1)$ 和 ${\mathbf{a}}^{\ast }=(1,0,0)$ 所形成的平面是 $A=\left[\begin{array}{cc}\mathbf{a}& {\mathbf{a}}^{\ast }\end{array}\right]$ 的列空间：$$A=\left[\begin{array}{cc}2& 1\\ 2& 0\\ 1& 0\end{array}\right],A^{T}A=\left[\begin{array}{cc}9& 2\\ 2& 1\end{array}\right],(A^{T}A{)}^{-1}=\frac{1}{5}\left[\begin{array}{cc}1& -2\\ -2& 9\end{array}\right],P=\frac{1}{5}\left[\begin{array}{ccc}5& 0& 0\\ 0& 4& 2\\ 0& 2& 1\end{array}\right]$$可得 ${\mathbf{p}}^{\ast }=P\mathbf{b}=(3,\frac{24}{5},\frac{12}{5})$，误差向量 ${\mathbf{e}}^{\ast }=\mathbf{b}-{\mathbf{p}}^{\ast }=(0,-\frac{4}{5},\frac{8}{5})$ 垂直于 $\mathbf{a}$ 和 ${\mathbf{a}}^{\ast }$。${\mathbf{e}}^{\ast }$ 在 $P$ 的零空间，它的投影是零！注意 $P^2=P=P^T$。

【例5】假设测量你的心跳每分钟是 $x=70$，然后是 $x=80$，再然后是 $x=120$。这三个方程 $A\mathbf{x}=\mathbf{b}$ 只有一个未知数，且 $A=\left[\begin{array}{ccc}1& 1& 1\end{array}\right]$，$\mathbf{b}=(70,80,120)$。则最好的 $\hat{\mathbf{x}}$ 是 $70,80,120$ 的 _____。使用微积分和投影：

1. 由 $\frac{\text{d}E}{\text{d}x}=0$，最小化 $E=(x-70{)}^2+(x-80{)}^2+(x-120{)}^2$。
2. 将 $\mathbf{b}$ 投影到 $\mathbf{a}=(1,1,1)$，求解 $\hat{x}=\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}}$。

解： 最接近高度 $70、80、120$ 的水平线是平均值 $\hat{x}=90$：$$\frac{\text{d}E}{\text{d}x}=2(x-70)+2(x-80)+2(x-120)=0解得\hat{x}=\frac{70+80+120}{3}=90$$$$用投影求解：\hat{x}=\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}}=\frac{(1,1,1{)}^T(70,80,120)}{(1,1,1{)}^T(1,1,1)}=\frac{70+80+120}{3}=90$$在递归最小二乘法中，第四个测量数据 $130$ 将会把平均值 ${\hat{x}}_{old}=90$ 变成 ${\hat{x}}_{new}=100$。验证新的公式 ${\hat{x}}_{new}={\hat{x}}_{old}+\frac{1}{4}(130-{\hat{x}}_{old})$。当我们有一个新的测量值时，不需要把旧的测量值再次平均。