第15讲 子空间投影

Projections onto subspaces

网易公开课​open.163.com

• 投影（射影）Projections

投影问题的几何解释就是：如何在向量a的方向上寻找与向量b距离最近的一点。从图中可以看出，这个距离最近的点p就位于穿过b点并与向量a正交的直线与向量a所在直线的交点上。这就是b在a上的投影。如果我们将向量p视为b的一种近似，则长度e=b-p就是这一近似的误差。

因为p在向量a的方向上，因此可以令p=xa，而因为它和e正交，我们可以得到方程：

解得：x=

p=

如果b变为原来的2倍，则p也变为原来的2倍。而如果a变为原来的2倍，p不发生变化。从几何上和计算中都会得到验证。

本单元前半部分的核心内容就是射影。上一单元我们最核心的内容是认识消元法对于线性方程组的意义，并用矩阵的数学语言实现了消元过程，在那里最核心的策略就是利用矩阵乘法中的行操作来实现这一过程。这里面临类似的情况，我们有一个明确的几何目标，要将向量投影到已知子空间，而这里的策略就是误差向量和已知子空间正交，即两者求点积为0。

• 投影矩阵 Projections matrix

我们将投影问题用投影矩阵的方式进行描述，即为p=Pb，其中P为投影矩阵。

p=

P

观察这个矩阵可知，矩阵P的列空间就是向量a所在的直线，矩阵的秩是1。投影矩阵P是一个对称矩阵。另一方面，如果做两次投影则有

P有如下性质：

• 为什么要投影 Why Project

如前所述，方程Ax=b有可能无解，我们需要得到方程的“最优解”。这里的问题在于向量Ax一定在矩阵A的列空间之内，但是b不一定，因此我们希望将b投影到A的列空间得到p，将问题转化为求解

• 在高维投影 Projection in higher dimensions

在R3空间内，如何将向量b投影到它距离平面最近的一点p？

如果a1和a2构成了平面的一组基，则平面就是矩阵A=[a1 a2]的列空间。

已知向量p在平面内，则有p=

重点），因此e与a1和a2均正交，因此可以得到： a1和a2分别为矩阵A的列向量，即

向量

e与矩阵A的列空间正交，这也正是方程的意义。

将方程

因为矩阵A不是方阵，无法简单的用

A是可逆方阵，则化简得到P=I。此时A的列空间就是整个Rn空间，b到这个空间的投影就是其本身，投影矩阵等于单位阵。

对

• 最小二乘法 Least Squares

应用投影矩阵求方程组最优解的方法，最常用于“最小二乘法”拟合曲线。

有三个数据点{(1,1), (2,2), (3,2)}，求直线方程b=C+Dt，要求直线尽量接近于三个点。把三个点的数据代入方程则有：

C+ D=1

C+2D=2

C+3D=2

矩阵形式为

这个的方程Ax=b是无解的，解决办法就是求其最优解，即方程