MIT18_06S 2.2

Projections onto subspaces

这一章主要讲述子空间的投影情况，以一个二维的图为例（这里不画图了）。如果我们有一个向量b和一个向量a（2x1的向量）。假设b在a上的投影为p，这个p就位于与一条经过b并且与向量a正交的位置上，如果我们将 p 视为 b 的近似值，则 e = b − p的长度就是该近似值的误差。

由于p位于通过a的直线上，因此有 p = xa，这里x是一个常数；并且由于a垂直于e，就有

这里x的等式中，分子和分母都是标量，并且不能简单消除。这时就可以得到向量p的表达式了

由此可见，p跟b有着相关的关系，b的变化会影响p，而a则不会影响p。

此时可以将p进一步改写，写成这样一个形式，其中大写就是一个投影矩阵。

这说明向量b的在a上的投影p是一个矩阵作用在b上得到的，这个矩阵就是投影矩阵，这里分子就是一个2x2的矩阵。并由此得出两个性质：

后者的的几何意义是，对一个向量投影两次和投影一次相同。

向量投影的意义需要从方程Ax=b讲起，以Ax=b为例，这个方程并不是任何时候都有解，向量Ax总是在A的列空间中，而b则很可能不在该列空间中。因此可以将b投影到 A 的列空间中的向量p上并求解Ax= p。

以为例，要怎么将向量b投影到平面上的p点呢？

假设向量 $、$ 是平面的基，那么该平面就是矩阵的列空间。

从高维空间来看，这里的a就是矩阵，而x则是向量，投影，我们需要找到。误差向量垂直于列空间的平面，因此也垂直于该平面的所有向量。

误差向量e就属于的零空间，因为e与A的列空间垂直。

通过矩阵等式可以进一步化简：

因为A不一定是方阵，因此不能进一步化简，但可以看到的是，多维空间的投影矩阵同样满足

最小二乘法就是投影矩阵的应用之一，假设存在数据(1,1),(2,2),(3.2)，我们需要找到拟合b = C+Dt，这就等价于：

显然并不存在于一条线可以同时连接三个点，因此等式不可解，等我们可以求。此时可以算得C=2/3, D=1/2。