MIT18-06S 2.3笔记

发表于

MIT18_06S 2.3

Projection matrices and least squares

Projections

上一节我们了解到了矩阵可以把一个向量b投影到C(A)中。如果b垂直于C(A)，那么b就在A的left nullspace即中，并且。如果b本身就在C(A)里，那么，。

通常情况下，一个向量既含有在C(A)中的分量p，也含有垂直于C(A)的分量e，投影后e消失，只剩下p。

将b投影到A的左零空间的投影矩阵就是I-P：

Least squares

这里还是以一个最小二乘法的问题为例，解决点(1,1), (2,2), (3,2)的最佳拟合问题。我们想要找到这样的一条直线来拟合这三个点，这个过程就是线性回归，对于没有outliers的场景下是非常有效的。

最佳意味着这些点到拟合直线上的距离之和最小，即最小化。如果这条线能经过这三个点，那么就有：

但因为方程组无解，必然不存在这样的直线使得。

最小二乘有两种理解方式：

  1. 试图空间中的e1、e2 和 e3，即从数据点到线的垂直距离。
  2. 将b投影在A的列空间，投影结果为p，以及在的投影。

上一章已经利用公式求解得C=2/3, D=1/2。

当然也可以利用微积分的方法去求解：

分别对C和D求导并令求导函数等于0，即可得到答案。

The matrix

如果A的列都是独立的，那么是可逆的（最小二乘法要求其必须是可逆的）。为了证明这一点，我们假设 ，然后证明x = 0一定为真：

因为A的列都是独立的，因此只有x=0才有。