投影矩阵和最小二乘type
status
date
slug
summary
tags
category
icon
password
Property
子空间投影
从空间讲起，有向量 ，做 在 上的投影 ，如图：
从图中知道，向量就像是向量 之间的误差， 。 在 上，有 。
所以有。
关于正交的最重要的方程：
从上面的式子可以看出，如果将 变为 则 也会翻倍，如果将 变为 则不变。
投影矩阵 Projections matrix
设投影矩阵为，则可以说投影矩阵作用与某个向量后，得到其投影向量， 。
易看出，若 是维列向量，则 是一个 矩阵。
观察投影矩阵 的列空间， 是一条通过的直线，而 （一列乘以一行： ，而这一列向量 是该矩阵的基）。
投影矩阵的性质：
- ，投影矩阵是一个对称矩阵
- 如果对一个向量做两次投影，即 ，则其结果仍然与相同，也就是
为什么需要投影？因为有些时候无解，只能求出最接近的那个解。
总是在 的列空间中，而 却不一定，这是问题所在，所以可以将 变为 的列空间中最接近的那个向量，即将无解的 变为求有解的 （ 是 在 的列空间中的投影， 不再是那个不存在的 ，而是最接近的解）。
现在来看 中的情形，将向量 投影在平面 上。同样的， 是向量 在平面 上的投影， 是垂直于平面 的向量，即 在平面 法方向的分量。
设平面 的一组基为 ，则投影向量 ，写作 ，这里如果求出 ，则该解就是无解方程组最近似的解。
现在问题的关键在于找 ，使它垂直于平面，因此得到两个方程
将方程组写成矩阵形式
即 。
比较该方程与 中的投影方程，发现只是向量 变为矩阵 而已，本质上就是 。所以， 在 的零空间中（ ），左零空间列空间，则有
再化简方程得 ，比较在 中的情形， 是一个数字而 是一个 阶方阵，而解出的 可以看做两个数字的比值。现在在中，我们需要再次考虑：什么是 ？投影是什么？投影矩阵又是什么？
- 第一个问题： ；
- 第二个问题： ，回忆在 中的情形，下划线部分就是原来的 ；
- 第三个问题：易看出投影矩阵就是下划线部分 。
注意： 是不能继续化简为 的，因为这里的并不是一个可逆方阵。
也可以换一种思路，如果 是一个 阶可逆方阵，则 的列空间是整个 空间，于是 在 上的投影矩阵确实变为了 ，因为 已经在空间中了，其投影不再改变。
再来看投影矩阵 的性质：
，而 是对称的，所以其逆也是对称的，所以有 ，得证。
，得证。
投影矩阵 ， 将会把向量投影在的列空间中。
举两个极端的例子：
- 如果 ，则 ；
- 如果 ，则 。
一般情况下， 将会有一个垂直于 的分量，有一个在 列空间中的分量，投影的作用就是去掉垂直分量而保留列空间中的分量。
在第一个极端情况中，如果 则有 。带入投影矩阵 ，得证。
在第二个极端情况中，如果 则有 ，即 。则，得证。
向量投影后，有 ，这里的 是 在 中的分量，而 是 在 中的分量。
最小二乘法
接下看看投影的经典应用案例：最小二乘法拟合直线（least squares fitting by a line）。
需要找到距离图中三个点 偏差最小的直线： 。
根据条件可以得到方程组
写作矩阵形式 ，也就是，很明显方程组无解。
我们需要在的三个分量上都增加某个误差 ，使得三点能够共线，同时使得 最小，找到拥有最小平方和的解（即最小二乘），即 最小。
此时向量变为向量在方程组有解的情况下， ，即在的列空间中，误差 为零）
我们现在做的运算也称作线性回归（linear regression），使用误差的平方和作为测量总误差的标准。
注：如果有另一个点，如 ，明显距离别的点很远，最小二乘将很容易被离群的点影响，通常使用最小二乘时会去掉明显离群的点。
现在我们尝试解出与。
写作方程形式为 ，也称作正规方程组（normal equations）。
“使得误差最小”的条件：
使该式取最小值，如果使用微积分方法，则需要对该式的两个变量 分别求偏导数，再令求得的偏导式为零即可，正是刚才求得的正规方程组。（正规方程组中的第一个方程是对 求偏导的结果，第二个方程式对 求偏导的结果，无论使用哪一种方法都会得到这个方程组）
解方程得 ，则“最佳直线”为
带回原方程组解得 ，即
于是得到 ，易看出 ，同时发现 即 。
误差向量 不仅垂直于投影向量 ，它同时垂直于列空间，如 。
接下来观察 ，如果的各列线性无关，求证 是可逆矩阵
先假设 ，两边同时乘以 有 ，即 。一个矩阵乘其转置结果为零，则这个矩阵也必须为零（ 相当于 长度的平方）。则 ，结合题设中的“ 的各列线性无关”，可知 ，也就是 的零空间中有且只有零向量，得证。
来看一种线性无关的特殊情况：互相垂直的单位向量一定是线性无关的。
比如 ，这三个正交单位向量也称作标准正交向量组（orthonormal vectors）。
另一个例子