左右逆和伪逆type
status
date
slug
summary
tags
category
icon
password
Property
前面涉及到的逆（inverse）都是指左、右乘均成立的逆矩阵，即 。在这种情况下， 矩阵满足 ，也就是满秩方阵。
左逆 left inserve
列满秩，也就是列向量线性无关，但行向量通常不是线性无关的。常见的列满秩矩阵满足 。
列满秩时，列向量线性无关，所以其零空间中只有零解，方程 可能有一个唯一解（ 在 的列空间中，此特解就是全部解，因为通常的特解可以通过零空间中的向量扩展出一组解集，而此时零空间只有列向量），也可能无解（ 不在 的列空间中）。
另外，此时行空间为 ，也正印证了与行空间互为正交补的零空间中只有列向量。
现在来观察 ，也就是在 的情况下， 矩阵乘以 矩阵，结果为一个满秩的 矩阵，所以 是一个可逆矩阵。也就是说 成立，而大括号部分的 称为长方形矩阵 的左逆
最小二乘，通过关键方程 ， 被当做一个系数矩阵乘在 向量上，求得 向量投影在 的列空间之后的解 。如果强行给左逆左乘矩阵 ，得到的矩阵就是投影矩阵 ，来自 ，它将右乘的向量 投影在矩阵 的列空间中。
再来观察 矩阵，这是一个 矩阵，秩为 ，也就是说 是不可逆的。
右逆 right inverse
可以与左逆对称的看，右逆也就是研究 矩阵 行满秩的情况，此时 。对称的，其左零空间中仅有零向量，即没有行向量的线性组合能够得到零向量。
行满秩时，矩阵的列空间将充满向量空间 ，所以方程 总是有解集，由于消元后有 个自由变量，所以方程的零空间为 维。
与左逆对称，再来观察 ，在 的情况下， 矩阵乘以 矩阵，结果为一个满秩的 矩阵，所以此时 是一个满秩矩阵，也就是 可逆。所以 ，大括号部分的 称为长方形矩阵的右逆
同样的，如果强行给右逆右乘矩阵 ，将得到另一个投影矩阵 ，与上一个投影矩阵不同的是，这个矩阵的 全部变为 了。所以这是一个能够将右乘的向量 投影在 的行空间中。
前面提及了逆（方阵满秩），并讨论了左逆（矩阵列满秩）、右逆（矩阵行满秩），现在看一下第四种情况， 矩阵$A$不满秩的情况。
伪逆 pseudo inverse
有 矩阵 ，满足 ，则
- 列空间 ，左零空间 ，列空间与左零空间互为正交补；
- 行空间 ，零空间 ，行空间与零空间互为正交补。
现在任取一个向量 ，乘上 后结果 一定落在矩阵 的列空间 中。而根据维数， ，那么我们现在猜测，输入向量 全部来自矩阵的行空间，而输出向量 全部来自矩阵的列空间，并且是一一对应的关系，也就是 的 维子空间到 的 维子空间的映射。
而矩阵 现在有这些零空间存在，其作用是将某些向量变为零向量，这样 空间的所有向量都包含在行空间与零空间中，所有向量都能由行空间的分量和零空间的分量构成，变换将零空间的分量消除。但如果我们只看行空间中的向量，那就全部变换到列空间中了。
那么，现在只看行空间与列空间，在行空间中任取两个向量 ，有 。所以从行空间到列空间，变换 是个不错的映射，如果限制在这两个空间上， 可以说“是个可逆矩阵”，那么它的逆就称作伪逆，而这个伪逆的作用就是将列空间的向量一一映射到行空间中。
通常，伪逆记作 ，因此 。
证明对于 ，有 ：
- 反证法，设 ，则有 ，即向量 ；
- 另一方面，向量 ，所以两者之差 向量也在 中，即 ；
- 此时满足这两个结论要求的仅有一个向量，即零向量同时属于这两个正交的向量空间，从而得到 ，与题设中的条件矛盾，得证。
伪逆在统计学中非常有用，以前做最小二乘需要矩阵列满秩这一条件，只有矩阵列满秩才能保证 是可逆矩阵，而统计中经常出现重复测试，会导致列向量线性相关，在这种情况下 就成了奇异矩阵，这时候就需要伪逆。
如何计算伪逆 ：
一种方法是使用奇异值分解， ，其中的对角矩阵型为
对角线非零的部分来自 比较好的部分，剩下的来自左/零空间。
来看一下 矩阵的伪逆是多少，这是一个 矩阵， ，
伪逆与原矩阵有个小区别：这是一个 矩阵。则有
，
观察 和 不难发现， 是将向量投影到列空间上的投影矩阵，而 是将向量投影到行空间上的投影矩阵。不论是左乘还是右乘伪逆，得到的不是单位矩阵，而是投影矩阵，该投影将向量带入比较好的空间（行空间和列空间，而不是左/零空间）。
的伪逆：
逆矩阵满足四个性质：