奇异值分解 SVDtype
status
date
slug
summary
tags
category
icon
password
Property
奇异值分解（Singular Value Decomposition）将一个矩阵写为，分解的因子分别为正交矩阵、对角矩阵、正交矩阵。
与前面的分解不同的是，这两个正交矩阵通常是不同的，而且这个式子可以对任意矩阵使用，不仅限于方阵、可对角化的方阵等。
- 一个正定矩阵可以分解为，由于对称性其特征向量是正交的，且其矩阵中的元素皆为正，这就是正定矩阵的奇异值分解。在这种特殊的分解中，只需要一个正交矩阵就可以使等式成立。
- 可对角化的矩阵能够分解为 的形式，其中的列向量由的特征向量组成，但并不是正交矩阵，所以这不是我们希望得到的奇异值分解。
现在要做的是，在的列空间中找到一组特殊的正交基 ，这组基在的作用下可以转换为 的行空间中的一组正交基 。用矩阵语言描述为
，这些是缩放因子，表示在转换过程中有拉伸或压缩。而 的左零空间和零空间将体现在 的零值中。
另外，如果算上左零、零空间，同样可以对左零、零空间取标准正交基，然后写为
此时是 正交矩阵， 是 对角矩阵，是 正交矩阵。
最终可以写为 ，可以看出这十分类似对角化的公式，矩阵 被转化为对角矩阵 ，我们也注意到 是两组不同的正交基。（在正定的情况下， 都变成了 ）。进一步可以写作 ，因为 是标准正交矩阵所以可以写为
计算一个例子， ，需要找到：
- 行空间 的标准正交基 ；
- 列空间 的标准正交基 ；
- 。
在 中有两个标准正交矩阵需要求解，我们希望一次只解一个，如何先将 消去来求 ？
这个技巧会经常出现在长方形矩阵中：求 ，这是一个对称正定矩阵（至少是半正定矩阵），于是有 ，由于 是标准正交矩阵，所以 ，而是对角线元素为 的对角矩阵。
现在有，式子中即是 的特征向量矩阵而是其特征值矩阵。
同理，我们只想求 时，用 消掉 即可。
我们来计算 ，对于简单的矩阵可以直接观察得到特征向量 ，化为单位向量有。
得到 ，接下来继续求解 。
，求出 的特征向量即可得到 ， ，观察得 。但是不能直接使用这一组特征向量，因为式子 明确告诉我们，一旦 确定下来， 也必须取能够满足该式的向量，所以此处 ，则 。
补充： 的特征值与 的特征值相同
取 ， 是 在特征值取 时的的特征向量，则有 ，并有 ，所以 是 在特征值取同一个 时的特征向量。
再取 的特征值 ，则 ，所以 也是 的特征值，得证。
最终，我们得到 。
再做一个例子， ，这是个秩一矩阵，有零空间。 的行空间为 的倍数， 的列空间为 的倍数。
- 标准化向量得 。
- ，由于 是秩一矩阵，则 也不满秩，所以必有特征值 ，则另特征值一个由迹可知为 。
- 继续求零空间的特征向量，有
最终得到 ，其中下划线部分都是与零空间相关的部分。
- 是行空间的标准正交基；
- 是列空间的标准正交基；
- 是零空间的标准正交基；
- 是左零空间的标准正交基。
通过将矩阵写为 形式，将矩阵对角化，向量 之间没有耦合， 乘以每个 都能得到一个相应的 。