超定线性方程组type
status
date
slug
summary
tags
category
icon
password
Property
超定线性方程组的最小二乘解
看一个引例：对物理量 执行三次测量，结果分别是 ，则这个真实量最有可能是？
记函数 ，称其为方差函数。我们可以后验地认为，当方差函数取最小值时的 是最有可能取到的。这样的思想被称为“极大似然”，这种方法被称为“最小二乘”。
将上述的情况转化为矩阵形式：
上式看作是一个线性方程组，而若 不完全相同，则上述方程组的增广矩阵之秩比系数矩阵秩大，故这样的方程组属"无解"方程组，称为超定线性方程组。 但仍可以通过某一优化目标来将这个问题转化为一个最优化问题. 当这一优化目标是"均方误差最小化"，或称为"2-范数最小化"时，这样的解法称为"超定线性方程组的最小二乘解法".
解的推导：几何理解
对于线性方程组 ，将 列向量记为 ，其中，考虑优化条件：
它的意义是： 到 的距离最小。其中， 可以由矩阵乘法法则展开为：
式子代表着向量组 的任意线性组合，即向量空间 中的所有向量
现在，我们需要知道，既然 是一个超定线性方程组，那么矩阵 的秩一定比增广矩阵小，那么向量一定不可以被列向量组 线性表出，这就意味着，在向量中至少有一个分量在向量空间 之外，而最小化条件要求到的距离最小，而 可以是向量空间中的所有向量，这就必然意味着向量与所有的正交
在纸上画以下三个向量：
与距离最近且在向量空间中的向量必然是，此时与所有的正交.
那么，就可以使用向量内积将问题转化为：
上式可以转写为一个线性方程：
而上式中左侧的矩阵恰好为，即：
由于不一定为方阵，即使为方阵也不一定满秩，故不可继续使用矩阵的标准逆元来化简，须使用其他的技术
矩阵的Moore–Penrose广义逆运算
对于一个 矩阵，它的Moore–Penrose广义逆元被定义为：满足如下条件(Moore–Penrose条件)的一个 矩阵:
若矩阵 可逆，那么 是其Moore–Penrose广义逆元.
仅需要证明其性质其一:
得到：
故：
通过SVD计算Moore–Penrose广义逆元
由SVD运算的拆分式：
由若矩阵可逆，那么是其Moore–Penrose广义逆元和上述证明的性质得到
而 是对角矩阵，其Moore–Penrose广义逆的算法明显是将其对角线元素取逆元(倒数).
由此，可以通过SVD计算出任意矩阵的Moore–Penrose广义逆元
Moore–Penrose广义逆元用于超定方程组求解
回到超定方程组求解时的倒数第二步:
此时不是列满秩矩阵，因此不可用 的一般逆来计算其值，因此应用Moore–Penrose广义逆运算(此时可以继续化简，因为即使是非方阵也具有Moore–Penrose广义逆元):
如此，我们解决了当属性矩阵列不满秩时的情况。由于计算Moore–Penrose广义逆元需要更长的时间，所以建议在设计属性值的时候避免列不满秩的情况发生。