type
status
date
slug
summary
tags
category
icon
password
Property
函数逼近问题给出一目标函数 ，希望提出一(容易处理的)近似函数 来代替 ，以近似刻画并简化对 的诸多运算.
而插值问题是给出一系列点 ，希望提出一拟合函数 以近似刻画这些点所隐含的函数关系 .
函数逼近法的总体过程
- 提出近似函数 的形式并预留一些待定系数
- 使用某种误差估计手段写出误差关于上述待定系数 的关系
- 通过最小化误差 求出
由于其有着便于计算的性质，通常使用多项式函数 来进行拟合，同时使用最小二乘法来描述误差
在某些情况下，可能会将自变量 映射为其它的函数，如设置原型 逼近，则可以对逼近点列进行变换如
内积空间
type
status
date
slug
summary
tags
category
icon
password
Property
超定线性方程组的最小二乘解
看一个引例：对物理量 执行三次测量，结果分别是 ，则这个真实量最有可能是？
记函数 ，称其为方差函数。我们可以后验地认为，当方差函数取最小值时的 是最有可能取到的。这样的思想被称为“极大似然”，这种方法被称为“最小二乘”。
将上述的情况转化为矩阵形式：
上式看作是一个线性方程组，而若 不完全相同，则上述方程组的增广矩阵之秩比系数矩阵秩大，故这样的方程组属"无解"方程组，称为超定线性方程组。 但仍可以通过某一优化目标来将这个问题转化为一个最优化问题. 当这一优化目标是"均方误差最小化"，或称为"2-范数最小化"时，这样的解法称为"超定线性方程组的最小二乘解法".
解的推导：几何理解
对于线性方程组 ，将 列向量记为 ，其中，考虑优化条件：
它的意义是： 到 的距离最小。其中， 可以由矩阵乘法法则展开为：
type
status
date
slug
summary
tags
category
icon
password
Property
优化问题
该优化问题的含义：寻找合适的 ，使得函数达到最小。
函数 称为目标函数或价值函数，是一个实值函数。
是维向量，表示为， 相互独立，通常称为决策变量。
集合是维实数空间 的一个子集，称为约束集或可行集。如果 ，则该问题是无约束优化问题。
通常约束集可表示为 ，其中， 和表示由函数组成的向量，这种形式的约束称为函数约束。
极小点
一个 元实值函数 ，定义域为 。对于定义域 中的点 ，如果存在 ，对于所有满足 的向量 ，不等式 都成立，则称 是函数 在定义域 上的一个局部极小点。如果对于所有 ，不等式 都成立，则称 是函数 在定义域 中的一个全局极小点。