集合约束和无约束优化 | 彩潭有鲤的札记

该优化问题的含义：寻找合适的，使得函数达到最小。

函数称为目标函数或价值函数，是一个实值函数。

是维向量，表示为，相互独立，通常称为决策变量。

集合是维实数空间的一个子集，称为约束集或可行集。如果，则该问题是无约束优化问题。

通常约束集可表示为，其中，和表示由函数组成的向量，这种形式的约束称为函数约束。

一个元实值函数，定义域为。对于定义域中的点，如果存在，对于所有满足的向量，不等式都成立，则称是函数在定义域上的一个局部极小点。如果对于所有，不等式都成立，则称是函数在定义域中的一个全局极小点。

如果将上述的替换为，则局部极小点和全局极小点对应称为严格局部极小点和严格全局极小点。

函数在定义域上的全局极小点可以表示为或。如果不存在约束，则可以简化表示为

一阶必要条件可以采用方向导数的形式表示，即对于所有的可行方向，都有

即对于局部极小点，在约束集内，函数的值沿处任意可行方向的增长率都是非负的

元实值函数，函数的一阶导数为：

函数的梯度正好是导数的转置，即

函数的二阶导数，也称为黑塞矩阵，可表示为

例如：

一阶导数为：

二阶导数为：

对于向量和约束集中的某点，如果存在一个实数，使得对于所有仍然在约束集内，即，则称为处的可行方向。

为元实值函数在处的可行方向，则函数沿方向的方向导数可表示为

如果，则方向导数表示的是函数的值在处沿方向的增长率。

设和已知，则成为关于的函数，有应用链式法则，可得：

由此可见，当是一个单位向量时，函数的值在处沿方向的增长率可用内积表示

例：某多元函数为，定义方向为

则沿方向的方向导数为

由于，因此这也是函数在处沿方向的增长率。

局部极小点的一阶必要条件　

多元实值函数在约束集上一阶连续可微，即，约束集是的子集。如果是函数在上的局部极小点，则对于处的任意可行方向，都有即对于所有的可行方向，都有：

任意可行方向的增长率都是非负的

局部极小点位于约束集内部一阶必要条件　

多元实值函数在约束集上一阶连续可微，即，约束集是的子集。如果是函数在上的局部极小点，且是的内点，则

局部极小点的二阶必要条件　

多元实值函数在约束集上二阶连续可微，即，约束集是的子集。如果是函数在上的局部极小点，是处的一个可行方向，且，则有其中，是函数的黑塞矩阵。

局部极小点位于约束集内部二阶必要条件　

多元实值函数在约束集上二阶连续可微，即，约束集是的子集。如果是函数在上的局部极小点，且是的内点，则有黑塞矩阵是半正定，即对于所有的向量都有

局部极小点的二阶充分条件（局部极小点为内点）　

多元实值函数在约束集上二阶连续可微，即，是约束集的一个内点，如果同时满足

则是函数的一个严格局部极小点。