上一篇

最优化理论分析复习–最优性条件（一）

约束极值问题的最优性条件

基本概念

• 凸规划
  $minf(x)$
  $s.t.\{\begin{array}{c}{g}_i(x)\ge 0，不等式约束\\ \\ h_j(x)=0，等式约束\end{array}$
  其中 $f(x)$ 是凸函数， $g_i(x)$ 是凹函数，$h_j(x)$ 是线性函数（线性函数既是凸函数又是凹函数）
  要将$g_i(x)$变成 $\ge 0$的形式
  判断凸函数的方法，求 $f(x)$ 的海森矩阵如果矩阵为正定或半正定的，则它就为凸函数

对于凸规划问题中如果 $\bar{x}$ 是KKT点则 $\bar{x}$ 为整体极小值点
$$在凸规划中KKT点\iff 整体极小值点$$

• 定义： 设 $\bar{x}$ 为可行点， 不等式约束中在 $\bar{x}$ 起作用约束 $g_i(x)，i\in I$, 如果向量组 { ▽ g i ( x ˉ ) , ▽ h j ( x ˉ ) } \{\bigtriangledown g_i(\bar{x}), \bigtriangledown h_j(\bar{x}) \} {▽gi​(xˉ),▽hj​(xˉ)}线性无关，则称 $\bar{x}$ 为约束$g(x)\ge 0和h(x)=0$的正则点

若$\bar{x}$ 是曲面 $S$上的一个正则点，它所在的可微曲线的切向量组成空间的一个子空间
即前进方向为此时可行域的切向量
表示为
H 0 = { d ∣ ▽ h ( x ˉ ) T d = 0 } H_0 = \{d\ | \bigtriangledown h(\bar{x})^T d = 0\} H0​={d ∣▽h(xˉ)Td=0}

因此有
定理：设 $\bar{x}\in S$, $f(x)$ 和 $g_i(x)(i\in I)$ 在 $\bar{x}$ 处连续， $h_j$ 在 $\bar{x}$ 处可微，且 $\bar{x}$ 是 $S$ 上的正则点。如果 $\bar{x}$ 是问题的局部最优解有
$$F_0\cap G_0\cap H_0=\varnothing$$

一般情况的约束类型最优化条件

• (F - J条件) 设$\bar{x}\in S$, $f(x),g_i(x)(i\in I)$在$\bar{x}$处可微， $g_i(x)(x\notin I)$在 $\bar{x}$ 处连续（内部无空洞，$h_j$ 在 $\bar{x}$ 处连续可微，如果 $\bar{x}$ 是问题的局部最优解， 则存在不全为零的数 $w_0,w_i(i\in I)$ 和 $\forall 的v_j$, 使得
  $$w_0▽f(\bar{x})-\sum _{i\in I}{w}_i▽g_i(\bar{x})-\sum _{j=1}^l{v}_j▽h_j(\bar{x})=0$$

同理通常不研究$w_0=0$的极端情况，所以有：

• （KKT必要条件）设$\bar{x}$为可行点, $f(x),g_i(x)(i\in I)$在$\bar{x}$处可微， $g_i(x)(x\notin I)$在 $\bar{x}$ 处连续（内部无空洞，$h_j$ 在 $\bar{x}$ 处连续可微，向量组 { ▽ g i ( x ˉ ) , ▽ h j ( x ˉ ) } \{\bigtriangledown g_i(\bar{x}), \bigtriangledown h_j(\bar{x}) \} {▽gi​(xˉ),▽hj​(xˉ)}线性无关，如果 $\bar{x}$ 是问题的局部最优解， 则存在数 $w_i(i\in I)$ 和 $\forall 的v_j$, 使得
  $$▽f(\bar{x})-\sum _{i\in I}{w}_i▽g_i(\bar{x})-\sum _{j=1}^l{v}_j▽h_j(\bar{x})=0$$

因此为了求KKT条件需要知道另一种使用松弛定理的表述形式：

• 设$\bar{x}$为可行点, $f(x),g_i(x)$在$\bar{x}$处可微，$h_j$ 在 $\bar{x}$ 处连续可微，向量组 { ▽ g i ( x ˉ ) , ▽ h j ( x ˉ ) } \{\bigtriangledown g_i(\bar{x}), \bigtriangledown h_j(\bar{x}) \} {▽gi​(xˉ),▽hj​(xˉ)}线性无关，如果 $\bar{x}$ 是问题的局部最优解， 则存在数 $w_i(i=1,2...m)$ 和 $\forall 的v_j$, 使得

$$\{\begin{array}{c}▽f(\bar{x})-\sum _{i=1}^m{w}_i▽g_i(\bar{x})-\sum _{j=1}^l{v}_j▽h_j(\bar{x})=0\\ \\ w_i{g}_i(\bar{x})=0,i=1,2,..m\\ \\ w_i\ge 0,i=1,2...m\end{array}$$

为了使描述更加方便，定义广义的Lagrange函数：
$$L(x,w,v)=f(x)-\sum _{i=1}^m{w}_i{g}_i(x)-\sum _{j=1}^l{v}_j{h}_j(x)$$

将对应的参数 $w$, $v$ 称为拉格朗日乘子

因此KKT条件用拉格朗日函数的表达形式就成了设$\bar{x}$为可行点, $f(x),g_i(x)$在$\bar{x}$处可微，$h_j$ 在 $\bar{x}$ 处连续可微，向量组 { ▽ g i ( x ˉ ) , ▽ h j ( x ˉ ) } \{\bigtriangledown g_i(\bar{x}), \bigtriangledown h_j(\bar{x}) \} {▽gi​(xˉ),▽hj​(xˉ)}线性无关，若 $\bar{x}$ 是局部最优解， 则存在乘子向量 $\bar{w}\ge 0,\bar{v}$ 使得
$${▽}_{x}L(\bar{x},\bar{w},\bar{v})=0$$

• 一阶充分条件： 当是凸规划是KKT条件就是它的充分条件