1 从 Lagrange 函数引入对偶问题

考虑如下优化问题$$\begin{array}{r}\{\begin{array}{l}\min f_0(x)\\ s.t{f}_i(x)\le 0,i=1,\cdots ,p,\\ h_j(x)=0,j=1,\cdots ,q,\\ x\in \Omega ,\end{array}\end{array}$$其中 { f i } i = 0 p , { h j } j = 1 q \{f_i\}_{i=0}^p,\:\{h_j\}_{j=1}^q {fi​}i=0p​,{hj​}j=1q​ 均为定义在 ${\mathbb{R}}^n$ 取值于 $\overline{\mathbb{R}}$ 上的函数，$\Omega \subset {\mathbb{R}}^n$. 设可行集 D : = { x ∈ Ω ∣ f i ( x ) ≤ 0 , i = 1 , ⋯ , p ; h j ( x ) = 0 , j = 1 , ⋯ , q } \mathcal{D}:=\{x\in\Omega|f_i(x)\leq0,~i=1,\cdots,p;~h_j(x)=0,j=1,\cdots,q\} D:={x∈Ω∣fi​(x)≤0, i=1,⋯,p; hj​(x)=0,j=1,⋯,q}满足如下条件（该条件是为了后面定义的拉格朗日函数）$$\begin{array}{r}\{\begin{array}{ll}-\infty <f_i(x)\le \infty & i=0,1,\cdots ,p,\\ -\infty <h_j(x)<\infty & j=1,\cdots ,q,\end{array}\forall x\in \Omega .\end{array}$$该问题的 Lagrange 函数定义为
$$\begin{array}{rl}L(x,\lambda ,\mu )& :=f_0(x)+\sum _{i=1}^p{\lambda }_i{f}_i(x)+\sum _{j=1}^q{\mu }_j{h}_j(x),(x,\lambda ,\mu )\in \Omega \times {\mathbb{R}}_{+}^p\times {\mathbb{R}}^q,\end{array}$$

其中$$\begin{array}{rl}\lambda & :=({\lambda }_1,...,{\lambda }_p{)}^T,\mu :=({\mu }_1,...,{\mu }_q{)}^T.\end{array}$$

从正则化的角度来看 Lagrange 函数可以发现 Lagrange 乘子 { λ i } i = 1 p \{\lambda_i\}_{i=1}^p {λi​}i=1p​ 和 { μ j } j = 1 q \{\mu_j\}_{j=1}^q {μj​}j=1q​ 充当了惩罚项的作用：对任意给定的 $x\in \Omega$ 和 $1\le i\le p$, 如果 $f_i(x)>0,$那么$L(x,\lambda ,\mu )\to$ $\infty ({\lambda }_i\to \infty )$.类似地，对任意 $1\le j\le q$,如果 $h_j(x)\ne 0$, 也有 $L(x,\lambda ,\mu )\to \infty ({\mu }_j\to$ $\infty$或$-\infty )$.

所以根据 (2) 有$$\begin{array}{rlrl}& & \underset{\lambda ⪰0,\mu }{\sup }L(x,\lambda ,\mu )=\{\begin{array}{ll}{f}_0(x)& x\in \mathcal{D},\\ \infty & x\in \Omega \setminus \mathcal{D},\end{array}& \end{array}$$
从而
$$\begin{array}{r}{\xi }^{\ast }:=\underset{x\in \mathcal{D}}{\inf }{f}_0(x)=\underset{x\in \Omega }{\inf }\underset{\lambda ⪰0,\mu }{\sup }L(x,\lambda ,\mu ).\end{array}$$
根据上确界和下确界的性质有：
$$\begin{array}{r}\underset{\lambda ⪰0,\mu }{\sup }\underset{x\in \Omega }{\inf }L(x,\lambda ,\mu )\le \underset{x\in \Omega }{\inf }\underset{\lambda ⪰0,\mu }{\sup }L(x,\lambda ,\mu ).\end{array}$$记$$\begin{array}{r}{\eta }^{\ast }:=\underset{\lambda ⪰0,\mu }{\sup }g(\lambda ,\mu ),\end{array}$$其中$$\begin{array}{r}g(\lambda ,\mu ):=\underset{x\in \Omega }{\inf }L(x,\lambda ,\mu ),(\lambda ,\mu )\in {\mathbb{R}}_{+}^p\times {\mathbb{R}}^q.\end{array}$$则有
$$\begin{array}{r}{\eta }^{\ast }=\underset{\lambda ⪰0,\mu }{\sup }g(\lambda ,\mu )\le \underset{x\in \mathcal{D}}{\inf }{f}_0(x)={\xi }^{\ast }.\end{array}$$上式给出了优化问题 (1)的最优值 ${\xi }^{\ast }$ 的一个下界，这个下界可以通过求解如下优化问题而得到$$\begin{array}{r}\{\begin{array}{ll}\max g(\lambda ,\mu ),& \\ s.t\lambda ⪰0& \end{array}\end{array}$$

定义 1.1.1 (对偶函数，对偶问题，对偶性) 我们称(6)为(1)的对偶问题，相对地， 称(1)为原问题. (5)所定义的函数 $g(\lambda ,\mu )$ 称为 Lagrange 对偶函数，简称为对偶函数，向量 $\lambda ,\mu$ 称为对偶变量. 不等式(4), 即 ${\eta }^{\ast }\le {\xi }^{\ast }$, 称为问题 (1)的弱对偶性. 若等式 ${\eta }^{\ast }={\xi }^{\ast }$ 成立，则称问题 (1)满足强对偶性.

命题 1.1.1 (对偶问题是凸的) 由(5)所定义的对偶函数 $g$ 是 ${\mathbb{R}}_{+}^p\times {\mathbb{R}}^q$ 上上半连续的凹函数.

证.对任意固定的 $x\in {\mathbb{R}}^n$,易见 $L(x,\lambda ,\mu )$ 是 $\lambda ,\mu$ 的仿射函数，因而 $g(\lambda ,\mu )$ 是仿射函数的逐点下确界，所以是 ${\mathbb{R}}_{+}^p\times {\mathbb{R}}^q$ 上凹函数.（这是因为有命题：凸函数是仿射函数的逐点上确界）

设 $({\lambda }_k,{\mu }_k)\in {\mathbb{R}}_{+}^p\times {\mathbb{R}}^q$ 满足 $({\lambda }_k,{\mu }_k)\to ({\lambda }_0,{\mu }_0)\in {\mathbb{R}}_{+}^p\times {\mathbb{R}}^q$,那么，$\forall x\in \Omega$, 有$$\begin{array}{r}g({\lambda }_k,{\mu }_k)\le L(x,{\lambda }_k,{\mu }_k)\end{array}$$从而
$$\begin{array}{r}\underset{k\to \infty }{\lim }g({\lambda }_k,{\mu }_k)\le {\overline{\lim }}_{k\to \infty }L(x,{\lambda }_k,{\mu }_k)=L(x,{\lambda }_0,{\mu }_0)\end{array}$$由 $x$ 的任意性, 两边对 $x\in \Omega$ 求下确界, 得$$\underset{k\to \infty }{\overline{\lim }}g({\lambda }_k,{\mu }_k)\le g({\lambda }_0,{\mu }_0).$$所以 $g$是上半连续的.

注：当
$$\begin{array}{r}-\infty <f_i(x),h_j(x)<\infty ,\forall x\in \Omega ,i=1,...,p;j=1,...,q\end{array}$$时，Lagrange 函数 $L(x,\lambda ,\mu )$ 对所有 $(x,\lambda ,\mu )\in \Omega \times {\mathbb{R}}^p\times {\mathbb{R}}^q$ 有定义，且对偶函数$$g(\lambda ,\mu ):=\underset{x\in \Omega }{\inf }L(x,\lambda ,\mu )$$对所有 $(\lambda ,\mu )\in {\mathbb{R}}^p\times {\mathbb{R}}^q$ 有定义. 考察命题 1.1.1的证明可知，此时 $g$ 是定义在 ${\mathbb{R}}^p\times {\mathbb{R}}^q$的上凹函数.

2. 强对偶性与 KKT 条件

对偶问题可以提供原问题重要的信息. 如上所述, 优化问题(1)恒满足弱对偶性. 它说明对偶问题的最优值 ${\eta }^{\ast }$ 是原问题的最优值 ${\xi }^{\ast }$ 的一个下界. 实际上在强对偶条件下, 原问题与对偶问题的解满足
一个与 KKT 条件类似但更一般的条件, 它无需目标函数和约束函数的可微性以及点 $x^{\ast }$的正则性. 当这些函数可微时, 它可以导出 KKT 条件. 从这个视角导出 KKT 条件使得对 Lagrange 乘子有更好的了解, 它们实际上是对偶问题的解.

命题 2.1 设优化问题(1)满足(2),$(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })\in \mathcal{D}\times {\mathbb{R}}_{+}^p\times {\mathbb{R}}^q$. 那么
$$\begin{array}{r}{\xi }^{\ast }={\eta }^{\ast },f_0(x^{\ast })={\xi }^{\ast },g({\lambda }^{\ast },{\mu }^{\ast })={\eta }^{\ast },\end{array}$$等价于$$\begin{array}{r}{\lambda }_i^{\ast }{f}_i(x^{\ast })=0,i=1,\cdots ,p;L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=\underset{x\in \Omega }{\inf }L(x,{\lambda }^{\ast },{\mu }^{\ast }).\end{array}$$此外，上述任一条成立时，有 $L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })={\xi }^{\ast }={\eta }^{\ast }$, 且若还存在 $x\in \Omega$ 使得$$f_0(x)<\infty ,f_i(x)<\infty ,-\infty <h_j(x)<\infty ,$$则 ${\xi }^{\ast }<\infty .$

证. 设(9)成立，则$$\begin{array}{r}\underset{x\in \mathcal{D}}{\inf }{f}_0(x)={\xi }^{\ast }\le f_0(x^{\ast })=L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=\underset{x\in \Omega }{\inf }L(x,{\lambda }^{\ast },{\mu }^{\ast })=g({\lambda }^{\ast },{\mu }^{\ast })\le {\eta }^{\ast }\le {\xi }^{\ast }.\end{array}$$所以，(8)成立.

反之，设(8)成立，则$${\xi }^{\ast }=f_0(x^{\ast })\ge L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })\ge \underset{x\in \Omega }{\inf }L(x,{\lambda }^{\ast },{\mu }^{\ast })=g({\lambda }^{\ast },{\mu }^{\ast })={\eta }^{\ast }={\xi }^{\ast }.$$所以 $f_0(x^{\ast })=L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=g({\lambda }^{\ast },{\mu }^{\ast })$.第一个等号是(8)给出的条件，以及由 ${\lambda }^{\ast }⪰0,x^{\ast }\in \mathcal{D}$ 可以推导出 (9)的第一式；第二个等号即为(9) 的第二式.

上述条件成立时，有(10)成立，因而 $L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })={\xi }^{\ast }={\eta }^{\ast }$. 若还存在 $x\in \Omega$ 使得
(9)成立，则利用(8)有，${\xi }^{\ast }=L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })\le L(x,{\lambda }^{\ast },{\mu }^{\ast })<\infty .$ 我们称条件 $x^{\ast }\in \mathcal{D}$ 为优化问题(1)的可行条件，而称条件(9)为其对偶可行条件，它的关键作用可以从不等式(10)中看出，它确保了强对偶性以及原问题与对偶问题的可解性. 特别，(9)的第一式 “${\lambda }_i^{\ast }{f}_i(x^{\ast })=0,i=1,\cdots ,p^{\ast }$ 被称为互补松弛条件.

命题 2.2 (强对偶性等价于 KKT 条件) 设优化问题(1)满足(2), $(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })\in$ ${\mathbb{R}}^n\times {\mathbb{R}}^p\times {\mathbb{R}}^q$.那么，$x^{\ast }$ 和 $({\lambda }^{\ast },{\mu }^{\ast })$ 分别是原问题(1)以及对偶问题(6)的解且满足强对偶性 ${\xi }^{\ast }={\eta }^{\ast }$ 当且仅当$$\begin{array}{r}\{\begin{array}{l}{x}^{\ast }\in \mathcal{D},\\ {\lambda }_i^{\ast }\ge 0,i=1,\cdots ,p;\\ {\lambda }_i^{\ast }{f}_i(x^{\ast })=0,i=1,\cdots ,p;\\ L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })={\inf }_{x\in \Omega }L(x,{\lambda }^{\ast },{\mu }^{\ast }).\end{array}\end{array}$$证. 必要性. $x^{\ast }$ 是原问题(1)的解，按照定义可以推出 $x^{\ast }\in \mathcal{D}$ 且 $f_0(x^{\ast })={\xi }^{\ast };({\lambda }^{\ast },{\mu }^{\ast })$ 是对偶问题(6)的解，同样地按照定义可以推出 ${\lambda }^{\ast }⪰0$ 且 $g({\lambda }^{\ast },{\mu }^{\ast })={\eta }^{\ast };$ 又由于 ${\xi }^{\ast }={\eta }^{\ast }$, 所以 $(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })\in$ $\mathcal{D}\times {\mathbb{R}}_{+}^p\times {\mathbb{R}}^q$ 且(8)成立. 显然 $x^{\ast }\in \mathcal{D}$ 即为 (11)的第一式成立；${\lambda }^{\ast }\in {\mathbb{R}}_{+}^p$ 蕴含(11)的第二行成立；根据 命题 2.1 可知, ${\xi }^{\ast }={\eta }^{\ast },f_0(x^{\ast })={\xi }^{\ast },g({\lambda }^{\ast },{\mu }^{\ast })={\eta }^{\ast },$ 等价于 ${\lambda }_i^{\ast }{f}_i(x^{\ast })=0,i=1,\cdots ,p;L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })={\inf }_{x\in \Omega }L(x,{\lambda }^{\ast },{\mu }^{\ast }).$，即(11)的最后两行成立.

充分性. 设(11)也就是KKT条件成立，显然由KKT条件的前两行可以推出 $(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })\in \mathcal{D}\times {\mathbb{R}}_{+}^p\times {\mathbb{R}}^q$,而KKT条件的后两行即为(9). 由命题 2.1知 (8)与(9)等价，从而有(9)的条件${\xi }^{\ast }={\eta }^{\ast },f_0(x^{\ast })={\xi }^{\ast },g({\lambda }^{\ast },{\mu }^{\ast })={\eta }^{\ast }$ 成立.

注：当满足KKT条件（或者说满足强对偶性时），条件 $L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })={\inf }_{x\in \Omega }L(x,{\lambda }^{\ast },{\mu }^{\ast })$ 可以写成 $L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=g({\lambda }^{\ast },{\mu }^{\ast }).$

推论 2.3 设优化问题(1)满足$(2),({\lambda }^{\ast },{\mu }^{\ast })\in {\mathbb{R}}^p\times {\mathbb{R}}^q,x^{\ast }\in \mathbf{ri}(\Omega )$,且 { f i } i = 0 p \{f_i\}_{i=0}^p {fi​}i=0p​ 和 { h j } j = 1 q \{h_j\}_{j=1}^q {hj​}j=1q​ 均在 $x^{\ast }$ 处可微，那么，
$$\begin{array}{r}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=\underset{x\in \Omega }{\inf }L(x,{\lambda }^{\ast },{\mu }^{\ast })\end{array}$$蕴含$$\begin{array}{r}{\nabla }_{x}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })\perp V_{\Omega }.\end{array}$$并且当优化问题(1)是凸问题时，二者等价.

证. 由于 $x^{\ast }\in \mathbf{ri}(\Omega )$, 利用优化问题笔记中的 命题 1.2.1 可知 (12)能够推导出(13). 特别地当优化问题(1)是凸问题时，由于 $L(x,{\lambda }^{\ast },{\mu }^{\ast })$ 关于 $x$ 为凸函数，由优化问题笔记中的命题 3.1.2 可知$x^{\ast }$ 是 $(f,\mathcal{D})$ 的一个全局最优解当且仅当 $\nabla f(x^{\ast }{)}^T(x-x^{\ast })\ge 0,\forall x\in \mathcal{D}$，(12)等价于
$${\nabla }_{x}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast }{)}^T(x-x^{\ast })\ge 0,\forall x\in \Omega .$$由于 $x^{\ast }\in \mathbf{ri}(\Omega )$,根据优化问题中的引理 1.2.2可知此条件等价于 (13).

命题 2.2 说明当优化问题(1) 满足强对偶性, 且原问题和对偶问题均可解时, 可以按一定的步骤求解其最优解 $x^{\ast }$:

算法 2.1 优化问题(1)的求解算法：
(2.1.1) 计算对偶函数 $g(\lambda ,\mu )$;
(2.1.2) 求解对偶问题(6), 得解$({\lambda }^{\ast },{\mu }^{\ast })\in {\mathbb{R}}_{+}^p\times {\mathbb{R}}^q;$
(2.1.3) 求解 $L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=g({\lambda }^{\ast },{\mu }^{\ast })$,得解 $x^{\ast };$
(2.1.4) 检验 $x^{\ast }$ 是否对偶可行条件的第一项：
$$\begin{array}{r}{x}^{\ast }\in \mathcal{D},{\lambda }_i^{\ast }{f}_i(x^{\ast })=0,i=1,\cdots ,p.\end{array}$$

注：根据对偶函数 $g(\lambda ,\mu )$ 的定义可知，步骤 (2.1.) 等价于求解优化问题
$$x^{\ast }=\underset{x\in \Omega }{\mathrm{argmin}}L(x,{\lambda }^{\ast },{\mu }^{\ast }).$$一旦 算法 2.1 能执行完成，并使所求得的 $x^{\ast }$ 以及 $({\lambda }^{\ast },{\mu }^{\ast })$ 满足(14), 那么，根据 命题 2.2, $x^{\ast }$ 和 $({\lambda }^{\ast },{\mu }^{\ast })$ 必是优化问题(1)及其对偶问题 (6)的解，且满足强对偶性.

3. 对偶性的鞍点特征

在这小节中将说明强对偶性的几何表现。

首先，强对偶性 ${\eta }^{\ast }={\xi }^{\ast }$, 即$$\begin{array}{r}\underset{\lambda ⪰0,\mu \in {\mathbb{R}}^q}{\sup }\underset{x\in \Omega }{\inf }L(x,\lambda ,\mu )=\underset{x\in \Omega }{\inf }\underset{\lambda ⪰0,\mu \in {\mathbb{R}}^q}{\sup }L(x,\lambda ,\mu )\end{array}$$中，拉格朗日函数 $L(x,\lambda ,\mu )$ 可以看成由两部分所组成：$(x)$和$(\lambda ,\mu )$，更为一般地，考虑多元函数$f(x,y)$以及类似于(15)的等式：$$\begin{array}{r}\underset{y\in B}{\sup }\underset{x\in A}{\inf }f(x,y)=\underset{x\in A}{\inf }\underset{y\in B}{\sup }f(x,y)\end{array}$$其中有效定义域为 $\begin{array}{r}\text{dom}(f)=A\times B\subset {\mathbb{R}}^n\times {\mathbb{R}}^m\end{array}$，记$$\begin{array}{r}{\xi }^{\ast }:=\underset{x\in A}{\inf }\underset{y\in B}{\sup }f(x,y),{\eta }^{\ast }=\underset{y\in B}{\sup }\underset{x\in A}{\inf }f(x,y).\end{array}$$

命题 3.1 (极大极小不等式) 给定函数 $f:A\times B\to \overline{\mathbb{R}}$,其中 $A\subset {\mathbb{R}}^n,B\subset {\mathbb{R}}^m$ 均为非空子集，有 ${\eta }^{\ast }\le {\xi }^{\ast }.$

证. 对任意的 $x\in A,y\in B$,根据确界的定义，有 ${\inf }_{x\in A}f(x,y)\le f(x,y)$.两边对 $y\in B$ 求上确界，得
$$\underset{y\in B}{\sup }\underset{x\in A}{\inf }f(x,y)\le \underset{y\in B}{\sup }f(x,y).$$两边再对 $x\in A$ 求下确界即得 ${\eta }^{\ast }\le {\xi }^{\ast }.$

类似于Larange 对偶函数的情况，称 ${\eta }^{\ast }\le {\xi }^{\ast }.$ 为弱对偶性，称 ${\eta }^{\ast }={\xi }^{\ast }.$为强对偶性.

若(16)左边的上确界能达到，那么，存在 $y^{\ast }\in B$, 使得$$\begin{array}{r}{\eta }^{\ast }=\underset{x\in A}{\inf }f(x,y^{\ast })=\underset{y\in B}{\sup }\underset{x\in A}{\inf }f(x,y).\end{array}$$同理，对于(16)式右边的下确界，若可以达到，则存在 $x^{\ast }\in A$, 使得$$\begin{array}{r}{\xi }^{\ast }=\underset{y\in B}{\sup }f(x^{\ast },y)=\underset{x\in A}{\inf }\underset{y\in B}{\sup }f(x,y).\end{array}$$所以，当(16)成立的时候，也就是 ${\xi }^{\ast }={\eta }^{\ast }$，则有：$$\underset{y\in B}{\sup }f(x^{\ast },y)={\xi }^{\ast }={\eta }^{\ast }=\underset{x\in A}{\inf }f(x,y^{\ast }).$$从而
$$\begin{array}{r}f(x^{\ast },y)\le \underset{y\in B}{\sup }f(x^{\ast },y)={\xi }^{\ast }={\eta }^{\ast }=\underset{x\in A}{\inf }f(x,y^{\ast })\le f(x,y^{\ast }),\forall x\in A,y\in B.\end{array}$$上式中取 $x=x^{\ast },y=y^{\ast }$, 可以得到 $f(x^{\ast },y^{\ast })={\xi }^{\ast }={\eta }^{\ast }$. 所以
$$\begin{array}{r}f(x^{\ast },y)\le f(x^{\ast },y^{\ast })\le f(x,y^{\ast }),\forall x\in A,y\in B.\end{array}$$这说明 $(x^{\ast },y^{\ast })$ 是 $f$ 中的鞍点，定义如下.

定义 3.1 (鞍点) 对于函数 $f:A\times B\to \overline{\mathbb{R}}$,其中 $A\subset {\mathbb{R}}^n,B\subset {\mathbb{R}}^m$ ,若 $(x^{\ast },y^{\ast })\in A\times B$ 满足(18),则称之为 $f$ 的一个鞍点.

图 3.1：鞍点示意图

命题 3.2 (强对偶性的鞍点刻画) 给定函数 $f:A\times B\to \overline{\mathbb{R}}$,其中 $A\subset {\mathbb{R}}^n,B\subset {\mathbb{R}}^m$, $(x^{\ast },y^{\ast })\in A\times B$ 是 $f$ 的一个鞍点，即满足(18), 当且仅当$$\begin{array}{r}\underset{y\in B}{\sup }f(x^{\ast },y)={\xi }^{\ast }={\eta }^{\ast }=\underset{x\in A}{\inf }f(x,y^{\ast }).\end{array}$$此外，当 $(x^{\ast },y^{\ast })$ 是 $f$的鞍点时，有$f(x^{\ast },y^{\ast })={\xi }^{\ast }.$

证.充分性如上已证，下证必要性.

设 $(x^{\ast },y^{\ast })$ 是 $f$ 的一个鞍点，则(18)式成立，即$f(x^{\ast },y)\le f(x^{\ast },y^{\ast })\le f(x,y^{\ast }),\forall x\in A,y\in B$，这个式子的第一个不等式对 $y\in B$ 求上确界，第而个不等式对 $x\in A$ 求下确界，可以得到$$\begin{array}{r}\underset{y\in B}{\sup }f(x^{\ast },y)\le f(x^{\ast },y^{\ast })\le \underset{x\in A}{\inf }f(x,y^{\ast }).\end{array}$$从而有$$\begin{array}{rl}{\xi }^{\ast }& =\underset{x\in A}{\inf }\underset{y\in B}{\sup }f(x,y)\le \underset{y\in B}{\sup }f(x^{\ast },y)\le f(x^{\ast },y^{\ast })\le \underset{x\in A}{\inf }f(x,y^{\ast })\le \underset{y\in B}{\sup }\underset{x\in A}{\inf }f(x,y)={\eta }^{\ast }.\end{array}$$

如果我们将鞍点的定义用到优化问题(1)的拉格朗日函数中去，会发生什么呢？设 $g(\lambda ,\mu )$是优化问题(1)的对偶函数，而 ${\xi }^{\ast }$ 和 ${\eta }^{\ast }$ 分别是优化问题(1)及其对偶问题的最优解，我们称解 $(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })$为拉格朗日函数$L(x,\lambda ,\mu )$的鞍点，如果满足条件：$$L(x^{\ast },\lambda ,\mu )\le L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })\le L(x,{\lambda }^{\ast },{\mu }^{\ast }),\forall x\in \Omega ,(\lambda ,\mu )\in {\mathbb{R}}_{+}^p\times {\mathbb{R}}^q.$$于是，这就可以说明鞍点是可以用来刻画优化问题(1)及其对偶问题(6)的解以及强对偶性.