• 优秀教程-真正理解拉格朗日乘子法和 KKT 条件： link
• 优秀教程-最优化(6)：一般约束优化问题的最优性理论： link

KKT条件（Karush-Kuhn-Tucker条件）是非线性规划中的一组必要条件，在某些情况下也是最优解的充分条件。它是对拉格朗日乘数法的推广，适用于有约束的优化问题。以下是详细公式和解释：

---

问题形式

考虑如下非线性优化问题：

$$\text{minimize }f(x),x\in {\mathbb{R}}^n$$

约束条件：

1. 等式约束：
   $$h_i(x)=0,i=1,\dots ,m$$

2. 不等式约束：
   $$g_j(x)\le 0,j=1,\dots ,p$$

这里：

• $f(x)$ 是目标函数；
• $h_i(x)$ 是等式约束函数；
• $g_j(x)$ 是不等式约束函数。

---

KKT条件

KKT条件包括以下几个部分：

1. 可行性条件

变量 $x^{\ast }$ 必须满足约束条件：
$$h_i(x^{\ast })=0,i=1,\dots ,m$$
$$g_j(x^{\ast })\le 0,j=1,\dots ,p$$

2. 拉格朗日函数

定义拉格朗日函数：
$$\mathcal{L}(x,\lambda ,\mu )=f(x)+\sum _{i=1}^m{\lambda }_i{h}_i(x)+\sum _{j=1}^p{\mu }_j{g}_j(x)$$
其中：

• ${\lambda }_i$ 是等式约束的拉格朗日乘数；
• ${\mu }_j$ 是不等式约束的拉格朗日乘数（${\mu }_j\ge 0$）。

3. 一阶必要条件（梯度条件）

在最优解处，拉格朗日函数对 $x$ 的梯度为零：
$${\nabla }_x\mathcal{L}(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=\nabla f(x^{\ast })+\sum _{i=1}^m{\lambda }_i^{\ast }\nabla h_i(x^{\ast })+\sum _{j=1}^p{\mu }_j^{\ast }\nabla g_j(x^{\ast })=0$$

4. 互补松弛条件

对于每个不等式约束：
$${\mu }_j^{\ast }{g}_j(x^{\ast })=0,j=1,\dots ,p$$
这表示如果某个不等式约束 $g_j(x)$ 未达到边界（即 $g_j(x^{\ast })<0$），那么对应的拉格朗日乘数 ${\mu }_j^{\ast }$ 必须为 0；反之，如果 $g_j(x^{\ast })=0$，那么 ${\mu }_j^{\ast }\ge 0$。

5. 拉格朗日乘数非负性

对于不等式约束，拉格朗日乘数必须非负：
$${\mu }_j^{\ast }\ge 0,j=1,\dots ,p$$

---

总结公式

KKT条件可以总结为如下形式：
$$\begin{array}{rlrlrl}& \text{(1) 可行性条件: }& h_i(x^{\ast })& =0,& g_j(x^{\ast })& \le 0\\ & \text{(2) 梯度条件: }& \nabla f(x^{\ast })+\sum _{i=1}^m{\lambda }_i^{\ast }\nabla h_i(x^{\ast })+\sum _{j=1}^p{\mu }_j^{\ast }\nabla g_j(x^{\ast })& =0& & \\ & \text{(3) 互补松弛: }& {\mu }_j^{\ast }{g}_j(x^{\ast })& =0& & \\ & \text{(4) 非负性: }& {\mu }_j^{\ast }& \ge 0& & \end{array}$$

---

适用条件

KKT条件成立需要一定的假设，例如约束的正则性（满足线性独立约束限定条件或Slater条件）。当这些假设成立时：

• 如果 $f(x)$、$h_i(x)$、$g_j(x)$ 是凸函数，KKT条件是充分条件。
• 对一般优化问题，KKT条件是必要条件。