Lecture1——对最优化的介绍

一，简介——什么是最优化？

1，三种问题：

用80米的围栏尽可能的围成一个面积最大的矩形
如何规划产品的生产，使得公司获得的利润最大
给你一个图（Graph），如何获得最短的距离

2，一个普通的最优化问题有哪几个部分？

决策（Decision）
目标（Objective）
限制（Constraints）

最优化涉及用一个或者多个决策使得目标最优化，同时也会存在一些限制，根据题目的背景，我们要获得的可能是最大化，也可能是最小化。

因此我们发现，在第一部分给出的三个问题中：

围栏问题

决策：围成矩形；目标：面积最大化；限制：80米围栏

生产问题：

决策：生产计划；目标：利润最大化；限制：生产资源

最短距离问题

决策：从S到T的路径；目标：路径最短；限制：从S出发，T为终点

3，最优化的历史

最早的研究是在公元前 300-100 年，当时欧几里得研究几何学 / 海伦研究光的反射原理。
它主要是数学的一部分（主要贡献者：牛顿、拉格朗日、欧拉等）
现代优化始于 20 世纪，在第二次世界大战期间受到广泛关注。
今天，计算机的使用和数据的可用性为优化提供了新的方法和视角。

当下重要应用场景：AI与机器学习，图像处理

4，最优化的前置知识

在学习最优化之前，你可能需要学习微积分，线性代数，这样才能顺利的理解。

5，学习目标

建模技术：如何将实际问题转化为优化问题，尤其是好的优化问题？
优化算法：如何有效地解决优化问题？
实施：如何使用可用工具解决优化问题？

二，最优化基础

1，基本术语——最优化问题的数学表达

通常一个最优化问题可以表达为：

x——>决策变量（Decision variable）

f——>目标函数（Objective function）

Ω——>限制（Constraints）

“maximize”与之类似。

一些转化

（1） $maximize_{x}c(x)$ ： $f(x)=-c(x)\rightarrow minimize_{x}f(x)$

（2）限制 $l_{i}(x)\geqslant 0$ ： $g_{i}(x)=-l_{i}(x)\rightarrow g_{i}(x)\leqslant 0$

（3）一些特殊限制：非正（nonpositivity）和非负（nonnegativity）

（4）在问题中通常不考虑严格不等式限制。

2，关于“值”和“结果”的一些术语

可行点（Feasible point）：满足所有约束的决策变量。
可行集（区域）（Feasible set/region）Ω：可行点集。
最佳解决方案（Optimal solution）：达到与任何其他可行点一样好的目标值的（可行）决策变量。
最佳值（Optimal value）：任何最佳解决方案的目标值（如果有）；所有可能目标值的最大下限（最小化）。

3，最小化器（Minimizer）

一个例题（来自课件）：

所以，对与点 $x^{^{*}}\in R^{n}$ 他可以被称为：

局部最小化器（local minimizer）：如果x∗ ∈ Ω，存在 $\epsilon > 0$ ， $f(x)\geqslant f(x^{*})$ 对于所有的 $x^{*}$ $\in$ Ω∩B(x∗,ϵ)
严格最小化器（strict local minimizer）：如果x∗ ∈ Ω，存在 $\epsilon > 0$ ， $f(x)> f(x^{*})$ 对于所有的 $x^{*}$ $\in$ （Ω∩B(x∗,ϵ)）\{x∗}.
全局最小化器（global minimizer）：如果x∗ ∈ Ω，存在 $\epsilon > 0$ ， $f(x)\leqslant f(x^{*})$ 对于所有的x ∈ Ω.
严格全局最小化器（strict global minimizer）如果x∗ ∈ Ω，存在 $\epsilon > 0$ ， $f(x)< f(x^{*})$ 对于所有的x ∈ Ω\{x∗}.

注意：全局最小化器=全局解=最优解；最大化器类似

三，最小化问题可能的结果和分类

1，可能的结果

不可行（Infeasible）：问题中没有找到可行点。

例如： $minimize\underset{x\in R^{n}}{}$ f(x) s.t. x ≥ 1,x ≤ 0

可行（Feasible）：

（1）无界最优解：例如最优解结果是负无穷。

（2）有限最优解：最优解的值是有界的；

但是，这个最优解又分可得和不可得：

如1/x 在 x $\geqslant$ 1的最小值是不可得的

如sinx 在x>0的最小值是可得的

注意：我们可能会有多个最佳解决方案，但最佳值只有一个。

2，分类

有限制的或无限制的。如 Ω = $R^{n}$ ，则是无限制的
线性的或非线性的。 $f$ , $g_{i}$ (i = 1,...,m) and $h_{j}$ (j = 1,...,p) are all linear;如果其中的函数有非线性的，则这类问题也是非线性的
连续的或离散的。如果问题内存在变量是离散的，则是离散的；反之则是连续的。