优化问题笔记(2)

目录

  • 3. 约束优化问题的全局解
    • 3.1 凸优化问题
    • 3.2 二次优化问题
    • 3.3 无约束二次优化问题
    • 3.4 一个典型的二次等式约束二次优化问题
  • Reference

3. 约束优化问题的全局解

3.1 凸优化问题

局部解成为全局解的一类重要的优化问题是所谓凸优化问题. 我们称优化问题 ( f , D ) (f,\mathcal{D}) (f,D) 是凸的/拟凸的,是指 f : D → R ‾ f:\mathcal{D}\to\overline{\mathbb{R}} f:DR 是凸函数/拟凸函数. 称优化问题 { min ⁡ f 0 ( x ) s.t. f i ( x ) ≤ 0 , i = 1 , ⋯ , p , h j ( x ) = 0 , j = 1 , ⋯ , q , x ∈ Ω , \begin{cases}\min f_0(x)\\[1ex]\text{s.t.} f_i(x)\le0,\quad i=1,\cdots,p,\\[1ex]h_j(x)=0,\quad j=1,\cdots,q,\\[1ex]x\in\Omega,\end{cases} minf0(x)s.t.fi(x)0,i=1,,p,hj(x)=0,j=1,,q,xΩ,是凸的/拟凸的, 是指它满足如下条件:

( i ) (i) (i) f 0 f_0 f0 是凸函数/拟凸函数;

( i i ) (ii) (ii) { f i } i = 1 p \{f_{i}\}_{i=1}^{p} {fi}i=1p是凸函数;

( i i i ) (iii) (iii) { h j } j = 1 q \{h_j\}_{j=1}^q {hj}j=1q 是仿射函数;

( i v ) (iv) (iv) Ω \Omega Ω R n \mathbb{R}^n Rn 中凸集.

显然,此时可行集 D \mathcal{D} D 是凸集,( f 0 , D ) f_0,\mathcal{D}) f0,D) 是凸问题/拟凸问题.

命题 4.3.1 (凸问题的局部解是全局解)

(1) 凸优化问题 ( f , D ) (f,\mathcal{D}) (f,D) 的局部解必为全局解.

(2) 拟凸问题 ( f , D ) (f,\mathcal{D}) (f,D) 的严格局部解必为严格全局解.

.(1) 反证法:若 x ∗ x^* x 是凸优化问题 ( f , D ) (f,\mathcal{D}) (f,D) 的局部解而不是全局解,则必存在 x ∈ D x\in\mathcal{D} xD, 使得 f ( x ) < f ( x ∗ ) f(x)<f(x^*) f(x)<f(x).对任意的 θ ∈ ( 0 , 1 ) \theta\in(0,1) θ(0,1),令 x θ : = x ∗ + θ ( x − x ∗ ) x_\theta:=x^*+\theta(x-x^*) xθ:=x+θ(xx).显然 x θ ∈ D x_\theta\in\mathcal{D} xθD,且当 θ \theta θ 充分小时, x θ x_{\theta} xθ 充分接近 x ∗ x^* x,从而 f ( x ∗ ) ≤ f ( x θ ) f(x^*)\leq f(x_\theta) f(x)f(xθ).于是 f ( x ∗ ) ≤ f ( x θ ) ≤ ( 1 − θ ) f ( x ∗ ) + θ f ( x ) < ( 1 − θ ) f ( x ∗ ) + θ f ( x ∗ ) = f ( x ∗ ) . \begin{aligned}f(x^*)\leq f(x_\theta)\leq(1-\theta)f(x^*)+\theta f(x)<(1-\theta)f(x^*)+\theta f(x^*)=f(x^*).\end{aligned} f(x)f(xθ)(1θ)f(x)+θf(x)<(1θ)f(x)+θf(x)=f(x).矛盾.(上式中第二个不等号利用了凸函数的定义.)所以 x ∗ x^* x 是全局解.

(2) 若 x ∗ x^* x 是拟凸优化问题的 ( f , D ) (f,\mathcal{D}) (f,D) 的严格局部解而不是严格全局解,则存在 x ∈ D x\in\mathcal{D} xD 使得 f ( x ) ≤ f ( x ∗ ) f(x)\leq f(x^*) f(x)f(x).沿用上面的符号,类似地,当 θ > 0 \theta>0 θ>0 充分小时,有 f ( x ∗ ) < f ( x θ ) ≤ max ⁡ { f ( x ∗ ) , f ( x ) } = f ( x ∗ ) . f(x^*)<f(x_\theta)\leq\max\{f(x^*),f(x)\}=f(x^*). f(x)<f(xθ)max{f(x),f(x)}=f(x).矛盾. (上式中第二个不等号利用了拟凸函数的定义.)

:对于拟凸问题,非严格局部解未必是全局解. 例如函数 f ( x ) : = { x + 1 x ≤ − 1 0 x ∈ ( − 1 , 1 ) x − 1 x ≥ 1 f(x):=\begin{cases}x+1&x\leq-1\\0&x\in(-1,1)\\x-1&x\geq1\end{cases} f(x):= x+10x1x1x(1,1)x1位于区间 (-1,1) 中每一点都是 ( f , R ) (f,\mathbb{R}) (f,R) 的局部最优解,但它们都不是全局最优解,如下图所示:

在这里插入图片描述
命题 3.1.2 (全局解与平稳点的等价性) 设凸优化问题 ( f , D ) (f,\mathcal{D}) (f,D) 的目标函数 f f f x ∗ ∈ D x^*\in\mathcal{D} xD 处一阶可微, x ∗ ∈ D x^*\in\mathcal{D} xD,那么 x ∗ x^* x ( f , D ) (f,\mathcal{D}) (f,D) 的一个全局最优解当且仅当
∇ f ( x ∗ ) T ( x − x ∗ ) ≥ 0 , ∀ x ∈ D . \begin{align}\nabla f(x^*)^T(x-x^*)&\ge0,\quad\forall x\in\mathcal{D}.\end{align} f(x)T(xx)0,xD.
. 必要性. x ∗ ∈ D x^*\in\mathcal{D} xD 是一个最优解,因为 D \mathcal{D} D 是凸集,由优化问题笔记 (1)中的命题 1.2.1 ∇ f ( x ∗ ) T d = 0 , d T ∇ 2 f ( x ∗ ) d ≥ 0 , ∀ d ∈ V D \nabla f(x^{*})^{T}d=0,\quad d^{T}\nabla^{2}f(x^{*})d\geq0,\quad\forall d\in V_{\mathcal{D}} f(x)Td=0,dT2f(x)d0,dVD,以及由引理 1.2.2 ξ T ( x − x ∗ ) ≥ 0 , ∀ x ∈ D ⟺ ξ T d ≥ 0 , ∀ d ∈ S F D ( x ∗ ) \xi^T(x-x^*)\ge0,\forall x\in\mathcal{D} \iff \xi^Td\ge0,\forall d\in\mathbf{SFD}(x^*) ξT(xx)0,xDξTd0,dSFD(x),于是可以推出(1)成立.

充分性. 设(1)成立. 则 ∀ x ∈ D \forall x\in\mathcal{D} xD,利用凸函数笔记 (1)中的命题 2.2.1,(下文直接引用,不再以链接形式给出笔记出处) f 是凸函数当且仅当 f ( y ) ≥ f ( x ) + ∇ f ( x ) T ( y − x ) , ∀ x , y ∈ d o m ( f ) . f\text{ 是凸函数当且仅当}f(y)\geq f(x)+\nabla f(x)^T(y-x),\quad\forall x,y\in\mathbf{dom}(f). f 是凸函数当且仅当f(y)f(x)+f(x)T(yx),x,ydom(f).

于是有 f ( x ) ≥ f ( x ∗ ) + ∇ f ( x ∗ ) T ( x − x ∗ ) ≥ f ( x ∗ ) . \begin{aligned}f(x)\geq f(x^*)+\nabla f(x^*)^T(x-x^*)\geq f(x^*).\end{aligned} f(x)f(x)+f(x)T(xx)f(x).所以 x ∗ x^* x ( f , D ) (f,\mathcal{D}) (f,D) 的一个最优解.

:当 x ∗ ∈ r i ( D ) x^*\in\mathbf{ri}(\mathcal{D}) xri(D) 时,由引理 1.2.2 可知 (1)等价于 ∇ f ( x ∗ ) ⊥ V D \nabla f(x^*)\perp V_\mathcal{D} f(x)VD. 这意味着 x ∗ x^* x 约束在 V D V_\mathrm{D} VD上是 f f f 的一个平稳点( 满足 ∇ f ( x ∗ ) = 0 \nabla f(x^*)=0 f(x)=0 的点称为 f f f 的平稳点).这一性质在优化问题的数值计算中非常重要,因为判断一个点是否为平稳点比判断其为局部极小点要容易得多.

例 3.1.1 A ∈ R m × n , b ∈ R m A\in\mathbb{R}^{m\times n},\quad b\in\mathbb{R}^m ARm×n,bRm 使得集合 { x ∈ R n ∣ A x = b } \{x\in\mathbb{R}^n|Ax=b\} {xRnAx=b} 非空. 又设函数 f : R n → R f:\mathbb{R}^n\to\mathbb{R} f:RnR 是可微的凸函数.那么, x ∗ ∈ R n x^*\in\mathbb{R}^n xRn 是等式约束凸优化问题 { min ⁡ f ( x ) s . t A x = b \begin{align} \begin{cases}\min f(x)\\\mathrm{s.t}\quad Ax=b\end{cases}\end{align} {minf(x)s.tAx=b的解当且仅当 ∇ f ( x ∗ ) ∈ r a n ( A T ) , A x ∗ = b . \nabla f(x^*)\in\mathbf{ran}(A^T),\quad Ax^*=b. f(x)ran(AT),Ax=b..在 例 1.2.1 中已证明该可行集 D \mathcal{D} D 满足: r i ( D ) = D \mathbf{ri}(D)=\mathcal{D} ri(D)=D V D = n u l l ( A ) = r a n ( A T ) ⊥ . V_D=\mathbf{null}(A)=\mathbf{ran}(A^T)^\perp. VD=null(A)=ran(AT).命题 3.1.2 可知, x ∗ ∈ D x^*\in\mathcal{D} xD 是优化问题 (2)的一个最优解当且仅当 ∇ f ( x ∗ ) ∈ V D ⊥ \nabla f(x^*)\in V_\mathcal{D}^\perp f(x)VD, 即 ∇ f ( x ∗ ) ∈ r a n ( A T ) . \nabla f(x^*)\in\mathbf{ran}(A^T). f(x)ran(AT).

3.2 二次优化问题

当目标函数和约束函数都是二次 (不超过二次) 函数时, L ( x , λ , µ ) L(x, λ, µ) L(x,λ,µ) 关于 x x x也是二次函数,因而其 Taylor 展开式展开到二次项时余项为 0. 此时, 有如下全局解的充分条件.

命题 3.2.1 (二次优化问题全局解的充分条件) 对于不含约束集的约束优化问题 { min ⁡ f 0 ( x ) s . t f i ( x ) ≤ 0 , i = 1 , ⋯ , p , h j ( x ) = 0 , j = 1 , ⋯ , q . \begin{cases}\min f_0(x)\\\mathrm{s.t}\quad f_i(x)\leq0,\quad i=1,\cdots,p,\\h_j(x)=0,\quad j=1,\cdots,q.&\end{cases} minf0(x)s.tfi(x)0,i=1,,p,hj(x)=0,j=1,,q., 设 { f i } i = 0 p , { h j } j = 1 q \{f_i\}_{i=0}^p,\{h_j\}_{j=1}^q {fi}i=0p,{hj}j=1q 均为二次函数, x ∗ ∈ R n x^*\in\mathbb{R}^n xRn,存在 λ ∗ ∈ R p , μ ∗ ∈ R q \lambda^*\in\mathbb{R}^p,\mu^*\in\mathbb{R}^q λRp,μRq,满足 K K T KKT KKT 条件 { x ∗ ∈ D ; λ i ∗ ≥ 0 , i = 1 , ⋯ , p ; λ i ∗ f i ( x ∗ ) = 0 , i = 1 , ⋯ , p ; ∇ x L ( x ∗ , λ ∗ , μ ∗ ) = 0. \begin{cases}x^*\in\mathcal{D};\\\lambda_i^*\geq0,\quad i=1,\cdots,p;\\\lambda_i^*f_i(x^*)=0,\quad i=1,\cdots,p;\\\nabla_xL(x^*,\lambda^*,\mu^*)=0.\end{cases} xD;λi0,i=1,,p;λifi(x)=0,i=1,,p;xL(x,λ,μ)=0.,且有下式: ( x − x ∗ ) T ∇ x 2 L ( x ∗ , λ ∗ , μ ∗ ) ( x − x ∗ ) ≥ 0 , ∀ x ∈ D \begin{align} (x-x^*)^T\nabla_x^2L(x^*,\lambda^*,\mu^*)(x-x^*)\geq0,\quad\forall x\in\mathcal{D}\end{align} (xx)Tx2L(x,λ,μ)(xx)0,xD x ∗ x^* x 是一个全局最优解.

.对任意的 x ∈ D x\in\mathcal{D} xD,记 d : = x − x ∗ d:=x-x^* d:=xx,那么
f 0 ( x ) ≥ L ( x , λ ∗ , μ ∗ ) = L ( x ∗ , λ ∗ , μ ∗ ) + d T ∇ x L ( x ∗ , λ ∗ , μ ∗ ) + 1 2 d T ∇ x 2 L ( x ∗ , λ ∗ , μ ∗ ) T d ≥ L ( x ∗ , λ ∗ , μ ∗ ) = f 0 ( x ∗ ) . \begin{aligned} \begin{aligned}f_0(x)\geq L(x,\lambda^*,\mu^*)\end{aligned}& =L(x^*,\lambda^*,\mu^*)+d^T\nabla_xL(x^*,\lambda^*,\mu^*)+\frac12d^T\nabla_x^2L(x^*,\lambda^*,\mu^*)^Td \\ &\geq L(x^{*},\lambda^{*},\mu^{*})=f_{0}(x^{*}). \end{aligned} f0(x)L(x,λ,μ)=L(x,λ,μ)+dTxL(x,λ,μ)+21dTx2L(x,λ,μ)TdL(x,λ,μ)=f0(x). 所以 x ∗ x^* x 是一个全局最优解.

:当 x ∗ x^* x 是一个正则点时,根据 定义 2.1.3 T ( x ∗ ) ∩ ∂ B ( 0 , 1 ) ⊂ L F D ( x ∗ ) = S F D ( x ∗ ) ‾ \mathcal{T}(x^*)\cap\partial B(0,1)\subset\mathbf{LFD}(x^*)=\mathbf{SFD}(\overline{x^*)} T(x)B(0,1)LFD(x)=SFD(x).根据 引理 1.2.2 可知,本命题的条件(3) 比局部解的二阶必要条件 d T ∇ x 2 L ( x ∗ , λ ∗ , μ ∗ ) d ≥ 0 , ∀ d ∈ T ( x ∗ ) d^T\nabla_x^2L(x^*,\lambda^*,\mu^*)d\geq0,\quad\forall d\in\mathcal{T}(x^*) dTx2L(x,λ,μ)d0,dT(x) 要强.

3.3 无约束二次优化问题

命题 3.3.1 (二次函数之最优解的条件) 设 f ( x ) : = 1 2 x T A x + b T x f(x):=\frac12x^TAx+b^Tx f(x):=21xTAx+bTx, 其中 A A A n n n 阶实对称矩阵, x ∗ ∈ R n x^*\in\mathbb{R}^n xRn.那么,对于无约束优化问题 ( f , R n ) (f,\mathbb{R}^n) (f,Rn),即问题 { min ⁡ f 0 ( x ) s . t f i ( x ) ≤ 0 , i = 1 , ⋯ , p , h j ( x ) = 0 , j = 1 , ⋯ , q . \begin{cases}\min f_0(x)\\\mathrm{s.t}\quad f_i(x)\leq0,\quad i=1,\cdots,p,\\h_j(x)=0,\quad j=1,\cdots,q.&\end{cases} minf0(x)s.tfi(x)0,i=1,,p,hj(x)=0,j=1,,q.,如下三条相互是等价的:

( 3.3.1.1 ) x ∗ (3.3.1.1)\:x^* (3.3.1.1)x f f f 的一个全局极小点;

( 3.3.1.2 ) x ∗ (3.3.1.2)\:x^* (3.3.1.2)x f f f 的一个局部极小点;

( 3.3.1.3 ) A (3.3.1.3)A (3.3.1.3)A 是半正定矩阵且 A x ∗ + b = 0. Ax^*+b=0. Ax+b=0.

.根据全局最小点和局部极小点的定义可以知道, (3.3.1.1) 蕴含 (3.3.1.2). 对 f f f 计算可得 ∇ f ( x ∗ ) = A x ∗ + b , ∇ 2 f ( x ∗ ) = A . \begin{align} \begin{aligned}\nabla f(x^*)=Ax^*+b,\quad\nabla^2f(x^*)=A.\end{aligned}\end{align} f(x)=Ax+b,2f(x)=A.因此,若 (3.3.1.2) 成立,那么,由 必要性命题 1.2.1:若 f f f x ∗ x^* x 处二阶连续可微,且 x ∗ ∈ r i ( D ) x^*\in\mathbf{ri}(\mathcal{D}) xri(D),则 ∇ f ( x ∗ ) T d = 0 , d T ∇ 2 f ( x ∗ ) d ≥ 0 , ∀ d ∈ V D . \nabla f(x^{*})^{T}d=0,\quad d^{T}\nabla^{2}f(x^{*})d\geq0,\forall d\in V_{\mathcal{D}}. f(x)Td=0,dT2f(x)d0,dVD.即知 (3.3.1.3) 成立.

设 (3.3.1.3)成立. 利用(4)可知 ∇ f ( x ∗ ) = 0 \nabla f(x^*)=0 f(x)=0,且 ∇ 2 f ( x ∗ ) \nabla^2f(x^*) 2f(x) 半正定. 于是, ∀ x ∈ R n \forall x\in\mathbb{R}^n xRn,做Taylor 展开,有 f ( x ) = f ( x ∗ ) + 1 2 ( x − x ∗ ) T A ( x − x ∗ ) ≥ f ( x ∗ ) . f(x)=f(x^*)+\frac12(x-x^*)^TA(x-x^*)\geq f(x^*). f(x)=f(x)+21(xx)TA(xx)f(x).所以 x ∗ x^* x f f f R n \mathbb{R}^n Rn 上的最小点. 即(3.3.1.1) 成立.

:二次函数 f ( x ) : = 1 2 x T A x + b T x f(x):=\frac12x^TAx+b^Tx f(x):=21xTAx+bTx 未必总存在极小值点. 事实上,当 A A A 不是半正定矩阵时,或者 A A A半正定但 A x + b = 0 Ax+ b= 0 Ax+b=0 无解时, f ( x ) f(x) f(x) 就不存在极小值点. 此时, inf ⁡ x ∈ R n f ( x ) = − ∞ \inf_{x\in\mathbb{R}^n}f(x)=-\infty infxRnf(x)=.例如,对于 A = [ 0 0 0 1 ] , b : = [ b 1 0 ] , c = 0 , A=\begin{bmatrix}0&0\\0&1\end{bmatrix},\quad b:=\begin{bmatrix}b_1\\0\end{bmatrix},\quad c=0, A=[0001],b:=[b10],c=0, f ( x ) = 1 2 x 2 2 + b 1 x 1 , x : = ( x 1 , x 2 ) T ∈ R 2 f(x)=\frac12x_2^2+b_1x_1,\:x:=(x_1,x_2)^T\in\mathbb{R}^2 f(x)=21x22+b1x1,x:=(x1,x2)TR2.当 b 1 ≠ 0 b_1\neq0 b1=0 时, f ( x ) f(x) f(x) 不存在最小值点.

推论 3.3.1 (二次函数之全局最优解存在的条件) 设 A A A n n n 阶实对称矩阵,那么,二次函数 f ( x ) : = 1 2 x T A x + b T x f(x):=\frac12x^TAx+b^Tx f(x):=21xTAx+bTx R n \mathbb{R}^n Rn 上有最小值点当且仅当 f ( x ) f(x) f(x) R n \mathbb{R}^n Rn 上有下界.

.将 A A A做特征分解 A = U Λ U T A=U\Lambda U^T A=UΛUT ,其中 U U U 是一个 n n n 阶正交矩阵, Λ = d i a g ( λ 1 , . . . , λ n ) \Lambda=\mathbf{diag}(\lambda_1,...,\lambda_n) Λ=diag(λ1,...,λn), 其中 λ 1 ≥ . . . ≥ λ n \lambda_1\geq...\geq\lambda_n λ1...λn A A A 的全部特征值. 令 y : = U T x , q : = U T b y:=U^Tx,~q:=U^Tb y:=UTx, q:=UTb, 那么
f ( x ) = 1 2 y T Λ y + q T y = 1 2 ∑ i = 1 n ( λ i y i 2 + 2 q i y i ) . f(x)=\frac12y^T\Lambda y+q^Ty=\frac12\sum_{i=1}^n(\lambda_iy_i^2+2q_iy_i). f(x)=21yTΛy+qTy=21i=1n(λiyi2+2qiyi).所以 f ( x ) f(x) f(x) R n \mathbb{R}^n Rn 上有下界当且仅当对每一个 1 ≤ i ≤ n 1\leq i\leq n 1in, 单变量函数 g i ( y ) : = λ i y 2 + 2 q i y g_i(y):=\lambda_iy^2+2q_iy gi(y):=λiy2+2qiy在 R 上有下界.即 λ i ≥ 0 \lambda_i\geq0 λi0 λ i = 0 \lambda_i=0 λi=0 时,有 q i = 0 q_i=0 qi=0. 此时,当 y i : = { − q i λ i λ i > 0 , 任意值 λ i = 0 , i = 1 , . . . , n . y_i:=\begin{cases}-\frac{q_i}{\lambda_i}&\lambda_i>0,\\\text{任意值}&\lambda_i=0,&\end{cases}\quad i=1,...,n. yi:={λiqi任意值λi>0,λi=0,i=1,...,n.时, x = U y x= Uy x=Uy f ( x ) f(x) f(x) R n \mathbb{R} ^n Rn 上的一个最小值点.

例 3.3.1 (最小二乘问题 (LSP: Least Square Problem)) 给定矩阵 A ∈ R m × n A\in\mathbb{R}^{m\times n} ARm×n 和向量 b ∈ R m b\in\mathbb{R}^m bRm, 如下无约束优化问题 min ⁡ ∥ A x − b ∥ 2 2 \begin{align} \min\|Ax-b\|_2^2\end{align} minAxb22称为最小二乘问题. x ∗ x^* x 是其最优解当且仅当 ( A T A ) x ∗ = A T b (A^TA)x^*=A^Tb (ATA)x=ATb. 该问题的解一定存在且构成一个 n − r n-r nr 维仿射空间,其中 r : = r a n k ( A ) r: = \mathbf{rank}( A) r:=rank(A)

.计算可得 ∥ A x − b ∥ 2 2 = x T ( A T A ) x − 2 b T A x + ∥ b ∥ 2 2 , \|Ax-b\|_2^2=x^T(A^TA)x-2b^TAx+\|b\|_2^2, Axb22=xT(ATA)x2bTAx+b22,根据线性代数的内容,假设 A A A 的列向量分别是 α 1 , ⋯ , α n \alpha_1,\cdots,\alpha_n α1,,αn,那么有: ∣ A X 0 − b ∣ 最小 ⟺ 对于任意的  X 都有  ∣ A X 0 − b ∣ ≤ ∣ A X − b ∣ ⟺ A X 0 − b ⊥ U 其中  U = { A X ∣ X ∈ R n } = L ( α 1 , ⋯ , α n ) ⟺ A X 0 − b ⊥ α i ( i = 1 , 2 , ⋯ , n ) ⟺ α i ′ ( A X 0 − b ) = 0 ( i = 1 , 2 , ⋯ , n ) ⟺ ( α 1 ′ ⋮ α n ′ ) ( A X 0 − b ) = 0 ⟺ A ′ ( A X 0 − b ) = 0 ⟺ A ′ A X 0 = A ′ b . \begin{aligned} |AX_{0}-b|\text{ 最小}& \Longleftrightarrow\text{对于任意的 }X\text{ 都有 }|AX_0-b|\leq|AX-b| \\ &\Longleftrightarrow AX_0-b\perp U\text{ 其中 }U=\{AX|X\in\mathbb{R}^n\}=L(\alpha_1,\cdots,\alpha_n) \\ &\Longleftrightarrow AX_0-b\perp\alpha_i(i=1,2,\cdots,n) \\ &\Longleftrightarrow\alpha_i'(AX_0-b)=0(i=1,2,\cdots,n) \\ &\left.\Longleftrightarrow\left(\begin{array}{c}\alpha_1'\\\vdots\\\alpha_n'\end{array}\right.\right)(AX_0-b)=0 \\ &\Longleftrightarrow A^{\prime}(AX_{0}-b)=0 \\ &\Longleftrightarrow A^{\prime}AX_{0}=A^{\prime}b. \end{aligned} AX0b 最小对于任意的 X 都有 AX0bAXbAX0bU 其中 U={AXXRn}=L(α1,,αn)AX0bαi(i=1,2,,n)αi(AX0b)=0(i=1,2,,n) α1αn (AX0b)=0A(AX0b)=0AAX0=Ab. r : = r a n k ( A ) r: = \mathbf{rank}( A) r:=rank(A),即 r r r表示矩阵的秩

一方面 r ( A ′ A , A ′ b ) = r ( A ′ ( A , b ) ) ≤ r ( A ′ ) = r ( A ) . r(A^{\prime}A,A^{\prime}b)=r(A^{\prime}(A,b))\leq r(A^{\prime})=r(A). r(AA,Ab)=r(A(A,b))r(A)=r(A).另一方面 r ( A ′ A , A ′ b ) ≥ r ( A ′ A ) = r ( A ) , r(A^{\prime}A,A^{\prime}b)\geq r(A^{\prime}A)=r(A), r(AA,Ab)r(AA)=r(A),这就说明 r ( A ′ A , A ′ b ) = r ( A ) = r ( A ′ A ) . r(A^{\prime}A,A^{\prime}b)=r(A)=r(A^{\prime}A). r(AA,Ab)=r(A)=r(AA).

所以线性方程组 ( A T A ) x = A T b (A^TA)x\:=\:A^Tb (ATA)x=ATb 有解,且其解就是上述最小二乘问题的解.

根据上面的推导可以知道,该线性方程组的增广矩阵 ( A T A , A T b ) = A T ( A , b ) (A^TA,A^Tb)=A^T(A,b) (ATA,ATb)=AT(A,b) 的秩就等于 r a n k ( A T ) = r = r a n k ( A T A ) , \mathbf{rank}(A^T)=r=\mathbf{rank}(A^TA), rank(AT)=r=rank(ATA), 所以该线性方程组有解,其有 n − r n-r nr 个基向量,且解空间构成一个 n − r n-r nr 维仿射空间.

3.4 一个典型的二次等式约束二次优化问题

给定 n n n阶对称矩阵 A , B A,B AB,考虑如下的优化问题: { min ⁡ x T A x s . t x T x = 1 , x T B x = 1. \begin{align}\begin{cases}\min x^TAx\\\mathrm{s.t~}x^Tx=1,\\x^TBx=1.&\end{cases}\end{align} minxTAxs.t xTx=1,xTBx=1. D : = { x ∈ R n ∣ x T x = 1 , x T B x = 1 } \mathcal{D}:=\{x\in\mathbb{R}^n|x^Tx=1,x^TBx=1\} D:={xRnxTx=1,xTBx=1},当 D \mathcal{D} D 非空时, 根据函数的连续性可知该优化问题的全局最优解是存在的.

x ∗ ∈ D x^∗ ∈ \mathcal{D} xD 是问题(6)的全局解, 且 { x ∗ , B x ∗ } \left \{ x^∗, Bx^∗ \right \} {x,Bx} 线性无关, 根据局部解的二阶必要条件 (命题 2.2.5),存在 α ∗ , β ∗ ∈ R \alpha^*,\beta^*\in\mathbb{R} α,βR, 使得 H x ∗ = 0 , d T H d ≥ 0 , ∀ d ∈ T ( x ∗ ) , \begin{align} Hx^*=0,\quad d^THd\geq0,\quad\forall d\in\mathcal{T}(x^*),\end{align} Hx=0,dTHd0,dT(x),其中, T ( x ∗ ) : = ( s p a n { x ∗ , B x ∗ } ) ⊥ \mathcal{T}(x^*):=\left(\mathbf{span}\{x^*,Bx^*\}\right)^\perp T(x):=(span{x,Bx}) 是问题(6) 的约束条件的切空间,而根据命题 3.2.1 H x ∗ = 0 , d T H d ≥ 0 , ∀ d ∈ D − x ∗ , \begin{align} Hx^*=0,\quad d^THd\geq0,\quad\forall d\in\mathcal{D}-x^*,\end{align} Hx=0,dTHd0,dDx,时, x ∗ x^* x 是问题(6)全局解.

下面命题则可以说明必要条件可以加强为 H x ∗ = 0 , H ⪰ 0. Hx^*=0,~H\succeq0. Hx=0, H0.

命题 3.4.1 (Bar-on and Grasse) 设 x ∗ ∈ D x^*\in\mathcal{D} xD,且使得 { x ∗ , R x ∗ } \{x^*,Rx^*\} {x,Rx} 线性无关,则 x ∗ x^* x 是问题(6)的全局解当且仅当存在 α ∗ , β ∗ ∈ R \alpha^*,\beta^*\in\mathbb{R} α,βR, 使得(8)所定义的 H H H 满足: H x ∗ = 0 , H ⪰ 0. \begin{align} Hx^*=0,\quad H\succeq0.\end{align} Hx=0,H0.

Reference

包括但不限于以下内容:

(1)Stephen Boyd, Stephen P Boyd, and Lieven Vandenberghe. Convex
optimization. Cambridge university press, 2004.

(2) JR Bar-On and KA Grasse. Global optimization of a quadratic functional with quadratic equality constraints. Journal of Optimization Theory and Applications, 82(2):379–386, 1994.

(3) JR Bar-On and KA Grasse. Global optimization of a quadratic functional with quadratic equality constraints, part 2. Journal of Optimization Theory and Applications, 93(3):547–556, 1997.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/230580.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

算法-动态规划

动态规划算法 应用场景-背包问题 介绍 动态规划(Dynamic Programming)算法的核心思想是&#xff1a;将大问题划分为小问题进行解决&#xff0c;从而一步步获取最优解的处理算法动态规划算法与分治算法类似&#xff0c;其基本思想也是将待求解问题分解成若干个子问题&#xff0…

Centos7运行pyppeteer报错Browser closed unexpectedly经验总结【必须手动安装谷歌浏览器以自动安装一些依赖】

参考解决方案&#xff1a;pyppeteer.errors.BrowserError: Browser closed unexpectedly - Stack Overflow ldd ~/.local/share/pyppeteer/local-chromium/588429/chrome-linux/chrome | grep not found 注意&#xff1a;安装google-chrome是为了安装这些缺失的so库&#xff0…

针对这两个趋势,3.0全新新零售商业模式可以采取以下策略:

国内市场确实存在“消费升级”和“消费降级”两个趋势&#xff0c;这是由于不同消费者群体的需求和购买力存在差异。消费升级主要发生在高端市场&#xff0c;消费者愿意为高品质、高价值、高价格的商品和服务付出更多。而消费降级则主要发生在中低端市场&#xff0c;消费者更加…

修改antd表单Form.Item的label颜色的方法

默认的Form.item的标签颜色为黑色&#xff0c;但是如果我是用深色背景&#xff0c;这样的情况下表单就看不清楚label了&#xff0c;就像下面的情况&#xff0c;密码两个字完全看不到&#xff0c;所以想把它改为白色字体&#xff0c;就像上面的账号两个字一样&#xff1a; 所以怎…

随笔记录-springboot_LoggingApplicationListener+LogbackLoggingSystem

环境&#xff1a;springboot-2.3.1 加载日志监听器初始化日志框架 SpringApplication#prepareEnvironment SpringApplicationRunListeners#environmentPrepared EventPublishingRunListener#environmentPrepared SimpleApplicationEventMulticaster#multicastEvent(Applicati…

HarmonyOS ArkTS Tab使用方法(十五)

一&#xff0c;使用方法 Android中Java代码使用fragment进行Tab切换&#xff0c;下面使用HarmonyOS ArkTS 语言实现Tab的使用&#xff0c;代码如下&#xff1a; /** Copyright (c) 2022 Huawei Device Co., Ltd.* Licensed under the Apache License, Version 2.0 (the "…

(4)Linux的Redirect 重定向以及打包与压缩

&#x1f4ad; 写在前面 本章仍然是继续对Linux 常用指令进行介绍&#xff0c;将讲解重定向、时间相关的指令、文件查找和打包压缩等指令。我们将初次理解 "Linux下一切皆文件"这一概念&#xff0c;我将通过一个有趣的故事去讲解它。 初识重定向&#xff08;Redire…

如何在本地Docker中部署MinIO服务并实现远程访问管理界面

文章目录 前言1. Docker 部署MinIO2. 本地访问MinIO3. Linux安装Cpolar4. 配置MinIO公网地址5. 远程访问MinIO管理界面6. 固定MinIO公网地址 前言 MinIO是一个开源的对象存储服务器&#xff0c;可以在各种环境中运行&#xff0c;例如本地、Docker容器、Kubernetes集群等。它兼…

全国巡展“2024人工智能展·世亚智博会”3月上海·4月杭州·6月北京

近年来&#xff0c;我国积极布局人工智能产业&#xff0c;竞跑“未来赛道”。随着各行业、各领域对人工智能需求的日益增长&#xff0c;与实体经济深度融合的新模式不断涌现&#xff0c;形成了具有中国特色的研发体系和应用生态&#xff0c;引领着经济社会各领域从数字化、网络…

web前端项目-影视网站开发

影视网站 本项目主要使用到了 HTML&#xff1b;CSS&#xff1b;JavaScript脚本技术&#xff1b;AJAX无刷新技术&#xff1b;jQuery等技术实现了动态影视网页 运行效果&#xff1a; 一&#xff1a;index.html <!DOCTYPE> <html lang"en"> <head>…

python采集电影数据JS逆向, 并制作可视化

嗨喽~大家好呀&#xff0c;这里是魔王呐 ❤ ~! python更多源码/资料/解答/教程等 点击此处跳转文末名片免费获取 环境使用&#xff1a; Python 3.10 Pycharm nodejs 模块使用&#xff1a; requests -> pip install requests execjs -> pip install pyexecjs json …

电流源输出的是直流电还是交流电(高精度电流源)

电流源是一种能够提供电流输出的电子设备&#xff0c;它可以产生直流电流或交流电流&#xff0c;具体取决于其设计和应用的需要。 首先&#xff0c;我们来讨论电流源输出直流电的情况。直流电是指电流的方向始终保持不变的电流形式。在一些特定的应用中&#xff0c;需要稳定的、…

【全志T113-i】OK113i-S开发板-适配10寸LCD显示

前言 本文介绍如何在OK113i-S开发板上适配一个自己的10寸LCD。 OK113i-S 是一个优秀的开发板&#xff0c;支持lvds 单8&#xff0c;双8显示&#xff0c;最大分辨率1280x800 也支持RG666显示&#xff0c;由于我手头只有lvds 单8&#xff0c;40pin的显示器&#xff0c;今天我就…

设计模式—装饰模式

与其明天开始&#xff0c;不如现在行动&#xff01; 文章目录 装饰模式—穿衣服&#x1f48e;总结 装饰模式—穿衣服 装饰模式&#xff08;Decorator&#xff09;可以动态的给对象添加一些额外的职责。 Component是定义一个对象接口&#xff0c;可以给这些对象动态地添加职责。…

Flutter ios 使用ListView 。滚动时 AppBar 改变颜色问题

在Ios 中 列表滚动条向下滚动一段距离后 会导致 AppBar 颜色改变 可以给 AppBar 或者 AppBarTheme。 scrolledUnderElevation: 0.0 属性 全局&#xff1a; MaterialApp(theme: ThemeData(appBarTheme: AppBarTheme(scrolledUnderElevation: 0.0)) ) 局部&#xff1a; App…

代码随想录算法训练营第二十天 |654.最大二叉树 、 617.合并二叉树 、700.二叉搜索树中的搜索 、 98.验证二叉搜索树

今天学习内容&#xff1a;654.最大二叉树 、 617.合并二叉树 、700.二叉搜索树中的搜索 、 98.验证二叉搜索树 讲解&#xff1a;代码随想录 654.最大二叉树 力扣&#xff08;LeetCode&#xff09;官网 - 全球极客挚爱的技术成长平台 最大二叉树的构建过程如上&#xff0c;图…

STM32----HAL库函数

1.STM32系统框架 1.1 Cortex-M内核&芯片 1.2 F1系统框架 4个主动单元4个被动单元 AHB&#xff1a;高级高性能总线 APH&#xff1a;高级外围总线 其中 1 为 主动单元 &#xff0c; 2为被动单元 总线时钟频率&…

低代码开发平台的优势及应用场景分析

文章目录 低代码是什么&#xff1f;低代码起源低代码分类低代码的能力低代码的需求市场需要专业开发者需要数字化转型需要 低代码的趋势如何快速入门低代码开发低代码应用领域 低代码是什么&#xff1f; 低代码&#xff08;Low-code&#xff09;是著名研究机构Forrester于2014…

充电器如何测试?有哪些测试参数?用电源模块自动化测试系统测试需要哪些步骤?

充电器测试参数 1. 输入、输出电压测试 通过万用表或者其它精密测试设备测量充电器的输入、输出电压测试&#xff0c;检测输入、输出电压是否在规定范围内&#xff0c;以免造成设备损坏。 2. 输入、输出电流测试 测试充电器的输入、输出电流&#xff0c;确保其符合设计要求&…

【AIGC重塑教育】AI大模型驱动的教育变革与实践

文章目录 &#x1f354;现状&#x1f6f8;解决方法✨为什么要使用ai&#x1f386;彩蛋 &#x1f354;现状 AI正迅猛地改变着我们的生活。根据高盛发布的一份报告&#xff0c;AI有可能取代3亿个全职工作岗位&#xff0c;影响全球18%的工作岗位。在欧美&#xff0c;或许四分之一…