凸优化理论学习二|凸函数及其相关概念

系列文章目录

凸优化理论学习一|最优化及凸集的基本概念

文章目录

  • 系列文章目录
  • 一、凸函数
    • (一)凸集
    • (二)凸函数的定义及举例
    • (三)凸函数的证明
      • 1、将凸函数限制在一条直线上
      • 2、判断函数是否为凸函数的一阶条件
      • 3、判断函数是否为凸函数的二阶条件
    • (四)下水平集和表观
    • (五)詹森不等式
  • 二、函数的保凸运算
    • (一)证明一个函数是凸函数
    • (二)保留凸性的运算
      • 1、非负缩放、总和、积分
      • 2、与仿射函数的复合
      • 3、逐点最大值
      • 4、逐点取上界
      • 5、取下确界
      • 6、与标量函数复合
      • 7、与向量函数复合
  • 三、构造性凸分析
  • 四、透视与共轭
    • (一)透视函数
    • (二)共轭函数
  • 五、拟凸性
    • (一)拟凸函数(quasiconvex function) 定义
    • (二)常见的拟凸、拟凹、拟线性函数
    • (三)拟凸函数的性质


一、凸函数

(一)凸集

S S S n n n维欧氏空间 R n R^n Rn中一个集合,若对 S S S中任意两点,连接他们的线段仍属于 S S S;换言之,对 S S S中任意两点 x ( 1 ) x^{(1)} x(1) x ( 2 ) x^{(2)} x(2)及每个实数 λ ∈ [ 0 , 1 ] \lambda\in[0,1] λ[0,1],都有:
λ x ( 1 ) + ( 1 − λ ) x ( 2 ) ∈ S \lambda x^{(1)}+(1-\lambda)x^{(2)}\in S λx(1)+(1λ)x(2)S
则称 S S S为凸集,其中 x ( 1 ) x^{(1)} x(1) x ( 2 ) x^{(2)} x(2)表示向量, λ x ( 1 ) + ( 1 − λ ) x ( 2 ) \lambda x^{(1)}+(1-\lambda)x^{(2)} λx(1)+(1λ)x(2)称为 x ( 1 ) x^{(1)} x(1) x ( 2 ) x^{(2)} x(2)的凸组合。

(二)凸函数的定义及举例

S S S n n n维欧氏空间 R n R^n Rn中的非空凸集, f f f是定义在 S S S上的实函数,如果对任意的 x , y ∈ S x,y\in S x,yS 0 ≤ θ ≤ 1 0\leq \theta \leq 1 0θ1,有:
f ( θ x + ( 1 − θ ) y ) ≤ θ f ( x ) + ( 1 − θ ) f ( y ) f(\theta x+(1-\theta)y)\leq\theta f(x)+(1-\theta)f(y) f(θx+(1θ)y)θf(x)+(1θ)f(y)
则称 f f f S S S上的凸函数。(这里的凸函数与高数里面定义的凸函数则恰恰相反。)

  • 如果 -f 是凸的,则 f 是凹的
  • 当不需要满足等号条件时, f f f为严格凸函数
    在这里插入图片描述

标量/一维空间内的凸函数:

  • 仿射集:在实数域的所有 a x + b , a , b ∈ R ax+b,a,b\in R ax+b,a,bR
  • 指数函数: e a x , a ∈ R e^{a x},a\in R eax,aR
  • 幂函数: x α , α ≥ 1 x^{\alpha},\alpha\geq1 xα,α1 α ≤ 0 \alpha\leq0 α0
  • 幂函数的绝对值: ∣ x ∣ p , p ≥ 1 |x|^p,p\geq1 xp,p1
  • 负熵函数: x l o g x xlogx xlogx,定义域 R + + R_{++} R++

标量/一维空间内的凹函数:

  • 仿射集:在实数域的所有 a x + b , a , b ∈ R ax+b,a,b\in R ax+b,a,bR
  • 幂函数: x α , 0 ≤ α ≤ 1 x^{\alpha},0\leq\alpha\leq1 xα,0α1
  • 熵函数: − x l o g x -xlogx xlogx,定义域 R + + R_{++} R++

n 维欧几里得空间的凸函数:

  • 仿射函数: f ( x ) = a T x + b f(x)=a^Tx+b f(x)=aTx+b
  • 任意范式: ∣ ∣ x ∣ ∣ p = ( ∣ x 1 ∣ p + . . . ∣ x n ∣ p ) 1 / p f o r p ≥ 1 ||x||_p=(|x_1|^p+..._|x_n|^p)^{1/p} \ for\ p\geq1 ∣∣xp=(x1p+...xnp)1/p for p1 ∣ ∣ x ∣ ∣ ∞ = m a x { ∣ x 1 ∣ , . . . , ∣ x 2 ∣ } ||x||_∞=max\{|x_1|,...,|x_2|\} ∣∣x=max{x1,...,x2}
  • 平方和: ∣ ∣ x ∣ ∣ 2 2 = x 1 2 + . . . + x n 2 ||x||^2_2=x_1^2+...+x_n^2 ∣∣x22=x12+...+xn2
  • 最大值函数: m a x ( x ) = m a x { x 1 , x 2 , . . . , x n } max(x)=max\{x_1,x_2,...,x_n\} max(x)=max{x1,x2,...,xn}
  • softmax函数或log-sum-exp函数: l o g ( e x p x 1 + . . . + e x p x n ) log(exp\ x_1+...+exp\ x_n) log(exp x1+...+exp xn)

矩阵空间上的凸函数:

  • 仿射函数: f ( X ) = t r ( A T X ) + b = ∑ i = 1 m ∑ j = 1 n A i j X i j + b f(X)=tr(A^TX)+b=\sum_{i=1}^m\sum_{j=1}^nA_{ij}X_{ij}+b f(X)=tr(ATX)+b=i=1mj=1nAijXij+b,其中 A ∈ R m × n , b ∈ R A\in R^{m\times n},b\in R ARm×n,bR
  • 谱范数(最大奇异值)是凸的: f ( X ) = ∣ ∣ X ∣ ∣ 2 = σ m a x ( X ) = ( λ m a x ( X T X ) ) 1 / 2 f(X)=||X||_2=\sigma_{max}(X)=(\lambda_{max}(X^TX))^{1/2} f(X)=∣∣X2=σmax(X)=(λmax(XTX))1/2
  • 对数行列式: X ∈ S + + n , f ( X ) = l o g d e t X X\in S^n_{++},f(X)=log\ det\ X XS++n,f(X)=log det X

(三)凸函数的证明

在判断函数是凸函数还是凹函数的时候,不管是一阶还是二阶条件,必须满足函数f的定义域domf必须是凸集这个前提条件

1、将凸函数限制在一条直线上

如果能够把一个凸函数限制到一条直线上后仍是凸的,就可以判定这个凸函数是凸的:

  • 数学表达式理解:函数 f : R n → R f:R^n\rightarrow R f:RnR是凸函数当且仅当对于任意的 x ∈ d o m f x\in dom \ f xdom f和任意向量 v ∈ R n v\in R^n vRn,函数 g ( t ) = f ( x + t v ) , d o m g = { t ∣ x + t v ∈ d o m f } g(t)=f(x+tv),dom\ g=\{t|x+tv\in dom\ f\} g(t)=f(x+tv),dom g={tx+tvdom f}为凸函数。
  • 通俗理解:将n维空间的函数映射到一维平面上,问题就转换为判断一维空间中的函数 g ( t ) g(t) g(t)是否为凸函数。

应用示例:
在这里插入图片描述

2、判断函数是否为凸函数的一阶条件

假设函数 f f f可微,其梯度 Δ f \Delta f Δf在开集定义域中处处存在,则函数f是凸函数的充要条件是定义域为凸集,且对任意 x , y ∈ d o m f x,y\in dom\ f x,ydom f,下式成立:
f ( y ) ≥ f ( x ) + Δ f ( x ) T ( y − x ) f(y)\geq f(x)+\Delta f(x)^T(y-x) f(y)f(x)+Δf(x)T(yx)
梯度定义为:
Δ f ( x ) = ( ∂ f ( x ) ∂ x 1 , ∂ f ( x ) ∂ x 2 , . . . , ∂ f ( x ) ∂ x n ) \Delta f(x)=(\frac{\partial f(x)}{\partial x_1},\frac{\partial f(x)}{\partial x_2},...,\frac{\partial f(x)}{\partial x_n}) Δf(x)=(x1f(x),x2f(x),...,xnf(x))
在这里插入图片描述

3、判断函数是否为凸函数的二阶条件

假设函数 f f f二阶可微,则对于函数 f f f的开集定义域dom内的任意一点,它的Hessian矩阵或者二阶导数 Δ 2 f \Delta^2f Δ2f存在,函数 f f f是凸函数的充要条件是其Hessian矩阵为半正定矩阵:
Δ 2 f ( x ) i j = ∂ 2 f ( x ) ∂ x i ∂ y j , i , j = 1 , . . . , n , Δ 2 f ( x ) ≥ 0 , ∀ x ∈ d o m f \Delta^2 f(x)_{ij}=\frac{\partial^2 f(x)}{\partial x_i\partial y_j},i,j=1,...,n,\Delta^2 f(x)\geq0,∀x\in dom\ f Δ2f(x)ij=xiyj2f(x),i,j=1,...,n,Δ2f(x)0,xdom f

其梯度 Δ f \Delta f Δf在开集定义域中处处存在,则函数f是凸函数的充要条件是定义域为凸集,且对任意 x , y ∈ d o m f x,y\in dom\ f x,ydom f,下式成立:
f ( y ) ≥ f ( x ) + Δ f ( x ) T ( y − x ) f(y)\geq f(x)+\Delta f(x)^T(y-x) f(y)f(x)+Δf(x)T(yx)
梯度定义为:
Δ f ( x ) = ( ∂ f ( x ) ∂ x 1 , ∂ f ( x ) ∂ x 2 , . . . , ∂ f ( x ) ∂ x n ) \Delta f(x)=(\frac{\partial f(x)}{\partial x_1},\frac{\partial f(x)}{\partial x_2},...,\frac{\partial f(x)}{\partial x_n}) Δf(x)=(x1f(x),x2f(x),...,xnf(x))

应用示例:
在这里插入图片描述

(四)下水平集和表观

Epigraph和α-sublevel set的联系是对于任意一个t,都对应一个α-sublevel set。

下水平集α-sublevel set:

  • 函数 f : R n → R f:R^n\rightarrow R f:RnR的α-下水平集定义为:
    C α = { x ∈ d o m f ∣ f ( x ) ≤ α } C_{\alpha}=\{x\in dom\ f|f(x)\leq\alpha\} Cα={xdom ff(x)α}
  • 对于任何的值,凸函数的下水平集仍然是凸集,但反之不一定正确,即某函数的所有下水平集都是凸集,但是这个函数可能不是凸函数

表观Epigraph:

  • f 是凸的当且仅当其表观是凸集
  • 函数 f : R n → R f:R^n\rightarrow R f:RnR的图像定义为:(是 R n + 1 R^{n+1} Rn+1空间的一个子集)
    { ( x , f ( x ) ) ∣ x ∈ d o m f } \{(x,f(x))|x\in dom\ f\} {(x,f(x))xdom f}
  • 函数 f : R n → R f:R^n\rightarrow R f:RnR的表观定义为:
    e p i f = { ( x , t ) ∈ R t + 1 ∣ x ∈ d o m f f ( x ) ≤ t } epif=\{(x,t)\in R^{t+1}|x\in dom\ f\,f(x)\leq t\} epif={(x,t)Rt+1xdom ff(x)t}
    在这里插入图片描述

(五)詹森不等式

基本不等式:如果 f f f是凸的,对于 x , y ∈ d o m f , 0 ≤ θ ≤ 1 x,y\in dom\ f,0\leq\theta\leq1 x,ydom f0θ1,有:
f ( θ x + ( 1 − θ ) y ) ≤ θ f ( x ) + ( 1 − θ ) f ( y ) f(\theta x+(1-\theta)y)\leq\theta f(x)+(1-\theta)f(y) f(θx+(1θ)y)θf(x)+(1θ)f(y)

应用示例:在这里插入图片描述在这里插入图片描述

拓展:如果 f f f是凸的,并且 z z z d o m f dom f domf上的一个随机向量,则有:
f ( E z ) ≤ E f ( z ) f(Ez)\leq Ef(z) f(Ez)Ef(z)
基本不等式在离散分布的特殊情况:
p r o b ( z = x ) = θ , p r o b ( z = y ) = 1 − θ prob(z=x)=\theta,\ prob(z=y)=1-\theta prob(z=x)=θ, prob(z=y)=1θ

二、函数的保凸运算

(一)证明一个函数是凸函数

根据凸优化理论学习一|最优化及凸集的基本概念可知:证明集合 C 是凸集的方法:

  • 基于定义:如果 x 1 , x 2 ∈ C , 0 ≤ θ ≤ 1 x_1,x_2\in C,0\leq\theta\leq 1 x1,x2C,0θ1,则有 θ x 1 + ( 1 − θ ) x 2 ∈ C \theta x_1+(1-\theta)x_2\in C θx1+(1θ)x2C
  • 使用凸函数;
  • 表明 C 是通过保留凸性的操作从简单凸集(超平面、半空间、范数球……)获得的,这里保留凸性的操作有:交运算、仿射映射、透视函数、线性分数函数等。
  • 基于定义(通常通过将凸函数限制在一条直线上来简化)
  • 基于凸函数的一、二阶条件
  • 证明函数f是通过保留凸性的操作从简单的凸函数获得的,这里保留凸性的操作有:非负加权和、与仿射函数的复合、逐点极大值和上确值、与标量或向量函数的复合、取下确界、透视函数等。

(二)保留凸性的运算

1、非负缩放、总和、积分

非负倍数: 如果 f f f是凸函数,且 α ≥ 0 \alpha\geq 0 α0,则 α f \alpha f αf是凸函数

和: 如果 f 1 , f 2 f_1,f_2 f1,f2均为凸函数,则 f 1 + f 2 f_1+f_2 f1+f2也为凸函数

无穷总和: 如果 f 1 , f 2 , . . . f_1,f_2,... f1,f2,...均为凸函数,则 ∑ i = 1 ∞ f i \sum_{i=1}^∞f_i i=1fi也为凸函数

积分: 如果 f ( x , α ) f(x,\alpha) f(x,α)对于每一个 α ∈ A \alpha\in A αA是凸函数,那么 ∫ α ∈ A f ( x , α ) d α \int_{\alpha\in A} {f(x,\alpha)} \,{\rm d}\alpha αAf(x,α)dα也为凸函数

2、与仿射函数的复合

具有仿射函数的(预)组合:如果 f f f 是凸函数,则 f ( A x + b ) f (Ax + b) f(Ax+b) 也是凸函数。即自变量先进行仿射变换,再代入函数后仍会保持凸性。

证明:
在这里插入图片描述

  • 线性不等式的对数障碍函数: f ( x ) = − ∑ i = 1 m l o g ( b i − a i T x ) , d o m f = { x ∣ a i T < b , i = 1 , 2 , . . . , m } f(x)=-\sum_{i=1}^m log(b_i-a_i^Tx),dom \ f=\{x|a_i^T<b,i=1,2,...,m\} f(x)=i=1mlog(biaiTx),dom f={xaiT<b,i=1,2,...,m}
  • 仿射函数的任意范数: f ( x ) = ∣ ∣ A x + b ∣ ∣ f(x)=||Ax+b|| f(x)=∣∣Ax+b∣∣

3、逐点最大值

f 1 , f 2 , . . . , f m f_{1},f_{2},...,f_{m} f1,f2,...,fm是凸函数,则 f ( x ) = m a x { f 1 , f 2 , . . . , f m } f(x)=max\{f_{1},f_{2},...,f_{m}\} f(x)=max{f1,f2,...,fm}是凸函数。

证明:(以两个函数为例)
在这里插入图片描述

  • 分段线性函数: f ( x ) = m a x i = 1 , 2 , . . . , m ( a i T x + b i ) f(x)=\mathop{max}\limits_{i=1,2,...,m}(a_{i}^{T}x+b_{i}) f(x)=i=1,2,...,mmax(aiTx+bi)是凸函数
  • x ∈ R n x\in \R^{n} xRn的前 r r r个最大分量之和是凸函数: f ( x ) = x [ 1 ] + x [ 2 ] + . . . + x [ r ] f(x)=x_{[1]}+x_{[2]}+...+x_{[r]} f(x)=x[1]+x[2]+...+x[r] x [ i ] x_{[i]} x[i] x x x的从大到小排列的第 i i i个分量)

4、逐点取上界

如果对于每个 y ∈ A y ∈ A yA f ( x , y ) f (x, y) f(x,y) 是关于 x x x的凸函数,则 g ( x ) = s u p y ∈ A f ( x , y ) g(x) = {sup}_{y∈A} f (x, y) g(x)=supyAf(x,y) 是凸函数。

  • 集合 C C C的支撑函数: S C ( x ) = s u p y ∈ C y T x S_{C}(x)=\mathop{sup}\limits_{y\in C}y^{T}x SC(x)=yCsupyTx是凸函数
  • 集合 C C C点到给定点 x x x的最远距离: f ( x ) = s u p y ∈ C ∣ ∣ x − y ∣ ∣ f(x)=\mathop{sup}\limits_{y\in C}||x-y|| f(x)=yCsup∣∣xy∣∣
  • 对称矩阵 X ∈ S n X\in S^{n} XSn的最大特征值: λ m a x ( X ) = s u p ∣ ∣ y ∣ ∣ 2 = 1 y T X y \lambda_{max}(X)=\mathop{sup}\limits_{||y||_{2}=1}y^{T}Xy λmax(X)=∣∣y2=1supyTXy

5、取下确界

f ( x , y ) f(x,y) f(x,y)关于 ( x , y ) (x,y) (x,y)整体是凸函数, C C C是凸集,则 g ( x ) = i n f y ∈ C f ( x , y ) g(x)=\mathop{inf}\limits_{y\in C}f(x,y) g(x)=yCinff(x,y)是凸函数

x x x到凸集 S S S的距离 d i s t ( x , S ) = i n f y ∈ S ∣ ∣ x − y ∣ ∣ dist(x,S)=\mathop{inf}\limits_{y\in S}||x-y|| dist(x,S)=ySinf∣∣xy∣∣是凸函数
在这里插入图片描述

6、与标量函数复合

给定函数 g : R n → R g:\R^{n}\rightarrow \R g:RnR h : R → R h:\R \rightarrow\R h:RR,有 f ( x ) = h ( g ( x ) ) f(x)=h(g(x)) f(x)=h(g(x)),有以下4条结论成立:

  • h为凸, h ~ \tilde{h} h~不降, g g g为凸,则 f f f为凸
  • h为凸, h ~ \tilde{h} h~不增, g g g为凹,则 f f f为凸
  • h为凹, h ~ \tilde{h} h~不降, g g g为凹,则 f f f为凹
  • h为凹, h ~ \tilde{h} h~不增, g g g为凸,则 f f f为凹

h ~ \tilde{h} h~ h h h 的 Legendre 变换,对于一个函数 h : R → R h:\R \rightarrow\R h:RR,它的Legendre变换定义为:
h ~ ( t ) = s u p s ∈ R { t s − h ( s ) } \tilde{h}(t)=sup_{s\in R}\{ts-h(s)\} h~(t)=supsR{tsh(s)}

推论

  • 如果 g g g是凸函数,则 e g ( x ) e^{g(x)} eg(x)是凸函数
  • 如果 g g g是正值凹函数,则 1 g ( x ) \frac{1}{g(x)} g(x)1​是凸函数

7、与向量函数复合

给定函数 g : R n → R k g:\R^{n}\rightarrow \R^{k} g:RnRk h : R k → R h:\R^{k} \rightarrow\R h:RkR,有 f ( x ) = h ( g ( x ) ) = h ( g 1 ( x ) , g 2 ( x ) , . . . , g k ( x ) ) f(x)=h(g(x))=h(g_{1}(x),g_{2}(x),...,g_{k}(x)) f(x)=h(g(x))=h(g1(x),g2(x),...,gk(x)),有以下4条结论成立:

  • h为凸, h ~ \tilde{h} h~每个分量不降, g g g为凸,则 f f f为凸
  • h为凸, h ~ \tilde{h} h~每个分量不增, g g g为凹,则 f f f为凸
  • h为凹, h ~ \tilde{h} h~每个分量不降, g g g为凹,则 f f f为凹
  • h为凹, h ~ \tilde{h} h~每个分量不增, g g g为凸,则 f f f为凹

推论

  • 如果 g i g_i gi是凸函数,则 l o g ∑ i = 1 m e g ( x ) log\sum_{i=1}^m e^{g(x)} logi=1meg(x)是凸函数
  • 如果 g i g_i gi是正值凹函数,则 ∑ i = 1 m l o g g i ( x ) \sum_{i=1}^mlog{g_i(x)} i=1mloggi(x)​是凹函数

三、构造性凸分析

  • 从作为表达式给出的函数 f 开始
  • 为表达式构建解析树
    • 叶子是变量或常量
    • 节点是子表达式的函数
  • 使用组合规则将子表达式标记为凸、凹、仿射或无
  • 如果根节点标记为凸(凹),则 f 为凸(凹)
    在这里插入图片描述

四、透视与共轭

(一)透视函数

定义 f : R n → R f:\R^{n}\rightarrow \R f:RnR g : R n × R → R g:\R^{n}×\R \rightarrow\R g:Rn×RR,且

g ( x , t ) = t f ( x t ) , d o m g = { ( x , t ) ∣ x t ∈ d o m f , t > 0 } g(x,t)=tf(\frac{x}{t}),\quad domg=\{(x,t)|\frac{x}{t}\in domf,t>0\} g(x,t)=tf(tx),domg={(x,t)txdomf,t>0}

f f f是凸函数,则 g g g是凸函数。

  • f ( x ) = x T x f(x)=x^{T}x f(x)=xTx是凸函数,因此 g ( x , t ) = x T x t g(x,t)=\frac{x^{T}x}{t} g(x,t)=txTx是区域 { ( x , t ) ∣ t > 0 } \{(x,t)|t>0\} {(x,t)t>0}上的凸函数
  • f ( x ) = − l o g x f(x)=-logx f(x)=logx是凸函数,因此相对熵函数 g ( x , t ) = t l o g t − t l o g x g(x,t)=tlogt-tlogx g(x,t)=tlogttlogx R + + 2 \R^{2}_{++} R++2​上的凸函数
  • f f f是凸函数,那么 g ( x ) = ( c T x + d ) f ( A x + b c T x + d ) g(x)=(c^{T}x+d)f(\frac{Ax+b}{c^{T}x+d}) g(x)=(cTx+d)f(cTx+dAx+b)是区域 { x ∣ c T x + d > 0 , A x + b c T x + d ∈ d o m f } \{x|c^{T}x+d>0,\frac{Ax+b}{c^{T}x+d}\in domf\} {xcTx+d>0,cTx+dAx+bdomf}上的凸函数

(二)共轭函数

任一适当函数 f f f的共轭函数定义为:
f ∗ ( y ) = s u p x ∈ d o m f { y T x − f ( x ) } f^∗(y)=sup_{x∈dom\ f} \{y^Tx−f(x)\} f(y)=supxdom f{yTxf(x)}
对任意函数 f f f都可以定义为共轭函数,也即不要求 f f f是凸的(因为共轭函数是一组仿射函数的上界,因此不论 f f f凹凸性, f ∗ f^{*} f必为凸函数)

  • 根据凸性充要条件, f ( x ) f(x) f(x) ∀ x ∈ D ⊂ R \forall x\in D\subset\R xDR的切线都是对 f ( x ) f(x) f(x)的下界,即 f ( x ) ≥ f ( x 0 ) + f ′ ( x 0 ) ( x − x 0 ) = f ′ ( x 0 ) x + f ( x 0 ) − f ′ ( x 0 ) x 0 f(x)\geq f(x_{0})+f^{'}(x_{0})(x-x_{0})=f^{'}(x_{0})x+f(x_{0})-f^{'}(x_{0})x_{0} f(x)f(x0)+f(x0)(xx0)=f(x0)x+f(x0)f(x0)x0
  • 反过来,如果确定斜率 k k k,就可以得到一组平行线 { k x + b : b ∈ R } \{kx+b:b\in \R\} {kx+b:bR},从 − ∞ -\infty 增大 b b b,直到直线与 f ( x ) f(x) f(x)相切时有 f ( x ) ≥ k x + b f(x)\geq kx+b f(x)kx+b,也即 − b ≥ k x − f ( x ) -b\geq kx- f(x) bkxf(x),此不等式在 D D D上恒成立,并且能够取相等,因此 − b = s u p x ∈ D ( k x − f ( x ) ) = f ∗ ( y ) -b=\mathop{sup}\limits_{x\in D}(kx-f(x))=f^{*}(y) b=xDsup(kxf(x))=f(y)

f ∗ ( y ) f^*(y) f(y)给出了斜率为 y y y且与 f ( x ) f(x) f(x)相切直线截距的相反数,或者说共轭函数 f ∗ ( y ) f^*(y) f(y)表示了线性函数 y T x y^Tx yTx f ( x ) f(x) f(x)之间的最大差异。
在这里插入图片描述

五、拟凸性

(一)拟凸函数(quasiconvex function) 定义

dom f \text{dom}f domf为凸集,且对任意的 α \alpha α,其下水平集 S α = { x ∈ dom f ∣ f ( x ) ≤ α } S_\alpha = \{x\in\text{dom}f | f(x)\le\alpha\} Sα={xdomff(x)α}都是凸集,则 f f f为拟凸函数。

  • 如果 f f f是拟凸的,那么 − f -f f就是拟凹函数
  • 如果一个函数既是拟凸函数又是拟凹函数,那么它是拟线性(quasilinear) 的
    在这里插入图片描述

(二)常见的拟凸、拟凹、拟线性函数

拟凸函数:

  • f ( x ) = ∣ x ∣ f(x)=\sqrt{|x|} f(x)=x
  • f ( x ) = ∣ ∣ x − 1 ∣ ∣ 2 ∣ ∣ x − b ∣ ∣ 2 , d o m f = { x ∣ ∣ ∣ x − a ∣ ∣ 2 ≤ ∣ ∣ x − b ∣ ∣ 2 } f(x)=\frac{||x-1||_2}{||x-b||_2},domf=\{x|\ ||x-a||_2\leq||x-b||_2\} f(x)=∣∣xb2∣∣x1∣2,domf={x ∣∣xa2∣∣xb2}

拟凹函数:

  • f ( x ) = x 1 x 2 o n R 2 f(x)=x_1x_2\ on\ R^2 f(x)=x1x2 on R2

拟线性函数:

  • c e i l ( x ) = i n f { z ∈ Z ∣ z ≥ x } ceil(x)=inf\{z\in Z|z\geq x\} ceil(x)=inf{zZzx}
  • l o g x o n R + + log\ x\ on\ R_{++} log x on R++
  • 线性微分函数 f ( x ) = a T x + b c T x + d , d o m f = { c T x + d > 0 } f(x)=\frac{a^Tx+b}{c^Tx+d},domf=\{c^Tx+d>0\} f(x)=cTx+daTx+b,domf={cTx+d>0}

(三)拟凸函数的性质

  • 修正 Jensen 不等式:函数 f f f为拟凸的等价于:定义域为凸集,且
    0 ≤ θ ≤ 1 ⟹ f ( θ x + ( 1 − θ ) y ) ≤ max ⁡ { f ( x ) , f ( y ) } 0\le\theta\le1 \Longrightarrow f(\theta x+(1-\theta)y)\le\max\{f(x),f(y)\} 0θ1f(θx+(1θ)y)max{f(x),f(y)}

  • 一阶条件:具有凸域的可微 f 是拟凸当且仅当:
    f ( y ) ≤ f ( x ) ⟹ Δ f ( x ) T ( y − x ) ≤ 0 f(y)\leq f(x) \Longrightarrow \Delta f(x)^T(y-x)\leq 0 f(y)f(x)Δf(x)T(yx)0
    在这里插入图片描述

  • 拟凸函数之和不一定是拟凸函数

参考:
凸函数
(最优化理论与方法)第二章最优化所需基础知识-第七节:保凸的运算和共轭函数

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/11039.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

贝叶斯分类器详解

1 概率论知识 1.1 先验概率 先验概率是基于背景常识或者历史数据的统计得出的预判概率&#xff0c;一般只包含一个变量&#xff0c;例如P(A)&#xff0c;P(B)。 1.2 联合概率 联合概率指的是事件同时发生的概率&#xff0c;例如现在A,B两个事件同时发生的概率&#xff0c;记…

华为交换机配置导出备份python脚本

一、脚本编写思路 &#xff08;一&#xff09;针对设备型号 主要针对华为&#xff08;Huawei&#xff09;和华三&#xff08;H3C&#xff09;交换机设备的配置备份 &#xff08;二&#xff09;导出前预处理 1.在配置导出前&#xff0c;自动打开crt软件或者MobaXterm软件&am…

掌握MySQL执行计划分析【Explain】

前言 MySQL是一个强大的关系型数据库管理系统&#xff0c;其高效执行SQL查询的能力是其核心价值之一。然而&#xff0c;当查询变得复杂或者数据量急剧增长时&#xff0c;SQL查询的性能问题往往成为我们不得不面对的挑战。为了深入了解查询的执行过程并找到性能瓶颈&#xff0c…

Modbus通讯协议初学

目录 Modbus通讯协议初学什么是Modbus?Modbus用来做什么?4个种类的寄存器协议速记功能码Modbus 报文帧示例解读 Modbus通讯协议初学 什么是Modbus? 顾名思义,它是一个bus,即总线协议。比如串口协议、IIC协议、SPI都是通讯协议。你接触到这种协议,相信你所处的行业是工业方…

如何自定义Linux命令

说明&#xff1a;本文介绍如何将自己常用的命令设置为自定义的命令&#xff0c;以下操作在阿里云服务器CentOS上进行。 修改配置文件 修改配置文件前&#xff0c;先敲下面的命令查看当前系统配置的shell版本 echo $SHELL或者 echo $0区别在于&#xff0c;$SHELL查看的是系统…

落雪音乐 超好用的桌面端音乐播放器

之前一直都是充某Q音乐的会员&#xff0c;突然不想氪金了&#xff0c;终于找到一个开源的音乐播放器&#xff0c;在此先给落雪无痕大佬跪了 太爱了 简直白嫖怪的福音 话不多说&#xff0c;直接上操作&#xff1a;解压密码&#xff1a;www.1234f.com下载地址&#xff1a;极速云…

图片批量管理迈入智能新时代:一键输入关键词,自动生成并保存惊艳图片,轻松开启创意之旅!

在数字化时代&#xff0c;图片已成为我们表达创意、记录生活、传递信息的重要工具。然而&#xff0c;随着图片数量的不断增加&#xff0c;如何高效、便捷地管理这些图片&#xff0c;却成为了一个令人头疼的问题。 第一步&#xff0c;进入首助编辑高手主页面&#xff0c;在上方…

视频封面一键提取:从指定时长中轻松获取您想要的帧图片

在数字媒体时代&#xff0c;视频已成为人们获取信息、娱乐和沟通的主要形式之一。而一个好的视频封面&#xff0c;往往能够吸引观众的眼球&#xff0c;增加视频的点击率和观看量。然而&#xff0c;对于很多视频创作者和编辑者来说&#xff0c;如何从视频中快速、准确地提取出合…

Git知识点总结

目录 1、版本控制 1.1什么是版本控制 1.2常见的版本控制工具 1.3版本控制分类 2、集中版本控制 SVN 3、分布式版本控制 Git 2、Git与SVN的主要区别 3、软件下载 安装&#xff1a;无脑下一步即可&#xff01;安装完毕就可以使用了&#xff01; 4、启动Git 4.1常用的Li…

Shell编程之循环语句之for

一.for循环语句 读取不同的变量值&#xff0c;用来逐个执行同一组命令 for 变量名 in 取值列表 do命令序列 done 示例&#xff1a; 1.计算从1到100所有整数的和 2.提示用户输入一个小于100的整数&#xff0c;并计算从1到该数之间所有整数的和 3.求从1到100所有整数的偶数和…

【牛客】SQL206 获取每个部门中当前员工薪水最高的相关信息

1、描述 有一个员工表dept_emp简况如下&#xff1a; 有一个薪水表salaries简况如下&#xff1a; 获取每个部门中当前员工薪水最高的相关信息&#xff0c;给出dept_no, emp_no以及其对应的salary&#xff0c;按照部门编号dept_no升序排列&#xff0c;以上例子输出如下: 2、题目…

SBM模型、超效率SBM模型代码及案例数据(补充操作视频)

01、数据简介 SBM&#xff08;Slack-Based Measure&#xff09;模型是一种数据包络分析&#xff08;Data Envelopment Analysis, DEA&#xff09;的方法&#xff0c;用于评估决策单元&#xff08;Decision Making Units, DMUs&#xff09;的效率。而超效率SBM模型是对SBM模型的…

轮转数组 与 消失的数字

轮转数组 思路一 创建一个新内存空间&#xff0c;将需轮转的数依次放入&#xff0c;之后在把其它数放入 代码&#xff1a; void rotate(int* nums, int numsSize, int k) {k k % numsSize;// 确定有效的旋转次数if(k 0)return;int* newnums (int*)malloc(sizeof(int) * nu…

企业OA办公系统开发笔记:1、搭建后端环境

文章目录 企业办公系统&#xff1a;搭建环境一、项目介绍1、介绍2、技术栈3、项目模块4、数据库 二、搭建环境1、搭建后端1.1、搭建父工程clfwzx-oa-parent1.2、搭建工具类父模块common1.3、搭建工具类common的子模块1.4、搭建实体类模块model和项目模块service-oa 2、配置依赖…

2024最新最全【NMAP】零基础入门到精通

一、Nmap介绍 Nmap(Network Mapper&#xff0c;网络映射器)是一款开放源代码的网络探测和安全审核工具。它被设计用来快速扫描大型网络&#xff0c;包括主机探测与发现、开放的端口情况、操作系统与应用服务指纹识别、WAF识别及常见安全漏洞。它的图形化界面是Zenmap&#xff…

[AIGC] redis 持久化相关的几道面试题

文章目录 1. 什么是Redis持久化&#xff1f;2. Redis 的持久化机制是什么&#xff1f;各自的优缺点&#xff1f;2.1 RDB&#xff08;Redis DataBase&#xff09;&#xff0c;快照2.2 AOF&#xff08;Append Only File&#xff09;&#xff0c;日志 3. 优缺点是什么&#xff1f;…

pixhawk无人机飞控解锁

飞控解锁 GitBook 左手油门的遥控解锁是油门右下角拨&#xff0c;右手油门是油门最低&#xff0c;方向最右。 飞控如何加锁? 左手油门&#xff1a;油门左下角 右手油门&#xff1a;油门最低&#xff0c;方向最左 飞控解锁成功后&#xff0c;不推油门的情况下&#xff0c;…

基于SSM+Vue的物流管理系统

运行截图 获取方式 Gitee仓库

LORA学习笔记2——训练集处理

前言 对于ai训练来说&#xff0c;处理训练集是模型训练的重要环节。训练集的质量对最终模型的质量影响巨大。这里以二次元角色为例&#xff0c;记录下训练集处理的流程和一些心得。 素材准备 素材准备有以下几个需要注意的点&#xff1a; 通常训练二次元角色需要30张以上的…

14:HAL---CRC校验

103系列只有一个CRC 前言&#xff1a; CRC&#xff08;Cyclic Redundancy Check&#xff09;&#xff0c;即循环冗余校验&#xff0c;是一种根据网络数据包或电脑文件等数据产生简短固定位数校核码的快速算法&#xff0c;主要用来检测或校核数据传输或者保存后可能出现的错误。…