二次规划(Lagrange 方法,起作用集方法)

二次规划是非线性规划中一种特殊情形,它的目标函数是二次实函数,约束是线性的。由于二次规划比较简单,便于求解,且一些非线性规划可以转化为求解一系列二次规划问题,因此二次规划算法较早引起人们的重视,成为求解非线性规划的一个重要通径。二次规划的算法较多,本章介绍其中几个典型的方法,它们是 Lagrange 方法起作用集方法Lemke 方法路径路踪法

一、Lagrange 方法

考虑二次规划问题
min ⁡ 1 2 x T H x + c T x s . t . A x = b \begin{aligned} &\min\quad\quad \dfrac{1}{2} \pmb x^T\pmb H \pmb x + \pmb c^T \pmb x\\[2ex] &\mathrm{ \ s.t.}\quad\quad\ \ \pmb A\pmb x=\pmb b \end{aligned} min21xTHx+cTx s.t.  Ax=b

其中, H \pmb H H n n n 阶对称矩阵, A \pmb A A m × n m\times n m×n 矩阵, A \pmb A A 的秩为 m m m b \pmb b b m m m 维列向量。

通过 Lagrange 乘子法求解:首先定义 Language 函数
L ( x , λ ) = 1 2 x T H x + c T x − λ T ( A x − b ) L(\pmb x,\pmb\lambda) = \frac{1}{2}\pmb x^T\pmb H \pmb x + \pmb c^T \pmb x - \pmb\lambda^T(\pmb A\pmb x-\pmb b) L(x,λ)=21xTHx+cTxλT(Axb)


∇ x L ( x , λ ) = 0 , ∇ λ L ( x , λ ) = 0 \nabla_xL(\pmb x,\pmb\lambda)=0,\quad\nabla_{\pmb\lambda}L(\pmb x,\pmb\lambda)=0 xL(x,λ)=0,λL(x,λ)=0

得到方程组
H x + c − A T λ = 0 − A + b = 0 \begin{aligned} &\pmb H\pmb x + \pmb c - \pmb A^T\pmb\lambda=\pmb 0\\[1ex] &-\pmb A\pmb +\pmb b = \pmb 0 \end{aligned} Hx+cATλ=0A+b=0

将此方程组写成
[ H − A T − A − 0 ] [ x λ ] = [ − c − b ] \left[ \begin{matrix} \pmb H & - \pmb A^T\\[1ex] -\pmb A & - \pmb 0\\ \end{matrix} \right] \left[ \begin{matrix} \pmb x \\[2ex] \pmb \lambda\\ \end{matrix} \right]= \left[ \begin{matrix} -\pmb c \\[2ex] -\pmb b\\ \end{matrix} \right] [HAAT0][xλ]=[cb]

将系数矩阵称为 Lagrange 矩阵

设上述 Lagrange 矩阵可逆,且为对称矩阵,则其逆矩阵也为对称矩阵,可表示为
[ H − A T − A − 0 ] − 1 = [ Q − R T − R − S ] \left[ \begin{matrix} \pmb H & - \pmb A^T\\[1ex] -\pmb A & - \pmb 0\\ \end{matrix} \right]^{-1}= \left[ \begin{matrix} \pmb Q & - \pmb R^T\\[1ex] -\pmb R & - \pmb S\\ \end{matrix} \right] [HAAT0]1=[QRRTS]

由可逆矩阵性质,即
[ H − A T − A − 0 ] [ Q − R T − R − S ] = I m + n \left[ \begin{matrix} \pmb H & - \pmb A^T\\[1ex] -\pmb A & - \pmb 0\\ \end{matrix} \right] \left[ \begin{matrix} \pmb Q & - \pmb R^T\\[1ex] -\pmb R & - \pmb S\\ \end{matrix} \right]=\pmb I_{m+n} [HAAT0][QRRTS]=Im+n

推得
H Q + A T R = I n H R T + ( A T S ) = 0 n × m A Q = 0 m × n A R T = I m \begin{aligned} &\pmb{HQ}+\pmb{A^TR}=\pmb I_n\\[1ex] &\pmb{HR^T}+\pmb(A^TS)=\pmb0_{n\times m}\\[1ex] &\pmb{AQ}=\pmb 0_{m\times n}\\[1ex] &\pmb{AR^T} = \pmb I_m \end{aligned} HQ+ATR=InHRT+(ATS)=0n×mAQ=0m×nART=Im

假设矩阵 H \pmb H H 可逆,则可以得到矩阵 Q , R , S \pmb{Q,R,S} Q,R,S 的表达式
Q = H − 1 − H − 1 A T ( A H − 1 A T ) − 1 A H − 1 , R = ( A H − 1 A T ) − 1 A H − 1 , S = − ( A H − 1 A T ) − 1 \begin{aligned} &\pmb{Q}=\pmb H^{-1} - \pmb H^{-1}\pmb A^T(\pmb A\pmb H^{-1}\pmb A^T)^{-1}\pmb A\pmb H^{-1},\\[1ex] &\pmb R = (\pmb A \pmb H^{-1}\pmb A^T)^{-1}\pmb A \pmb H^{-1},\\[1ex] &\pmb S = -(\pmb A \pmb H^{-1}\pmb A^T)^{-1} \end{aligned} Q=H1H1AT(AH1AT)1AH1,R=(AH1AT)1AH1,S=(AH1AT)1

从而可得问题的解
x ∗ = − Q c + R T b λ ∗ = R c − S b \begin{aligned} &\pmb x^\ast = -\pmb{Qc} + \pmb R^T\pmb b\\[1ex] &\pmb \lambda^\ast = \pmb {Rc}-\pmb{Sb} \end{aligned} x=Qc+RTbλ=RcSb

二、起作用集方法

1、起作用集方法的分析推导

考虑具有不等式约束的二次规划问题
min ⁡ f ( x ) = 1 2 x T H x + c T x s . t . A x ≥ b \begin{aligned} &\min\quad\quad f(\pmb x)=\dfrac{1}{2} \pmb x^T\pmb H \pmb x + \pmb c^T \pmb x\\[2ex] &\mathrm{ \ s.t.}\quad\quad\ \ \pmb A\pmb x\geq\pmb b \end{aligned} minf(x)=21xTHx+cTx s.t.  Axb

其中, H \pmb H H n n n 阶对称正定矩阵, A \pmb A A m × n m\times n m×n 矩阵, A \pmb A A 的秩为 m m m b \pmb b b m m m 维列向量。

由于不等式约束的存在,不能直接用 Lagrange 方法求解,因此需将它转化为求解等式约束问题。运用起作用集方法,在每次追代中,以已知的可行点为起点,把在该点起作用约束作为等式约束,在此约束下极小化目标函数 f ( x ) f(\pmb x) f(x),而其余的约束暂且不管。求得新的比较好的可行点后,再重复以上做法,下面加以具体分析。

设在第 k k k 此迭代中,已知可行点 x ( k ) \pmb x^{(k)} x(k),在该点起作用约束指标集用 I ( k ) I^{(k)} I(k) 表示。这时需要求解等式约束
min ⁡ f ( x ) = 1 2 x T H x + c T x s . t . a i x = b i , i ∈ I ( k ) \begin{aligned} &\min\quad\quad f(\pmb x)=\dfrac{1}{2} \pmb x^T\pmb H \pmb x + \pmb c^T \pmb x\\[2ex] &\mathrm{ \ s.t.}\quad\quad\ \ \pmb a^i\pmb x=b_i,\quad i\in I^{(k)} \end{aligned} minf(x)=21xTHx+cTx s.t.  aix=bi,iI(k)

其中 a i \pmb a^i ai 是矩阵 A \pmb A A 的第 i i i 行。

为方便起见,现将坐标原点移至 x ( k ) \pmb x^{(k)} x(k),令
δ = x − x ( k ) \pmb\delta = \pmb x - \pmb x^{(k)} δ=xx(k)


f ( x ) = 1 2 ( δ + x ( k ) ) T H ( δ + x ( k ) ) + c T ( δ + x ( k ) ) = 1 2 δ T H δ + δ T H x ( k ) + 1 2 x ( k ) T H x ( k ) + c T δ + c T x ( k ) = 1 2 δ T H δ + ∇ f ( x ( k ) ) T δ + f ( x ( k ) ) \begin{aligned} f(\pmb x) &=\dfrac{1}{2} (\pmb\delta + \pmb x^{(k)})^T\pmb H (\pmb\delta + \pmb x^{(k)}) + \pmb c^T (\pmb\delta + \pmb x^{(k)})\\[2ex] &=\dfrac{1}{2}\pmb\delta^T\pmb H \pmb\delta + \pmb\delta ^T\pmb H\pmb x^{(k)}+\frac{1}{2}{\pmb x^{(k)}}^T \pmb H\pmb x^{(k)} +\pmb c^T\pmb\delta +\pmb c^T\pmb x^{(k)} \\[2ex] &=\frac{1}{2}\pmb\delta^T\pmb H \pmb\delta +\nabla f(\pmb x^{(k)})^T\pmb\delta + f(\pmb x^{(k)}) \end{aligned} f(x)=21(δ+x(k))TH(δ+x(k))+cT(δ+x(k))=21δTHδ+δTHx(k)+21x(k)THx(k)+cTδ+cTx(k)=21δTHδ+f(x(k))Tδ+f(x(k))

于是问题转化为求校正量 δ ( k ) \pmb\delta^{(k)} δ(k) 的问题
min ⁡ 1 2 δ T H δ + ∇ f ( x ( k ) ) T δ s . t . a i δ = 0 , i ∈ I ( k ) \begin{aligned} &\min\quad\quad \frac{1}{2}\pmb\delta^T\pmb H \pmb\delta +\nabla f(\pmb x^{(k)})^T\pmb\delta\\[2ex] &\mathrm{ \ s.t.}\quad\quad\ \ \pmb a^i\pmb\delta=0,\quad i\in I^{(k)} \end{aligned} min21δTHδ+f(x(k))Tδ s.t.  aiδ=0,iI(k)

解二次规划,求出最优解 δ ( k ) \pmb\delta^{(k)} δ(k),然后区别不同情形,决定下面应采取的步骤。

  • 如果 x ( k ) + δ ( k ) \pmb x^{(k)} + \pmb\delta^{(k)} x(k)+δ(k) 是可行点,且 δ ( k ) ≠ 0 \pmb\delta^{(k)}\neq\pmb0 δ(k)=0,则在第 k + 1 k+1 k+1 次迭代中,已知点取作 x ( k + 1 ) = x ( k ) + δ ( k ) \pmb x^{(k+1)}=\pmb x^{(k)}+\pmb\delta^{(k)} x(k+1)=x(k)+δ(k)
  • 如果 x ( k ) + δ ( k ) \pmb x^{(k)} + \pmb\delta^{(k)} x(k)+δ(k) 不是可行点,则沿方向 d ( k ) = δ ( k ) \pmb d^{(k)}=\pmb\delta^{(k)} d(k)=δ(k) 搜索,令
    x ( k + 1 ) = x ( k ) + a k d ( k ) \pmb x^{(k+1)} = \pmb x^{(k)} + a_k\pmb d^{(k)} x(k+1)=x(k)+akd(k)

现在分析怎样确定步长 a k a_k ak,根据保持可行性的要求,其应满足
a i ( x ( k ) + a k d ( k ) ) ≥ b i , i ∉ I ( k ) \pmb a^i(\pmb x^{(k)} + a_k\pmb d^{(k)})\geq b_i,\quad i\notin I^{(k)} ai(x(k)+akd(k))bi,i/I(k)

由于 x ( k ) \pmb x^{(k)} x(k) 是可行点,即 a i x ( k ) ≥ b i \pmb a^i\pmb x^{(k)}\geq b_i aix(k)bi,因此
a i d ( k ) ≥ 0 \pmb a^i\pmb d^{(k)}\geq 0 aid(k)0 时,对于任意非负数 a k a_k ak,上式总成立;
a i d ( k ) < 0 \pmb a^i\pmb d^{(k)}< 0 aid(k)<0 时,只要取正数
a k ≤ min ⁡ { b i − a i x ( k ) a i d ( k ) ∣ i ∉ I ( k ) , a i d ( k ) < 0 } ⏟ a ^ k a_k\leq\underbrace{\min\Bigg\lbrace\frac{b_i-\pmb a^i\pmb x^{(k)}}{\pmb a^i\pmb d^{(k)}}\bigg|i\notin I^{(k)},\ \pmb a^i\pmb d^{(k)}<0\Bigg\rbrace}_{\hat a_k} aka^k min{aid(k)biaix(k) i/I(k), aid(k)<0}

为了在第 k k k 次迭代中得到较好可行点,应取
a k = min ⁡ { 1 , a ^ k } , a_k=\min\lbrace1,\hat a_k\rbrace, ak=min{1,a^k},

并令
x ( k + 1 ) = x ( k ) + a k d ( k ) \pmb x^{(k+1)} = \pmb x^{(k)} + a_k\pmb d^{(k)} x(k+1)=x(k)+akd(k)

如果
a k = b p − a p x ( k ) a p d ( k ) < 1 a_k=\frac{b_p-\pmb a^p\pmb x^{(k)}}{\pmb a^p\pmb d^{(k)}}<1 ak=apd(k)bpapx(k)<1

则在点 x ( k + 1 ) \pmb x^{(k+1)} x(k+1),有
a p x ( k + 1 ) = a p ( x ( k ) + a k d ( k ) ) = b p \pmb a^p\pmb x^{(k+1)}=\pmb a^p(\pmb x^{(k)} + a_k\pmb d^{(k)})=b_p apx(k+1)=ap(x(k)+akd(k))=bp

因此,在 x ( k + 1 ) \pmb x^{(k+1)} x(k+1) 处, a p x ( k ) ≥ b p \pmb a^p\pmb x^{(k)}\geq b_p apx(k)bp 为起作用约束。这时,把指标 p p p 加入 I ( k ) I^{(k)} I(k),得到在 x ( k + 1 ) \pmb x^{(k+1)} x(k+1) 处的起作用约束指标集 I ( k + 1 ) I^{(k+1)} I(k+1)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/855887.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Mariadb10.11.2

1、跳过安全模式启动 忘记密码的时候使用&#xff0c;非常好使 停止服务&#xff1a;systemctl stop mariadb 安全模式&#xff1a;mysqld_safe --skip-grant-tables & 登录MySQL&#xff1a;mysql -u root 修改密码&#xff1a;update mysql.user set passwordpassword(新…

Java面试题:解释HashSet和TreeSet的内部实现差异,以及它们的性能特点

HashSet和TreeSet是Java中实现Set接口的两种常见集合类&#xff0c;它们在内部实现和性能特点上有显著差异。以下是详细的对比分析&#xff1a; 内部实现 HashSet 数据结构&#xff1a;HashSet基于哈希表&#xff08;Hash Table&#xff09;实现。存储方式&#xff1a;使用哈…

stable diffusion 局部重绘 reference-only api 接口调试

webUI api payload 插件生成的接口参数不准确&#xff0c;reference-only 的image不是对象&#xff0c;就是不同字符串字段&#xff0c;直接传&#xff0c;不是套image。 综上&#xff0c;那个插件参数不确定&#xff0c;应直接看插件的源码&#xff0c;看它接受什么参数 错误…

Paper Reading: PAMS:通过参数化最大尺度量化超分辨率

PAMS: Quantized Super-Resolution via Parameterized Max Scale PAMS&#xff1a;通过参数化最大尺度量化超分辨率, ECCV 2020 paper: https://arxiv.org/pdf/2011.04212.pdf GitHub: https://github.com/colorjam/PAMS 摘要 深度卷积神经网络&#xff08;DCNNs&#xff09;…

MFC工程的MFC库使用方式与运行时库不一致引起的编译问题

前段时间从网上下来一个有意思的代码&#xff0c;用VS2010打开时需要将工程转换为2010的工程&#xff0c;转化后却出现了编译不通过的问题&#xff0c;类似这样的错误&#xff1a;c:\program files\microsoft visual studio 10.0\vc\atlmfc\include\afxver_.h(81): fatal error…

“Photoshop AI插件:StartAI的全面使用攻略

随着人工智能技术的飞速发展&#xff0c;Photoshop作为设计师们不可或缺的工具&#xff0c;也在不断地融入AI技术&#xff0c;以提升设计效率和效果。在2024年&#xff0c;PSAI插件StartAI因其强大的功能和易用性&#xff0c;成为了Photoshop用户的得力帮手。下面来给大家详细介…

CentOS 7x 使用Docker 安装oracle11g完整方法

1.安装docker-ce 安装依赖的软件包 yum install -y yum-utils device-mapper-persistent-data lvm2添加Docker的阿里云yum源 yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo更新软件包索引 yum makecache fast查看docker…

深入浅出 Babel:现代 JavaScript 的编译器

在现代前端开发中&#xff0c;JavaScript 的版本更新速度非常快&#xff0c;新的语法和特性层出不穷。然而&#xff0c;旧版本的浏览器并不总是支持这些新特性。为了确保代码的兼容性和稳定性&#xff0c;我们需要一个工具来将现代 JavaScript 代码转换为旧版本的代码。Babel 就…

信息打点web篇----企业宏观资产打点

前言 欢迎来到我的博客 个人主页:北岭敲键盘的荒漠猫-CSDN博客 专栏描述&#xff1a;因为第一遍过信息收集的时候&#xff0c;没怎么把收集做回事 导致后来在实战中&#xff0c;遭遇资产获取少&#xff0c;可渗透点少的痛苦&#xff0c;如今决定 从头来过&#xff0c;全面全方位…

python安装系列问题

python3.4版本以上安装了python之后自带安装python。 1、换源 以Windows&#xff0c;清华源为例&#xff1a; 直接在user目录中创建一个pip目录&#xff0c;例如&#xff1a;C:\Users\xx\pip&#xff0c;新建文件pip.ini&#xff0c;内容如下: [global] index-url https:/…

JAVA小知识24:集合工具类Collections

一、Collections简介 Collections 是 Java 中的一个实用类&#xff0c;位于 java.util 包中&#xff0c;提供了许多静态方法&#xff0c;用于操作或返回集合的各种操作。它包含的这些方法大大简化了对集合的常见操作&#xff0c;提供了排序、搜索、随机化、同步化等功能。 二…

C#的Switch语句3(如何为一段代码应用多个case标签)

文章目录 上一篇文章中断函数执行堆叠caseswitch中实用的字符串函数将字符串转换为小写 switch例子 上一篇文章 C#的Switch语句2 中断函数执行 switch语句内部可以使用return语句&#xff0c;这为控制程序流程和函数返回值提供了一种直接的方式。 当在switch语句块中遇到re…

状态机和行为树的搭配使用

下面是一个完整的TypeScript代码示例&#xff0c;展示了如何将状态机和行为树结合起来使用。状态机控制智能体的状态&#xff0c;行为树负责智能体的智能决策。在执行决策前&#xff0c;行为树会检查状态机的当前状态。 // 定义状态枚举 enum BodyState {IDLE,MOVING,ATTACKIN…

asyncua模块中OPC UA的ua.Variant如何表示字典?

asyncua 模块中OPC UA的ua.Variant如何表示字典&#xff1f; 解决办法&#xff1a;使用json将字典转成string形式 文心一言给出的解决方法如下&#xff1a; 在 OPC UA (OLE for Process Control Unified Architecture) 中&#xff0c;ua.Variant 是一个用于表示各种数据类型…

CleanShot X for Mac v4.7 屏幕截图录像工具(保姆级教程,小白轻松上手,简单易学)

Mac分享吧 文章目录 一、准备工作二、部分特有功能效果1、截图软件的普遍常用功能&#xff08;画框、箭头、加文字等&#xff09;都具备&#xff0c;不再详细介绍2、ABCD、1234等信息标注&#xff08;每按一下鼠标&#xff0c;即各是A、B、C、D...等&#xff09;3、截图更换背…

SD-WAN组网如何帮助企业降低网络成本?

企业在构建IT网络时&#xff0c;常常面临节省费用和提升效益的挑战。IT开销主要包括设备、网络和维护成本。利用OgCloud的SD-WAN组网方案&#xff0c;企业可以有效地应对这些问题。 企业专线网络的高成本问题 企业专线的费用较高&#xff0c;而且数据不能同时在多条专线上传输。…

【linux】Valgrind工具集详解(十六):交叉编译、移植到arm(失败)

1、源码下载 官网:https://valgrind.org/ 源码:https://valgrind.org/downloads/current.html 2、配置 ./configure CC=arm-linux-gnueabihf-gcc \CXX=arm-linux-gnueabihf-g++ \AR=arm-linux-gnueabihf-ar \--host=arm-linux-gnueabihf \--pr

Postman如何在本地测试服务接口

项目架构及背景&#xff1a; 网关微服务多个业务微服务 服务部署在阿里云上&#xff0c;文件服务器用的是OSS。配置参数用Nacos进行统一管理。通过构建docker镜像包部署各业务微服务以及网关服务。 需求&#xff1a; 某一个业务微服务中开发了若干接口&#xff0c;需要在本地…

辐射神经场(NeRF, Neural Radiance Fields)

辐射神经场&#xff08;NeRF, Neural Radiance Fields&#xff09; 辐射神经场&#xff08;NeRF, Neural Radiance Fields&#xff09;是一种基于神经网络的方法&#xff0c;用于从二维图像合成高质量的三维场景。这一方法由Ben Mildenhall等人在2020年提出&#xff0c;利用多…

如何使用Indicator-Intelligence收集与威胁情报相关的域名和IPv4地址

关于Indicator-Intelligence Indicator-Intelligence是一款针对威胁情报的强大数据收集工具&#xff0c;该工具可以帮助广大研究人员通过威胁情报活动中生成的静态文件来查找与威胁行为相关的域名和IPv4地址。 需要注意的是&#xff0c;请在目标组织授权后再使用该工具进行安…