线性可分支持向量机的原理推导【补充知识部分】9-11极小极大化问题 公式解析

本文是将文章《线性可分支持向量机的原理推导》中的公式单独拿出来做一个详细的解析,便于初学者更好的理解。在主文章中,有一个部分是关于补充拉格朗日对偶性的相关知识,此公式即为这部分里的内容。


公式 9-11 是通过引入拉格朗日乘子法将一个带有约束的优化问题转化为无约束优化问题的关键一步。它通过将原始问题的最小化和对拉格朗日函数的最大化相结合,形成一个新的优化目标。公式 9-11 的表达式如下:
min ⁡ x θ p ( x ) = min ⁡ x max ⁡ α , β L ( x , α , β ) \min_x \theta_p(x) = \min_x \max_{\alpha, \beta} L(x, \alpha, \beta) xminθp(x)=xminα,βmaxL(x,α,β)

1. 公式 9-11 的含义

公式 9-11 的核心思想是通过构造拉格朗日函数来处理带有约束条件的优化问题。它表示我们希望找到 x x x 使得拉格朗日函数 L ( x , α , β ) L(x, \alpha, \beta) L(x,α,β) 的最大值最小化。这种双重极值问题(即“最小化最大值”)将原始的带约束优化问题转化为一个无约束优化问题。

具体解释:

  • min ⁡ x \min_x minx:我们希望找到一个 x x x 来最小化整个优化问题的目标函数。这个目标函数包含了原始的目标函数和约束条件。
  • max ⁡ α , β L ( x , α , β ) \max_{\alpha, \beta} L(x, \alpha, \beta) maxα,βL(x,α,β):对于给定的 x x x,我们要对拉格朗日乘子 α \alpha α β \beta β 进行最大化,找到使拉格朗日函数 L ( x , α , β ) L(x, \alpha, \beta) L(x,α,β) 达到最大值的拉格朗日乘子组合。

2. 推导背景

原始问题和拉格朗日函数

我们开始于一个带约束的原始优化问题:
min ⁡ x f ( x ) \min_x f(x) xminf(x)

subject to c i ( x ) ≤ 0 , i = 1 , 2 , … , p \text{subject to} \quad c_i(x) \leq 0, \quad i = 1, 2, \dots, p subject toci(x)0,i=1,2,,p

h j ( x ) = 0 , j = 1 , 2 , … , q h_j(x) = 0, \quad j = 1, 2, \dots, q hj(x)=0,j=1,2,,q

该问题中,我们希望最小化目标函数 f ( x ) f(x) f(x),同时满足一组不等式约束 c i ( x ) ≤ 0 c_i(x) \leq 0 ci(x)0 和等式约束 h j ( x ) = 0 h_j(x) = 0 hj(x)=0

为了将这个带约束的优化问题转化为无约束问题,我们引入了拉格朗日乘子 α \alpha α β \beta β,构造了拉格朗日函数 L ( x , α , β ) L(x, \alpha, \beta) L(x,α,β)
L ( x , α , β ) = f ( x ) + ∑ i = 1 p α i c i ( x ) + ∑ j = 1 q β j h j ( x ) L(x, \alpha, \beta) = f(x) + \sum_{i=1}^{p} \alpha_i c_i(x) + \sum_{j=1}^{q} \beta_j h_j(x) L(x,α,β)=f(x)+i=1pαici(x)+j=1qβjhj(x)

双重极值问题的形成

在公式 9-10 中,我们定义了:
θ p ( x ) = max ⁡ α , β L ( x , α , β ) \theta_p(x) = \max_{\alpha, \beta} L(x, \alpha, \beta) θp(x)=α,βmaxL(x,α,β)

即在给定 x x x 的情况下,拉格朗日函数相对于 α \alpha α β \beta β 取最大值的结果。公式 9-11 进一步引申:我们希望在找到 α \alpha α β \beta β 的最优组合后,对 x x x 进行最小化。因此,我们得到:
min ⁡ x max ⁡ α , β L ( x , α , β ) \min_x \max_{\alpha, \beta} L(x, \alpha, \beta) xminα,βmaxL(x,α,β)

这个公式表示,我们首先对拉格朗日函数中的 α \alpha α β \beta β 进行最大化,然后对 x x x 进行最小化。这就是双重极值问题的形成。

3. 公式 9-11 的意义

公式 9-11 的含义可以总结为:在求解一个带有约束的最小化问题时,我们通过拉格朗日乘子法将约束条件融入到目标函数中。接着,我们先对这些约束施加的惩罚(通过拉格朗日乘子)进行最大化,确保约束的影响被充分考虑;然后,我们再对优化变量 x x x 进行最小化。

为什么先最大化后最小化?
  • 最大化部分:我们希望通过最大化拉格朗日函数来找到拉格朗日乘子的最优值,这样可以确保约束条件的作用被最大化体现。如果约束被违反(例如 c i ( x ) > 0 c_i(x) > 0 ci(x)>0),拉格朗日乘子会增加惩罚,反之,如果约束被满足( c i ( x ) ≤ 0 c_i(x) \leq 0 ci(x)0),拉格朗日乘子的影响会减少甚至为零。
  • 最小化部分:在约束的惩罚机制已经确定后,我们再对 x x x 进行最小化,确保目标函数 f ( x ) f(x) f(x) 取得最优值,同时满足约束条件。

4. 拉格朗日对偶问题的初步构造

公式 9-11 是拉格朗日对偶问题的构造过程中的重要一步。在接下来的推导中,我们将进一步通过对拉格朗日函数进行最小化来构造对偶问题。对偶问题通过改变优化变量的顺序(即先对 α , β \alpha, \beta α,β 进行最小化,再对 x x x 进行最大化),为求解带约束的优化问题提供了另一种思路。

5. 公式 9-11 的几何直观

几何上,公式 9-11 可以理解为在一个受约束的空间中寻找最优解。我们首先通过最大化拉格朗日乘子来“扩展”约束的影响范围,确保任何违反约束的情况都能被放大惩罚;然后,在考虑这些约束的影响后,我们再去寻找 x x x 使得目标函数 f ( x ) f(x) f(x) 最小。

6. 总结

  • 公式 9-11 的核心是通过构造一个双重极值问题,将原始的带约束优化问题转化为无约束问题。
  • 我们通过最大化拉格朗日函数中的拉格朗日乘子,确保约束条件的影响被最大化,然后对 x x x 进行最小化,找到最优解。
  • 这个过程为后续的对偶问题构造奠定了基础,通过改变优化变量的顺序,我们可以更高效地求解复杂的约束优化问题。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/56283.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

渗透实战 JS文件怎么利用

1.前言 关于JS在渗透测试中的关键作用,想必不用过多强调,在互联网上也有许多从JS中找到敏感信息从而拿下关键系统的案例。大部分师傅喜欢使用findsomething之类的浏览器插件,也有使用诸如Unexpected.information以及APIFinder之类的Burp插件…

Elasticsearch 在linux部署 及 Docker 集群部署详解案例示范

1. 在 CentOS 上安装和配置 Elasticsearch 在 CentOS 系统下,安装 Elasticsearch 主要分为以下步骤: 1.1 准备工作 在开始安装之前,确保你的系统满足以下基本条件: CentOS 版本要求:推荐使用 CentOS 7 及以上版本。…

02_MVCC-版本链管理

MVCC-版本链管理 文章目录 MVCC-版本链管理简介基本概念版本链的形成与管理数据插入操作数据更新操作数据删除操作 一致性视图(Read View)快照读与当前读快照读(Snapshot Read)当前读(Current Read) 优缺点…

单片机输出方波

从P1.0上输出一个方波,高电平5ms,低电平10ms. #include〈reg51。h〉 unsigned char flag; sbit outP1^0; void main() { flag0; TMOD0X02; TH06; TL06; TR01; EA1; ET0…

使用 SSH 连接 GitLab 的常见问题及解决方案

使用 SSH 连接 GitLab 的常见问题及解决方案 在使用 SSH 连接到 GitLab 服务器时,可能会遇到类似于以下的错误信息: git192.168.xx.xxx: Permission denied (publickey).这个错误通常表示 SSH 无法验证你的公钥,导致无法访问 GitLab 仓库。…

【直播伴侣】抖音开播设置

可以使用obs作为虚拟摄像头,把加工的画面喂给直播伴侣,然后用直播伴侣开播推流:看起来蓝光画质也是1080p 下最大的8Mbps推荐是6Mbps。抖音伴侣的开播设置 测试自己的上行带宽 30Mbps 不知道为啥别人都那么大: 看起来蓝光画质,码率也只有6Mbps

【鸡翅Club】项目启动

一、项目背景 这是一个 C端的社区项目,有博客、交流,面试学习,练题等模块。 项目的背景主要是我们想要通过面试题的分类,难度,打标,来评估员工的技术能力。同时在我们公司招聘季的时候,极大的…

电商大数据获取渠道分享--官方接口、爬虫、第三方如何选择?

在当今大数据驱动的商业环境中,电商企业越来越依赖数据分析来洞察市场、优化运营和提升竞争力。本文将分享几种常见的电商大数据获取渠道,帮助电商从业者更有效地收集和利用数据资源。 一、电商平台官方接口 各大电商平台如淘宝、京东、拼多多等&#…

跟我学C++中级篇——典型的内存问题分析

一、内存问题引起的Crash 程序的崩溃对每个开发人员来说,都是一种磨难的存在,不经历不会成长,但再怎么成长也不愿意经历。在程序崩溃的现象中,内存引起的程序崩溃一直是重要的原因,也可以说,内存的异常引起…

【网络协议栈】Tcp协议(上)结构的解析 和 Tcp中的滑动窗口(32位确认序号、32位序号、4位首部长度、6位标记位、16为窗口大小、16位紧急指针)

绪论​ “没有那么多天赋异禀,优秀的人总是努力翻山越岭。”本章主要讲到了再五层网络协议从上到下的第二层传输层中使用非常广泛的Tcp协议他的协议字段结构,通过这些字段去认识其Tcp协议运行的原理底层逻辑和基础。后面将会再写一篇Tcp到底是通过什么调…

【保姆级】Spring Retry 教程

什么是“重试”?为什么要进行“重试”呢? “重试”(Retry)是一种在编程和软件开发中常见的策略,用于处理在执行操作时可能遇到的临时性错误或异常。当一个操作因为某些原因(如网络问题、服务不可用、资源暂时不可用等)失败时,重试机制会尝试再次执行该操作,以期在下一…

PHP发票验真 API-发票真伪查验、验证接口示例

发票验真API是一种在线服务,它允许用户或企业通过编程接口(API)验证发票的真实性。这种服务通常由政府机构或者授权的第三方(如翔云、百度)提供,旨在打击伪造发票的行为,保护消费者的合法权益&a…

JAVA-石头迷阵小游戏

采用企业式项目结构,接下来我将分享全部代码和结构,希望大家点点关注! 这是我的结构。首先使用IDE创建一个Module,命名stone-maze,接着把自带src下的main方法删除,接着在src下创建包,包名为com.wmuj,接着创建APP类代码如下: package com.wmuj;public class App {publ…

《探索 Python 音频利器:sounddevice》

一、sounddevice 简介 Sounddevice 是一个强大的 Python 音频处理库,它为开发者提供了对 PortAudio 库的 Python 绑定,从而实现了在 Python 环境中播放和录制音频数据的功能。 这个库具有诸多优势。首先,它具有跨平台性,无论是在…

进程间通信大总结Linux

目录 进程间通信介绍 进程间通信目的 进程间通信发展 进程间通信分类 管道 System V IPC POSIX IPC 管道 什么是管道 匿名管道 用fork来共享管道原理 站在文件描述符角度-深度理解管道 管道读写规则 管道特点 命名管道 创建一个命名管道 匿名管道与命名管道的区…

RabbitMQ系列学习笔记(八)--发布订阅模式

文章目录 一、发布订阅模式原理二、发布订阅模式实战1、消费者代码2、生产者代码3、查看运行结果 本文参考: 尚硅谷RabbitMQ教程丨快速掌握MQ消息中间件rabbitmq RabbitMQ 详解 Centos7环境安装Erlang、RabbitMQ详细过程(配图) 一、发布订阅模式原理 在开发过程中&…

linux查看系统类型

要确定系统是 Ubuntu 还是 CentOS,可以通过查看系统的发行版信息来判断。以下是几种常见的方法: 方法一:使用 cat 命令查看 /etc/os-release 文件 这个文件包含了系统的详细信息,包括发行版名称和版本号。 cat /etc/os-release…

ESP32-C3实现非易失变量(Arduino IDE )

1效果 网页输入数据&#xff0c;串口打印数据。掉电后数据还在 2源码 #include <WiFi.h> // 包含WiFi库&#xff0c;用于处理WiFi连接 #include <WebServer.h> // 包含WebServer库&#xff0c;用于创建Web服务器 #include <Preferences.h> // 包含Prefere…

告别微信封号!学会这5招,让你的账号坚不可摧

在这个信息爆炸的时代&#xff0c;无论是工作沟通、社交互动还是获取信息&#xff0c;微信都扮演着极其重要的角色。但是&#xff0c;随着微信平台规则的日益严格&#xff0c;账号被封的风险也随之增加。今天&#xff0c;我们就来聊聊如何有效防止 微信被封&#xff0c;让你的账…

【MySQL】入门篇—基本数据类型:NULL值的概念

在关系数据库中&#xff0c;NULL值是一个特殊的标记&#xff0c;表示缺失或未知的值。 NULL并不等同于零&#xff08;0&#xff09;或空字符串&#xff08;&#xff09;&#xff0c;它表示一个字段没有任何值。 这一概念在数据库设计和数据管理中至关重要&#xff0c;因为它影…