机器学习理论基础—支持向量机的推导(一)

机器学习理论基础—支持向量机的推导

算法原理

SVM:从几何角度,对于线性可分数据集,支持向量机就是找距离正负样本都最远的超平面,相比于感知机,其解是唯一的,且不偏不倚,泛化性能更好。

在这里插入图片描述

超平面

n维空间的超平面(wT X+ b= 0,其中w,x ∈ R)

  • 超平面方程不唯—
  • 法向量w和位移项b确定一个唯一超平面
  • 法向量w垂直于超平面 (缩放w,b时,若缩放倍数为负数会改变法向量方向)
  • 法向量w指向的那一半空间为正空间,另一半为负空间
  • 任意点到超平面的距离公式为
    在这里插入图片描述

点到超平面的距离公式

理论证明:提出假设条件
在这里插入图片描述

1.由于法向量W与x1x0向量平行,首先计算两个向量点乘的模长:而下x1x0向量的模长就是要求的距离R
在这里插入图片描述
2.按照点乘的坐标形式来进行计算,最后令两个式子相等即可以得到最终的结果。
在这里插入图片描述
两个式子相等得到最终的结果:
在这里插入图片描述

几何间隔

定义:M关于超平面的几何间隔为:(样本点的形式
在这里插入图片描述

正确分类是指:正样本都集中在正空间,负样本都集中在负空间。

  • 正确分类时r(i)>0,几何间隔此时也等价于点到超平面的距离。
  • 没有正确分类时:r(i)<0

数据集的定义形式 X为(x1,x2…)的数据集):即是所有样本点几何间隔的最小值。

在这里插入图片描述

支持向量机

模型定义:给定线性可分数据集X,支持向量机模型希望求得数据集X关于超平面的几何间隔达到最大的那个超平面,然后套上一个sign函数实现分类功能
在这里插入图片描述

其中与感知机模型的区别在于,参数的不同支持向量机中的参数为b而感知机中的参数为一个阈值。

几何间隔最大的超平面一定是距离正负样本最远的超平面。

当超平面没有正确划分正负样本时:几何间隔最小的为误分类点,因此r<0
当超平面正确划分超平面时:r≥0,且越靠近中央越大。

支持向量机学习策略

策略:给定线性可分数据集X,设X中几何间隔最小的样本(xmin,ymin),那么支持向量机找超平面的过程可以转化为以下带约束条件的优化问题。
在这里插入图片描述
根据几何间隔的定义带入进行求解,可以得到最终的结果式子与约束条件
在这里插入图片描述
在这里插入图片描述
化简后的公式存在的问题:
假设该问题的最优解为(w*,b*),那么(αw*,αb*),α ∈R+也是最优解,且超平面也不变,因此还需要对w,b做一定限制才能使得上述优化问题有可解的唯一解。不妨令
在这里插入图片描述
因为对于特定的(Xmin,Ymin)来说,使得该公式为1的α 的值只有一个
因此该公式和约束条件可以进一步优化为:
在这里插入图片描述
为了便于计算在进一步进行化简得到最终的学习策略结果(平方取反转换为最小值问题)。
在这里插入图片描述

此优化问题为含不等式约束的优化问题,且为凸优化问题,因此可以直接用很多专门求解凸优化问题的方法求解该问题,在这里,支持向量机通常采用拉格朗日对偶来求解。

凸优化问题

在这里插入图片描述

若目标函数f(x)是凸函数,约束集合是凸集,则称上述优化问题为凸优化问题,特别地,g(x)是凸函数,h(x)是线性函数时,约束集合为凸集,该优化问题为凸优化问题。显然,支持向量机的目标函数1/2||w||2是关于w的凸函数,不等式约束1 一y(wtx(i)十b)是也是关于w的凸函数,因此支持向量机是一个凸优化问题。

拉格朗日对偶

用来处理一般的约束问题,对于上面的公式,使用拉格朗日函数进行构造可得有

在这里插入图片描述
其中μ=(μ1,μ2,·,μm)T,入=(入1,入2,.,入n)T为拉格朗日乘子向量。
定义上述优化问题的拉格朗日对偶函数T(μ,入)(注意其自变量不包含x)为L(x,μ,入)关于x的下确界,也即:
在这里插入图片描述

无论上述优化问题是否是凸优化问题,其对偶函数T(μ,入)恒为凹函数 (证明参见《凸优化》)当μ≥0时,(μ,入)构成了上述优化问题最优值p*的下界,也即:在这里插入图片描述
对上面的使用拉格朗日对偶函数求最优值提供参考的证明步骤
在这里插入图片描述

定义在满足μ≥ 0这个约束条件下求对偶函数最大值的优化问题为拉格朗日对偶问题(原优化问题称为主问题)
在这里插入图片描述
设该优化问题的最优值为d*,显然d≤ p,此时称为“弱对偶性"成立,若d* = p*,则称为“强对偶性"成立。找到了求p*的方法(上面有参考的证明过程

无论主问题是否为凸优化问题,对偶问题恒为凸优化问题,因为对偶函数T(μ,入)恒为凹函数(加个负号即可转为凸函数),约束条件μ≥0恒为凸集。

当主问题满足某些充分条件时,强对偶性成立。常见的充分条件有Slater条件:“若主问题是凸优化问题,且可行集D中存在一点能使得所有不等式约束的不等号成立,则强对偶性成立”(证明参见《凸优化》)。显然,支持向量机满足Slater条件。

KKT条件(5个)

设f(x),g(x),h(x)一阶偏导连续,x*,(μ*,入*)分别为主问题和对偶问题的最优解,若强对偶性成立,则x*,μ*,入*一定满足如下5个条件(证明参见《凸优化》
在这里插入图片描述

得出了第一种推导形式

根据支持向量机的主问题直接引出拉格朗日函数=0并对其求一阶偏导
在这里插入图片描述
若将w,b合并为=(w;b),显然上式是关于w的凸函数,直接求一阶导令其等于0,然后带回即可得到最小值,也即拉格朗日对偶函数。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/828357.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

浙江政务服务网(含单点登录、mgop、zwlog埋点)对接流程

首先由业主单位在IRS平台上注册申请应用&#xff0c;等审批通过后&#xff0c;会给开发商提供开发商账号&#xff0c;使用开发商账号登录IRS平台&#xff0c;就可以进行应用的接口申请和部署了。 一、API接口注册 在IRS平台API管理界面中&#xff0c;新建API&#xff0c;设置…

yolov5 C3改进|深度可分离卷积轻量化主干

一、深度可分离卷积代码 import torch import torch.nn as nnclass DP_Conv(nn.Module):def __init__(self, c1, c2, k1, s1, pNone, g1, actTrue): # ch_in, ch_out, kernel, stride, padding, groupssuper(DP_Conv, self).__init__()self.conv nn.Conv2d(c1, c1, kernel_s…

速度进来!看看这两年热门的MongoDB数据库!

速度进来&#xff01;看看这两年热门的MongoDB数据库&#xff01; MongoDB是一个基于分布式文件存储的开源NoSQL数据库&#xff0c;它采用了文档型数据模型&#xff0c;可以存储比较复杂的数据类型&#xff0c;如数组、嵌套文档等。MongoDB具有高性能、高可用性、自动扩展等特…

百篇博客 · 千里之行

时光荏苒流逝&#xff0c;白驹匆匆过隙&#xff0c;不知不觉间&#xff0c;Damon小智已经在CSDN上记录了第一百多篇文章。恰逢128天创作纪念日的此刻&#xff0c;我感慨良多&#xff0c;这百余篇博客不仅是我的创作历程&#xff0c;更见证了我在这五年技术生涯中走过心路历程。…

算法学习001-圆桌问题 中小学算法思维学习 信奥算法解析 c++实现

目录 算法学习001-圆桌问题 一、题目要求 1、编程实现 2、输入输出 二、算法分析 三、程序编写 四、程序说明 五、运行结果 六、考点分析 七、推荐资料 算法学习001-圆桌问题 一、题目要求 1、编程实现 圆桌边围坐着2n个人&#xff0c;其中n个人是好人&#xff0c…

GitLab 卸载步骤 - 完全卸载

说明 本文介绍一下 gitlab 服务器的卸载步骤。 服务器 &#xff1a; Centos7。停止服务 gitlab-ctl stop卸载 rpm 软件 rpm -e gitlab-ce 查看进程 ps -ef | grep gitlab 干掉第一个 runsvdir -P /opt/gitlab/service log 进程删除 gitlab 残余的文件 find / -name *git…

启明云端新品WT99C262-SG LoRa开发板,搭配WT32-ETH0X实现LoRa/WiFi/蓝牙转以太网

WT99C262-SG系列开发板是启明云端推出的一款基于WTLRC262-SG系列模组的开发板。板上搭载的模组支持Wi-FiBLELoRa功能&#xff0c;且模组大部分管脚均已引出至两侧排针&#xff0c;开发人员可根据实际需求&#xff0c;通过跳线连接多种外围设备&#xff0c;也可将开发板插在面包…

Pytorch或Tensorflow 深度学习库安装 (简易版)

Tensorflow 2.X安装 0、 pytorch 支持 conda虚拟环境 cuda 和 cudnn1、创建conda环境2、测试GPU是否可用3、在机器上安装cuda 和 cudnnCUDA 安装cudnn 安装 0、 pytorch 支持 conda虚拟环境 cuda 和 cudnn 如果只用pytorch&#xff0c; 只需在虚拟环境安装cuda 和 cudnn即可&am…

第27天:安全开发-PHP应用TP框架路由访问对象操作内置过滤绕过核心漏洞

第二十七天 一、TP框架-开发-路由访问&数据库&文件上传&MVC模型 1.TP框架-开发-配置架构&路由&MVC模型 参考&#xff1a;https://www.kancloud.cn/manual/thinkphp5_1 配置架构-导入使用路由访问-URL访问数据库操作-应用对象文件上传操作-应用对象前端页…

web-traffic-generator:一款功能强大的HTTP和HTTPs流量混淆工具

关于web-traffic-generator web-traffic-generator是一款功能强大的HTTP和HTTPs流量混淆工具&#xff0c;该工具基于纯Python开发&#xff0c;可以帮助广大研究人员在HTTP或HTTPs网络流量中提添加噪声&#xff0c;以此来实现流量混淆的目的。 本质上来说&#xff0c;web-traff…

Linux编译和NXP官方系统移植

文章目录 一、Linux安装环境配置二、Linux编译流程三、单个.dtb文件编译方法1.修改顶层makefile2.编译设备树文件3.验证 四、NXP官方Linux系统移植1.将NXP官方Linux系统导入到Ubuntu系统中2.解压系统3.编译系统4.验证5.在NXP官方系统中添加自己的板子 五、 CPU 主频和网络驱动修…

APT(Advanced Persistent Threat)

APT&#xff08;Advanced Persistent Threat&#xff09;&#xff0c;即高级持续性威胁&#xff0c;是一种精心策划、针对特定目标的网络攻击形式。APT攻击的特点包括&#xff1a; 针对性强&#xff1a;APT攻击有明确的目标&#xff0c;通常锁定政府机构、国防部门、金融机构或…

关于mysql存储过程示例-手动事务-循环-日志

CREATE DEFINERroot% PROCEDURE RTX_RECEIPT_INSPECT_DATA() BEGIN-- 声明变量DECLARE RESULT_CODE INT DEFAULT FALSE; -- 默认falseDECLARE done INT DEFAULT FALSE; -- 默认falseDECLARE log_message TEXT;DECLARE V_COUNT INT;DECLARE V_QCREQUIRED VARCHAR(10);-- 收货需质…

C++ | Leetcode C++题解之第49题字母异位词分组

题目&#xff1a; 题解&#xff1a; class Solution { public:vector<vector<string>> groupAnagrams(vector<string>& strs) {// 自定义对 array<int, 26> 类型的哈希函数auto arrayHash [fn hash<int>{}] (const array<int, 26>&…

对浅拷贝的理解

问题背景 我之前一直以为浅拷贝出来的新对象和旧对象的引用地址是相同的&#xff0c;但是通过Object和发现浅拷贝的新对象和旧对象的引用地址不同&#xff01;&#xff01; const obj1 { name: "Alice", test: { age: 12 } };const obj4 Object.assign({}, obj1);…

2、选择什么样的机器人本体

如果说世界是物质的&#xff0c;那么应该先制造出机器人的本体&#xff0c;再让她产生灵魂。如果是精神的呢&#xff0c;世界是无中生有的呢&#xff0c;那就先在仿真中研究算法吧。 而我比较崇尚初中哲学的一句话&#xff0c;世界是物质的&#xff0c;物质是运动的&am…

淘宝电商数据API接口

淘宝电商数据API接口&#xff1a;解锁商业智能&#xff0c;助您决策无忧 点击获取数据 在数字化浪潮席卷全球的今天&#xff0c;电商行业早已不再满足于传统的经营模式。随着大数据、人工智能等技术的飞速发展&#xff0c;电商数据成为了企业决策的重要依据。淘宝电商数据API…

【Vue】自定义事件实现组件之间的通信(案例讲解)

一、前言 这是部分哔哩哔哩上跟着一个博主【遇见狂神说】学习的&#xff0c;当然自己也是才开始学习的vue&#xff0c;在学到这个Vue的自定义事件的时候&#xff0c;虽然知识点很绕&#xff0c;但是在理解后又觉得很意思&#xff0c;觉得Vue真的很强大。这里博主将自己学习到的…

浅谈——“总线系统”

系统总线&#xff1a;三总线系统 数据总线&#xff1a; CPU与内存或其他器件之间的数据传送的通道&#xff0c;决定了CPU和外界的数据传送速度。 每条传输线一次只能传输1位二进制数据。 例如&#xff1a;8根数据线一次可传送一个8位二进制数据&#xff08;即一个字节&#xff…

Python 二叉树的基本操作实现

在Python中实现二叉树的基本操作通常涉及以下步骤&#xff1a; 定义二叉树节点&#xff1a;创建一个类来表示二叉树的节点&#xff0c;通常包含一个数据属性和指向左右子节点的指针。 创建二叉树&#xff1a;允许用户输入数据来构建二叉树。 遍历二叉树&#xff1a;实现前序、…