svr公式推导_ML-支持向量:SVM、SVC、SVR、SMO原理推导及实现

目录

1.导出目标

2拉格朗日转换

3对偶问题:

因为是希望得出L最小时的一些参数w,b,a,但是目前很难一起求得最佳参数,所以换个思路。因为:

所以能够容易的计算出拉格朗日乘子a约束时的最坏情况是:

但是m个a的值还是无法求出,而后面会得知,根据L对w,b的求导关系,w,b可以被a表示出来,所以关键变为求a。

根据对偶关系,极大值关系可以转为极小值关系,且转换后的问题会不大于原问题,在取得极值的时候才取等号,也就是:

这样问题变为,先把w,b求导关系代入求L极小值关系,最后再寻找a的问题,最后a的求解会通过SMO等思路求解,具体SMO放到最后讲解,因为太难了。

4求对偶问题

1)求L的极小值时的w,b,求导:

得出极小值需满足如上这些关系

2)代入L求导关系式,求关于a的极大值:

所以关键是对这个函数求极大值时的a,假设通过后面的SMO找到了,记为a*,那么显然得到了w的解析式:

5 求b

因为对于所有支持向量点(正例上支持向量点位于WTx+b = 1超平面上,反例WTx+b= -1)记作(xs,ys),均有:

根据KKT条件:ai>0时,yi(WTxi+b)-1=0:(必定:WTxi+b = 1 或WTxi+b= -1)即xi必须是支持向量点,而ai=0时:

也就是说对w无影响,因此上式中w还可以简化成只考虑支持向量点计算(实际上这就是SVM称为支持向量机的原因,因为模型真正起作用的,就只是这些支持向量点):

假设我们有S个支持向量(位于WTx+b = 1,WTx+b= -1超平面上的点集),则对应我们求出S个b∗,理论上这些b∗都可以作为最终的结果, 但是我们一般采用一种更健壮的办法,即求出所有支持向量所对应的b∗,然后将其平均值作为最后的结果:

6 得出模型

ai参数求出之后,如上所示,就相当于求出了w,b了。就可以得到模型,进行预测了:

def _f(self, i):

r = self.b

for j in range(self.m):

r += self.alpha[j] * self.Y[j] * self.kernel(self.X[i], self.X[j])

return r

6.1 f(x)的约束条件:

7 核函数

现实中可能有些不存在线性的可分超平面,但是可能映射到更高维度可能就可分了,有证明显示,如果原始空间维度有限,那么一定存在高维特征空间使样本可分。

这样对x的映射关系,可以直接用到上面推导的所有公式里:

原问题映射:

对偶形式映射:

这种映射我们并不知道具体是如何的,因此也不知如何去计算了,所以这里就设想出来核函数的概念了:

def kernel(self, x1, x2):

if self._kernel == 'linear':

return sum([x1[k] * x2[k] for k in range(self.n)])

elif self._kernel == 'poly':

return (sum([x1[k] * x2[k] for k in range(self.n)]) + 1) ** 2

return 0

假设出原来的这种内积映射,是等价于某个函数k(.,.)计算的结果。问题就变成了:

求解后模型为:

核函数性质

k是核函数,当且仅当’核矩阵’K总是半正定:

常见核函数列表:

另外核函数线性组合起来还是核函数(系数为正),k1,k1,r1>0,r2>0:k3=r1k1+r2k2 也是核函数

7.1 软间隔

讨论软间隔是因为像这种情况,严格分出来(线性不可分了已经,用核函数可以分)是个弯曲的,但实际上应该就是这下面这样一条斜线才是最好的模型表示:

因此办法是,允许在一些情况下出现错误,引入软间隔的概念,在这个软间隔内允许出错。也就是允许不满足约束:

对于不满足的点,我们会累记一个损失函数,再引入惩罚力度因子C,则可以重新定义优化目标:

7.2 松弛变量:

显然,这些损失是常数且>=0,因此引入松弛变量的概念替换原来的损害函数计算结果,重写简化:

上式进行拉格朗日变换:为什么这样:https://blog.csdn.net/jiang425776024/article/details/87607526

同样的求导,对偶和上面4一致,省略。最终得到如下对偶问题:

7.3 KKT约束

可见,与非软间隔的问题相比,仅仅是对约束ai多了一个上界约束,且约束就是

这个约束是有道理的:

a) 如果α=0,那么yi(wTxi+b)−1≥0,即样本在间隔边界上或者已经被正确分类。

b) 如果0

c) 如果α=C,说明这是一个可能比较异常的点,需要检查此时ξi

1)如果0≤ξi≤1,那么点被正确分类,但是却在超平面和自己类别的间隔边界之间

2)如果ξi=1,那么点在分离超平面上,无法被正确分类。

3)如果ξi>1,那么点在超平面的另一侧,也就是说,这个点不能被正常分类

实现代码,判断是否否后KKT条件,True符合,False不符合:

def _KKT(self, i):

y_g = self._g(i) * self.Y[i]

if self.alpha[i] == 0:#a=0:需要yif(xi)-1>=0

return y_g >= 1

elif 0 < self.alpha[i] < self.C: #0

return y_g == 1

else:

return y_g <= 1 #a>=C:异常点,需要0≤ξi≤1满足在区间内yif(xi)<=1

8 SMO求a

8.1对偶问题上,上面已知对偶形式:

8.2.SMO算法思想

在SMO算法中的思想是,每次选择一对变量(αi,αj)进行优化,其余m-2个固定看作是常量, 因为在SVM中,α并不是完全独立的,而是具有约束的:

因此一个只选一个ai,那么ai可以被其它表示。

假设我们选取的两个需要优化的参数为α1,α2, 剩下的α3,α4,…,αm则固定作为常数处理。将SVM优化问题进行展开就可以得到(把与α1,α2无关的项合并成常数项C):(省略了a3+a4+...+am=C,因为其对max函数无意义)

8.2.1更新方法

因为y1,y2只能是1/-1,因此a1,a2的关系被限制在盒子里的一条线段上(只能是a1-a2/a1+a2两种情况),所以两变量的优化问题实际上仅仅是一个变量的优化问题(一个能由另一个得出)。我们假设是对a2的优化问题,所以只存在2幅图的情况:

1)y1!=y2,则约束a1y1+a2y2=k:a1-a2=k,L,H为约束下a2的最小最大值,为下图

2)y1=y2:

if self.Y[i1] == self.Y[i2]:

L = max(0, self.alpha[i1] + self.alpha[i2] - self.C)

H = min(self.C, self.alpha[i1] + self.alpha[i2])

else:

L = max(0, self.alpha[i2] - self.alpha[i1])

H = min(self.C, self.C + self.alpha[i2] - self.alpha[i1])

def _E(self, i):

return self._f(i) - self.Y[i]

则最优化问题转为更新:

最终更新方式:

剪辑判断:

def _compare(self, _alpha, L, H):

# 剪辑操作

if _alpha > H:

return H

elif _alpha < L:

return L

else:

return _alpha

a1,a2更新:

# 边界

if self.Y[i1] == self.Y[i2]:

L = max(0, self.alpha[i1] + self.alpha[i2] - self.C)

H = min(self.C, self.alpha[i1] + self.alpha[i2])

else:

L = max(0, self.alpha[i2] - self.alpha[i1])

H = min(self.C, self.C + self.alpha[i2] - self.alpha[i1])

E1 = self.E[i1]

E2 = self.E[i2]

eta = self.kernel(self.X[i1], self.X[i1]) + self.kernel(self.X[i2], self.X[i2]) - 2 * self.kernel(

self.X[i1], self.X[i2])

if eta <= 0:

# print('eta <= 0')

continue

alpha2_new_unc = self.alpha[i2] + self.Y[i2] * (E1 - E2) / eta

alpha2_new = self._compare(alpha2_new_unc, L, H)

alpha1_new = self.alpha[i1] + self.Y[i1] * self.Y[i2] * (self.alpha[i2] - alpha2_new)

self.alpha[i1] = alpha1_new

self.alpha[i2] = alpha2_new

8.2.2 推导过程

则:

求导:

代入关系式,添加新旧标记方便迭代更新:

得:

得出上面的更新方式。

8.2.3选两点a1,a2的方法

SMO每个子问题选择两个变量优化,其中至少一个变量是违法KKT条件的。

第1个变量a1的选择

SMO称选择第一个变量的过程为外层循环,外层循环选取违反KKT条件最严重的样本点(xi,yi)对应的ai值作为第一个变量a1;检测是否满足KKT条件(7.3有具体介绍):

一般,外层循环先遍历所有满足0

第2个变量a2的选择

SMO算法称选择第二一个变量为内层循环,假设我们在外层循环已经找到了α1, 第二个变量α2的选择标准是让|E1−E2|有足够大的变化。8.2.1定义了E(预测值与真实值之差)。由于α1定了的时候,E1也确定了,所以要想|E1−E2|最大,只需要在E1为正时,选择最小的Ei作为E2,在E1为负时,选择最大的Ei作为E2,可以将所有的Ei保存为列表,加快迭代。

如果内存循环找到的点不能让目标函数有足够的下降,可以采用遍历支持向量点来做α2,直到目标函数有足够的下降, 如果所有的支持向量做α2都不能让目标函数有足够的下降,可以跳出循环,重新选择α1。

def _init_alpha(self):

# 外层循环首先遍历所有满足0

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/472407.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

302状态码_你见过 HTTP 哪些状态码?

❝好久没有写技术文章&#xff0c;今天在四川广元无事&#xff0c;总结一篇。附一张今天早上在嘉陵江遇见的白鹡鸰 (不是我拍的)❞白鹡鸰101 Switch Protocol200 Ok201 Created204 No Content206 Partial Content301 Moved Permanently302 Found304 Not Modified307 Temporary …

羽毛球 机器人 Robocon 2015 泰国预选赛(全国大学生机器人竞赛)

羽毛球 机器人 Robocon 2015 泰国预选赛(全国大学生机器人竞赛) 我把视频传我的优酷上了, 大家可以看看 http://i.youku.com/pomodori posted on 2015-02-04 11:26 rex686568 阅读(...) 评论(...) 编辑 收藏 转载于:https://www.cnblogs.com/Pomodori/p/4316622.html

山西大学计算机应用专业,山西大学计算机应用技术专业

在主要课程学完并确定论文题目后&#xff0c;研究生撰写论文的时间为一年半至两年。(一)论文选题的要求1. 选题必须有一定的理论意义或应用价值论文选题必须对国民经济建设或在学术上有一定的价值。2&#xff0e;国内外研究动态论文选题时&#xff0c;学生必须掌握与该课题有关…

LeetCode LCP 34. 二叉树染色(树上DP)

文章目录1. 题目2. 解题1. 题目 小扣有一个根结点为 root 的二叉树模型&#xff0c;初始所有结点均为白色&#xff0c;可以用蓝色染料给模型结点染色&#xff0c;模型的每个结点有一个 val 价值。 小扣出于美观考虑&#xff0c;希望最后二叉树上每个蓝色相连部分的结点个数不能…

uart口图片_uart 加强了的串口调试助手,可以自动记录传输数据,并且显示图片,示波器等功能 Com Port 编程 267万源代码下载- www.pudn.com...

文件名称: uart下载 收藏√ [5 4 3 2 1 ]开发工具: C#文件大小: 10479 KB上传时间: 2014-06-06下载次数: 62提 供 者: 林元峰详细说明&#xff1a;加强了的串口调试助手&#xff0c;可以自动记录传输数据&#xff0c;并且显示图片&#xff0c;示波器等功能-Enhanced seri…

delphi 串口通信发送_关于串口通信232、485、422和常见问题,就没见过能讲这么清楚的...

先讲串口通信的一些基本概念&#xff0c;术语。如果对串口通信比较熟悉的&#xff0c;就当复习&#xff0c;如果哪里讲的不到位&#xff0c;欢迎及时指出。这里并不对串口的编程作讲解&#xff0c;主要是从应用的角度去讲一讲。因为更多的时候&#xff0c;都是产品做好了&#…

LeetCode 1822. 数组元素积的符号

文章目录1. 题目2. 解题1. 题目 已知函数 signFunc(x) 将会根据 x 的正负返回特定值&#xff1a; 如果 x 是正数&#xff0c;返回 1 。如果 x 是负数&#xff0c;返回 -1 。如果 x 是等于 0 &#xff0c;返回 0 。 给你一个整数数组 nums 。 令 product 为数组 nums 中所有元…

快速替换图片的组合-AE-样片!

模板下载网址&#xff1a;http://pan.baidu.com/s/1hqCbErM转载于:https://www.cnblogs.com/nedtwo/p/4278337.html

南昌理工学院计算机网络技术专业怎么样,南昌理工学院怎么样 重点专业是什么...

毕业季即将来临&#xff0c;报考的时候同学们和家长朋友们最关心的就是学校好不好的问题&#xff0c;想要了解学校有哪些特色专业、师资力量怎么样。下面小编整理了南昌理工学院的信息&#xff0c;供大家参考。南昌理工学院重点专业国家级特色专业&#xff1a;计算机科学与技术…

英特尔cpu发布时间表_英特尔10nm芯片开始大规模出货,先进制程时间表浮出水面...

多年延期之后&#xff0c;英特尔终于宣布其 10nm 芯片产品开始大量出货。近日&#xff0c;英特尔公布了公司 2019 年 Q3 财报。在财报会议中&#xff0c;英特尔透露了这一消息。具体而言&#xff0c;英特尔已有晶圆厂开始大批量生产 10nm 芯片&#xff0c;未来也还准备建立新厂…

matplotlib绘图_使用matplotlib库绘图

本代码演示对列表元素进行绘图并可视化代码如下&#xff1a;import matplotlib.pyplot as plt #导入matplotlib绘图库&#xff0c;并设置简称为pltlist1[i*2 for i in range(1,10)] #遍历range(1,10)里的元素&#xff0c;并每个乘以2&#xff0c;并将最终的列表赋值给list1plt.…

LeetCode 1824. 最少侧跳次数(DP)

文章目录1. 题目2. 解题1. 题目 给你一个长度为 n 的 3 跑道道路 &#xff0c;它总共包含 n 1 个 点 &#xff0c;编号为 0 到 n 。 一只青蛙从 0 号点第二条跑道 出发 &#xff0c;它想要跳到点 n 处。然而道路上可能有一些障碍。 给你一个长度为 n 1 的数组 obstacles &a…

i5集显和独显的区别_集显核显独显有哪些区别 集显核显独显区别介绍【详解】...

显卡是除处理器之外最受大家关心的硬件装备了&#xff0c;要是显卡配置不到位&#xff0c;其他再好都是浮云&#xff0c;而对于游戏玩家来说&#xff0c;显卡性能差的话更是影响游戏的运行&#xff0c;可折腾人了。今天小编为大家分享“集显”、“核显”和“独显”这3个显卡概念…

桌面软件打开都会变成计算机,我不小心把电脑界面程序的打开方式都变成一种了,怎么还原啊?...

如果不小心把电脑桌面程序的打开方式错误的设置成一种后&#xff0c;可以通过以下几种方法还原&#xff1a;方法一&#xff1a;可以通过360里的“360电脑修复专家”功能&#xff0c;进入后&#xff0c;在对话框里输入“电脑的图标异常”&#xff0c;之后立即会自动解决&#xf…

postman 使用_Postman简单使用

今天主要讲解下Postman的简单使用。在使用前&#xff0c;首先需要了解一下什么是Postman&#xff0c;它可以用来做什么&#xff1f;1、 Postman是一款自动化测试的工具&#xff0c;它可以方便的处理HTTP的请求(get、post、put、delete等)。本文主要讲解get和post的使用。2、 那…

中山大学校队选拔赛第二试题试题3【Compressed suffix array】-------2015年2月8日

一&#xff1a;题目大意 本题通过给定三个数组S0&#xff0c;P&#xff0c;S&#xff0c;其中S0是1到2n的一个排列&#xff0c;P具有2n个整数&#xff0c;且满足&#xff1a; 数组S是把数组S0中所有奇数元素全部删除并将所有偶数元素除以2并按照原来的相对顺序进行排列而得。 现…

LeetCode 1825. 求出 MK 平均值(set + queue)

文章目录1. 题目2. 解题1. 题目 给你两个整数 m 和 k &#xff0c;以及数据流形式的若干整数。 你需要实现一个数据结构&#xff0c;计算这个数据流的 MK 平均值 。 MK 平均值 按照如下步骤计算&#xff1a; 如果数据流中的整数少于 m 个&#xff0c;MK 平均值 为 -1 &#…

vue热更新无法关闭_vue-cli3热更新失效

vue-cli3热更新失效问题公司的一个使用vue-cli3搭建的项目一直无法热更新&#xff0c;每次保存代码后都需要手动刷新页面才能看到修改之后的页面&#xff0c;作为一个强迫症晚期患者&#xff0c;那肯定是忍不了。经过个人研究学习&#xff0c;修复好了项目热更新问题&#xff0…

职高计算机选修6知识点,(计算机基础考试7.doc

试卷编号&#xff1a;9619所属语言&#xff1a;计算机基础试卷方案&#xff1a;WINhy试卷总分&#xff1a;100分共有题型&#xff1a;4种一、单选 共40题 (共计40分)第1题 (1.0分) 题号:5923 难度:中 第81章一个六位的二进制数,如果其最高位和最低位都为1,则在下列十进制数中,可…

python中importlib模块安装_Python中标准模块importlib详解

Python中标准模块importlib详解 模块简介 Python提供了importlib包作为标准库的一部分。目的就是提供Python中import语句的实现&#xff08;以及__import__函数&#xff09;。另外&#xff0c;importlib允许程序员创建他们自定义的对象&#xff0c;可用于引入过程&#xff08;也…