支持向量机的基本思想_支持向量机的分类思想

9df2bc4d70bda281a378845b872f64fa.png

支持向量机是一种经典的机器学习算法,在小样本数据集的情况下有非常广的应用。本文将循序渐进地讲解支持向量机的分类思想。

目录:

  • 函数间隔和几何间隔
  • 支持向量机的分类思想
  • 总结

1.函数间隔和几何间隔

为了能够更好的阐述支持向量机的分类思想,需要理解函数间隔和几何间隔的定义。

1.点到超平面的距离

假设超平面方程:

到平面的距离:

1369967a419450e8b3fd14c9af3ddb73.png

由上式可得:

,没有分类信息,而函数间隔和几何间隔不仅包含了距离信息,还包含了分类信息。

2.函数间隔和几何间隔

对于给定的训练数据集T,正样本和负样本分别为+1和-1,我们对式(1.1)稍微进行了修改:

(1) 点到平面的距离不作规范化处理,得:

(2) 去掉绝对值符号,并乘以标记结果y0,得:

d2表达式就是函数间隔的定义,有两层含义:大小表示点P0到超平面的距离,正负表示点P0是否正确分类,若d<0,分类错误;反之,则分类正确。

因此,定义点到超平面的函数间隔为:

接着定义训练数据集T的函数间隔是所有样本点(xi,yi)的函数间隔的最小值,即:

其中,

但是,若成比例的增加超平面参数w和b,超平面没有改变,但是函数间隔却成比例的增加了,这是不符合理论的,因此,需要对函数间隔进行规范化,得:

(1.7)式就是几何间隔的定义,几何间隔的值是确定的。

2.支持向量机的分类思想

1.感知机和logistic回归的分类思想

感知机的损失函数为所有误分类点到超平面的距离之和:

无误分类点时,损失函数为0,满足模型分类条件的超平面有无数个,如下图:

a1336a9279ecdd626a5b71472d29fe52.png

初始超平面为l1,误分类点为红色框,最小化式(2.1)有无穷多个满足损失函数为0的超平面,如上图的l2~ln,然而,最佳分类超平面只有一个,即支持向量机所对应的超平面。

假设logistic回归的模型是

,logisitc回归的损失函数:

简单地分析(2.2)式的分类思想:

(1) 当yi=1时,损失函数简化为:

若要损失函数

越小越好,则xi的值越大越好,如下图:

b1950b7c0c08ed97f57cca9112ed172b.png

往箭头方向移动时,损失函数
逐渐变小。

(2) 当yi=0时,损失函数

简化为:

若要损失函数

越小越好,则xi的值越小越好,如下图:

22136965a1f945eb749a9ce56f4413c1.png

往箭头方向移动时,损失函数
逐渐变小。

2.支持向量机的分类思想

支持向量机结合了感知机和logistic回归分类思想,假设训练样本点(xi,yi)到超平面H的几何间隔为

,由上节定义可知,几何间隔是点到超平面最短的距离,如下图的红色直线:

de278fa88ab80a50792ac5dbf4dd28d3.png

用logistic回归模型分析几何间隔:

因此,当

越大时,损失函数越小,结果为正样本的概率也越大。

因此,感知机的分类思想是最大化点到超平面的几何间隔,这个问题可以表示为下面的约束最优化问题:

根据几何间隔和函数间隔的关系,得几何间隔的约束最优化问题:

函数间隔是样本点到超平面的最短距离,因此,令函数间隔为常数1,那么其他样本点到超平面的距离都大于1,且最大化

和最小化
是等价的。于是就得到了下面的最优化问题:

由(2.8)(2.9)式,解得最优解

,易知最优超平面到正负样本的几何间隔相等。

总结

本文结合了感知机和logistic回归的分类思想来推导支持向量机的最优化问题,即最大间隔分离超平面。

参考:

李航 《统计学习方法》

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/567383.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

mysql8.0版本的服务器名称_Linux服务器配置-VSFTP服务配置(六)

上文&#xff1a;Linux服务器配置-VSFTP服务配置(五)上文中已经介绍了使用数据库文件方式配置虚拟用户认证登录FTP服务器&#xff0c;这篇文件将介绍通过数据库方式(vsftpd服务pam_mysqlMySQL)配置虚拟用户认证登录FTP服务器。一、安装配置MySQL数据库这里以在CentOS6中安装MyS…

linux作业整理

软件工程2004班20201106401陈梓乐易子清的博客_CSDN博客-领域博主20201106402段雅菲Ya._的博客_CSDN博客-领域博主20201106403范冰范冰 软件工程的博客_CSDN博客-领域博主20201106404范笛笛低谷有雾aaa的博客_CSDN博客-领域博主20201106405冯燕不染 -的博客_CSDN博客-领域博主2…

java导出csv文件_R语言数据导入与导出

R语言数据导入与导出整这么一个系列&#xff0c;还是因为学R语言时遇到过一个非常“小白友好”的网站“DataScience Made Simple”。相信很多人搜到过这个网站&#xff0c;或许你在意到或许并没在意。年前试着和作者发了一封邮件&#xff0c;想要把他这个网站做成汉语版的帖子发…

主成分分析碎石图_ISLR读书笔记十九:主成分分析(PCA)

本文使用 Zhihu On VSCode 创作并发布前面写的一些统计学习方法都是属于监督学习&#xff08;supervised learning&#xff09;&#xff0c;这篇主成分分析&#xff08;principal components analysis&#xff0c;简称 PCA &#xff09;和下一篇聚类分析&#xff08;clustering…

office另存为pdf的加载项_pdf怎么转换成word?打工人必备的丛林法则

小编接受了一个工作&#xff0c;要批量将pdf转换成word&#xff0c;而且不太花钱的我(和大部分人一样&#xff0c;只想找免费的工具)&#xff0c;在同事的帮助下&#xff0c;找到了很不错的办法&#xff0c;再加上我自己总结的几个办法&#xff0c;给大家分享一些干货。网上有不…

使用gdisk中的n新建分区时没有p和e选项

正常分区界面为&#xff1a; 但是分区时发现 不可选择主分区或者扩展分区。 原因分析&#xff1a; 1、使用p命令查看&#xff1a;已有三个分区 2、再进行分区时&#xff1a; 可能是默认的一个扩展分区---如果可以创建多个逻辑分区 也可能是一个主分区--只能创建一个主分区…

node本地连接服务器的数据库_基于Node.jsORM框架Sequelize的数据库迁移一

开课吧Web前端教程前言在日常的后端项目开发中&#xff0c;我们经常需要和数据库打交道。在这个过程中&#xff0c;我们需要创建数据库、表还有一些测试数据。许多时候&#xff0c;因为业务需求的变更导致的数据库结构的变化&#xff0c;需要修改数据库&#xff0c;添加新的测试…

使用OfficeTool免费安装Office

1、在office tool plus官网下载office tool plus Office Tool Plus 官方网站 - 一键部署 Office 2、安装office tool plus 3、卸载原office&#xff1a;点击工具箱-修复工具-移除Office&#xff0c;选择使用Office Tool Plus移除Office&#xff0c;点击开始。 4、点击部署-产品…

语言线性拟合线对称_文科生都能看懂的机器学习教程:梯度下降、线性回归、逻辑回归...

【新智元导读】虽然在Coursera、MIT、UC伯克利上有很多机器学习的课程&#xff0c;包括吴恩达等专家课程已非常经典&#xff0c;但都是面向有一定理科背景的专业人士。本文试图将机器学习这本深奥的课程&#xff0c;以更加浅显易懂的方式讲出来&#xff0c;让没有理科背景的读者…

c/c++读取txt文件中指定行的内容_和尧名大叔一起从0开始学Python编程-简单读写文件

0基础自学编程是很痛苦的一件事情&#xff0c;所以我想把自己学习的这个过程记录下来&#xff0c;让想学编程的人少走弯路&#xff0c;大叔文化程度较低&#xff0c;可能会犯一些错误&#xff0c;欢迎大家督促我。今天&#xff0c;我们来学习一下用Python简单读写文件&#xff…

excel从只有省市县的地址中分别提取省、市、县

提取省 LEFT(H2,MIN(FIND({"省","市","区"},H2&"省市区"))) 提取市 LEFT(SUBSTITUTE(H23,I23,""),MIN(FIND({"市","区","县","州"},SUBSTITUTE(H23,I23,"")&&qu…

两个字符串组成tuple_史上最全python字符串操作指南

惨不忍睹拿出了看家的老中医野广告&#xff0c;都没能拯救惨淡的selenium剧集。上周五和朋友聊天&#xff0c;说希望看到一些python基础的知识。本来还担心更新基础的东西没人看&#xff0c;但现在看来&#xff0c;最差不过selenium系列了...哈哈。虽然说更新基础知识&#xff…

python3数据科学入门与实战_Python3学习之Python3数据科学入门与实战视频教程

Python3学习之Python3数据科学入门与实战视频教程 Python3数据科学入门与实战 这是一个数据驱动的时代&#xff0c;想要从事机器学习、人工智能、数据挖掘等前沿技术&#xff0c;都离不开数据跟踪&#xff0c;本课程通过Numpy、Pandas进行数据科学计算&#xff0c;通过Seaborn、…

语言五子棋无ai程序框图_微软多语言预训练模型T-ULRv2登顶XTREME排行榜

编者按&#xff1a;为进一步实现用 AI 赋能用户体验&#xff0c;微软正在不断拓展多语言模型的边界。近日&#xff0c;由微软图灵团队与微软亚洲研究院联合探索的最新跨语言研究成果——多语言预训练模型 T-ULRv2&#xff0c;登顶 XTREME 排行榜&#xff0c;T-ULRv2 可以在相同…

excel学习

1.高配筛选—切片器 (1)创建超级表 选中某个单元格&#xff0c;插入&#xff0c;表格。 (2)插入切片器 插入—切片器 (3)改变切片器样式 选中菜单栏切片器&#xff0c;按钮&#xff0c;选择横排 2.subtotal实现动态编号 3-counta 过滤筛选 103-counta 过滤筛选和隐藏

keil3如何放大字体_Word技巧之快速放大字体!快来GET新技能!

一般情况下我们都会选择用Word编辑文章&#xff0c;文章编辑完成之后我们通常会对文章进行排版。在排版的过程中如果我们需要将Word字体放大该怎么办呢&#xff1f;今天倾尘跟大家分享的就是办公小技巧&#xff1a;Word 里的字体如何无限放大&#xff1f;方法一&#xff1a;点击…

dlib简便下载方法

一、查看已安装Python版本 二、下载python对应版本的dlib.wlh文件 官方网上边是没有3.7版本往后的dlib&#xff0c;想要下载其它版本的dlib自己去找了&#xff0c;但是我这里只有3.8的需要下载的可以点这里 提取码&#xff1a;dlib 三、在dlib.wlh文件所在路径下&#xff0c;安…

stm32 web get 参数_BlackHat2020议题之Web缓存投毒

周末闲着没事就来学习下新的思路,文章很长&#xff0c;花了一天时间才码出来&#xff0c;所以&#xff0c;你懂我意思吧?对了&#xff0c;周末打算出去走走&#xff0c;所以就不更文了本文将会介绍Web缓存投毒的各种骚姿势以及利用链&#xff0c;并会搭配相应案例进行讲解&…

c3p0 服务启动获取连接超时_JDBC数据库连接池

连接池的本质是构建一个容器&#xff0c;容器是用来存创建好的线程&#xff0c;http连接、数据库连接、netty连接等各个连接池的使用大致分为三个部分1、首先是初始化连接池&#xff0c;根据设置相应的参数、连接池的大小、核心连接数等参数&#xff0c;初始化创建数据库、http…

人脸检测,关键点识别,人脸对齐

import cv2 import dlib import numpy as np import math PREDICTOR_PATH "E:/Testcomptition/shape_predictor_68_face_landmarks.dat" predictor dlib.shape_predictor(PREDICTOR_PATH) # 用来预测关键点 detector dlib.get_frontal_face_detector() class Fac…