机器学习模型——SVM(支持向量机)

基本概念:

Support Vector Machine (支持向量机):  

支持向量:支持或支撑平面上把两类类别划分开来的超平面的向量点。

:一个算法

SVM是基于统计学习理论的一种机器学习方法。简单地说,就是将数据单元表示在多维空间中,然后在这个空间中对数据做划分的算法。  

SVM是建立在统计学习理论的VC维理论和结构风险最小原理基础上的,根据有限的样本信息在模型的复杂性之间寻求最佳折衷,以期获得最好的推广能力(或泛化能力)。所谓VC维是对函数类的一种度量,可以简单的理解为问题的复杂程度,VC维越高,一个问题就越复杂。正是因为SVM关注的是VC维,因此SVM解决问题的时候,和样本的维数是无关的。(甚至样本是上万维的都可以,这使得SVM很适合用来解决文本分类的问题,当然也是因为因为引入了核函数)。

https://www.cnblogs.com/massquantity/p/10920043.html      具体原理推荐大家看这一篇

详细介绍:

SVM,即支持向量机(Support Vector Machine),是一种用于分类和回归分析的机器学习算法

线性分类器:SVM的基础是一个线性分类器,这意味着它通过在特征空间中绘制一条直线来区分不同的类别。在二维空间中,这条线就是一条直线;在三维空间中,它变成了一个平面;在更高维的空间中,它是一个超平面。

最大间隔:SVM的一个特点是它试图找到最佳的分界线,使得两个类别之间的间隔(距离)尽可能大。这个间隔被称为“最大边距”,这样做的目的是为了确保分类的准确性和可靠性。

支持向量:在SVM中,最靠近分界线的点被称为“支持向量”。这些点对于确定分界线的位置至关重要,因为它们是构建模型的关键数据点。

核技巧:尽管SVM最初是线性分类器,但它可以通过所谓的“核技巧”来处理非线性问题。核技巧允许SVM将数据映射到一个更高维的空间,在这个空间中数据变得线性可分。

泛化能力:SVM的设计旨在通过有限的样本信息在模型的复杂性和学习能力之间寻求平衡,以获得良好的泛化能力,即在新的数据上也能做出准确的预测。

SVM的原理较为复杂,里面有提到拉格朗日等知识,这里我就不多说了。

当一个分类问题,数据是线性可分的,也就是用一根棍就可以将两种小球分开的时候,我们只要将棍的位置放在让小球距离棍的距离最大化的位置即可,寻找这个最大间隔的过程,就叫做最优化。 但是,现实往往是很残酷的,一般的数据是线性不可分的,也就是找不到一个棍将两种小球很好的分类。这个时候,我们就需要像大侠一样,将小球拍起,用一张纸代替小棍将小球进行分类。想要让数据飞起,我们需要的东 西就是核函数(kernel),用于切分小球的纸,就是超平面。

核函数:

https://www.zhihu.com/question/24627666 核函数

由于从输入空间到特征空间的这种映射会使得维度发生爆炸似地增长,这给映射过程中的内积的计算带来了很大地困难,而且如果遇到无穷维的情况就根本无法计算。而且如果先将数据从低维映射到高维后,再计算两数据的内积,计算量会非常大,因此核函数就此被引入用来解决SVM分类的非线性问题。

核函数:基本作用是接受两个低维空间里的向量,能够计算出经过某个变换后在高维空间里的向量的内积。因此只需要在输入空间内就可以进行特征空间的内机。 通过上述描述,我们知道要想构造核函数,需要明确输入空间内数据的分布情况,我们并不知道自己所处理的数据的具体分布,故一般很难构造出完全符合输入空间的核函数。因此常用几种常用的核函数来代替构造核函数。

 常用核函数的特性:

线性核函数:主要用于线性可分的情况,我们可以看到特征空间到输入空间的维度是一样的,但是其参数减少速度快,对于线性可分数据,其分类效果很理想且效率更高。因此我们通常首先使用线性核函数来做分类,如果不行再换用其他核函数。

多项式核函数:多项式核函数可以实现将低维的输入空间映射到高维的特征空间,但是多项式核函数的参数多,当多项式的阶数比较高的时候,核矩阵的元素值将趋于无穷大或者无穷小,计算复杂度是会大到无法计算(线性核函数可以看作多项式核函数的一种)。

高斯核函数:在常用的核函数中,使用最广泛的就是RBF核,无论低维、高维、小样本、大样本等情况,RBF核都适用,具有较宽的收敛域,是较理想的分类依据函数。

Sigmoid核函数:采用Sigmoid核函数,支持向量机实现得就是一种多层神经网络。

理解SVM要用到的数学知识较多,这里我就不解释了,我直接用代码来实现了,想了解原理可以学习一下李航老师的统计学习方法。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/781652.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

自定义类型(二)结构体位段,联合体,枚举

这周一时兴起,想写两篇文章来拿个卷吧,今天也是又来写一篇博客了,也是该结束自定义类型的学习与巩固了。 常常会回顾努力的自己,所以要给自己的努力留下足迹。 为今天努力的自己打个卡,留个痕迹吧 2024.03.30 小闭…

Mybatis在SpringBoot中是如何被加载执行

首先依赖于springboot的自动装配EnableAutoConfiguration注解,这个注解最终帮助我们读取mybatis-spring-boot-autoconfigure-x.x.x.jar中的META-INF\spring.factories配置类: org.springframework.boot.autoconfigure.EnableAutoConfiguration\ org.myb…

Mysql数据库——阻塞语句查询与分析

目录 前言 阻塞语句查询与分析 Show Processlist——查看每个与数据库连接的session状态 非Sleeping状态进程数 执行时间较长进程号 查看当前运行的所有事务 当前锁 被blocking阻塞的事务数 数据库连接数 查看锁状态 正在被使用的表 前言 MySQL阻塞是指并发访问时&…

LInux|命令行参数|环境变量

LInux|命令行参数|环境变量 命令行参数main的参数之argc&#xff0c;argv几个小知识<font color#0099ff size 5 face"黑体">1.子进程默认能看到并访问父进程的数据<font color#4b0082 size 5 face"黑体">2.命令行创建的程序父进程都是bash 环…

微分方程错题本

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

【图像超分】论文精读:Image Super-Resolution Using Dense Skip Connections(SRDenseNet)

第一次来请先看这篇文章:【超分辨率(Super-Resolution)】关于【超分辨率重建】专栏的相关说明,包含专栏简介、专栏亮点、适配人群、相关说明、阅读顺序、超分理解、实现流程、研究方向、论文代码数据集汇总等) 文章目录 前言Abstract1. Introduction2. Related work2.1. S…

解释TCP和UDP之间的区别

解释TCP和UDP之间的区别 TCP&#xff08;传输控制协议&#xff09;和UDP&#xff08;用户数据报协议&#xff09;是两种在网络中广泛使用的传输层协议&#xff0c;它们各自具有独特的特点和适用场景。下面将详细解释TCP和UDP之间的区别&#xff0c;并从多个维度进行对比。 连…

设计模式(4):建造者模式

一.场景 我们要建造一个复杂的产品,比如手机、电脑、汽车。这个复杂的产品的创建。有这样一个问题需要处理&#xff1a; 装配这些子组件是不是有个步骤问题&#xff1f; 实际开发中&#xff0c;我们所需要的对象构建时&#xff0c;也非常复杂&#xff0c;有很多步骤需要处理时…

【Qt】:信号与槽(二)

信号与槽 一.带参数的信号和槽二.信号与槽的多对多连接三.信号与槽的断开四.lamda表达式定义槽函数 一.带参数的信号和槽 Qt的信号和槽也⽀持带有参数,同时也可以⽀持重载.此处我们要求,信号函数的参数列表要和对应连接的槽函数参数列表⼀致.&#xff08;一致指的是类型一致&a…

【算法笔记】 树形DP算法总结

定义&#xff1a;树形DP也叫树状DP&#xff0c;即在树上进行的DP&#xff0c;是DP中较为复杂一类 1&#xff1a;主体 即like拓扑排序&#xff0c;从叶子节点向上更新其父节点&#xff0c;从而进行dp&#xff0c;确保先更新的子节点去更新其父节点&#xff0c;一般使用dfs形式…

mysql安装遇到的问题

最近mysql安装遇到了许多问题 这个界面是下载器界面&#xff0c;reconfigure是重新配置这个版本&#xff0c;要新安装要点add 进入这个界面选择对应的版本下载

面试题库二

1、简述TCP/IP的三次握手和四次挥手 TCP&#xff08;Transmission Control Protocol&#xff09;是一种可靠的、面向连接的传输层协议&#xff0c;用于在网络中传输数据。在建立连接和断开连接时&#xff0c;TCP 使用了三次握手和四次挥手来确保通信的可靠性和正确性。 三次握手…

【C语言】作用域规则

任何一种编程中&#xff0c;作用域是程序中定义的变量所存在的区域&#xff0c;超过该区域变量就不能被访问。C语言中有三个地方可以声明变量&#xff1a; 在函数或块内部的局部变量在所有函数外部的全局变量在形式参数的函数参数定义中 局部变量 在某个函数或块的内部声明的…

MySQL 数据库基础操作详解

文章目录 MySQL 数据库基础操作详解1. 基本概念2. 库的操作3. 表的操作4. 数据操作5. 示例示例一&#xff1a;创建表和插入数据示例二&#xff1a;查询数据示例三&#xff1a;更新数据示例四&#xff1a;删除数据 MySQL 数据库基础操作详解 MySQL 是一种常用的关系型数据库管理…

【目录整理】(五)

​​​​​Git 基础 Git 详细安装教程文章浏览阅读10w次&#xff0c;点赞9.6k次&#xff0c;收藏1.7w次。Git 是个免费的开源分布式版本控制系统&#xff0c;下载地址为git-scm.com 或者 gitforwindows.org&#xff0c;本文介绍 Git-2.40.0-64-bit.exe 版本的安装方法&#x…

京准 | NTP网络时钟系统(子母钟系统)设计与答疑

京准 | NTP网络时钟系统&#xff08;子母钟系统&#xff09;设计与答疑 京准 | NTP网络时钟系统&#xff08;子母钟系统&#xff09;设计与答疑 子母钟系统&#xff0c;顾名思义就是由1/2套母钟和一群子钟组成。如果你选择了安徽京准公司的HR系列时钟系统产品&#xff0c;那么…

python电商结合双轨制

最近又重新整合翻看以前的数据&#xff0c;图片&#xff0c;绘画&#xff0c;还有各种编程代码&#xff0c;python,leetcode,还有关于商业方面的一些见解,想起了大学时候和同学们并肩作战&#xff0c;熬夜编码的时光。还有大数据&#xff0c;八爪鱼爬虫。 下面是我的手稿电商打…

算法学习——LeetCode力扣动态规划篇9

算法学习——LeetCode力扣动态规划篇9 1035. 不相交的线 1035. 不相交的线 - 力扣&#xff08;LeetCode&#xff09; 描述 在两条独立的水平线上按给定的顺序写下 nums1 和 nums2 中的整数。 现在&#xff0c;可以绘制一些连接两个数字 nums1[i] 和 nums2[j] 的直线&#x…

JavaSE day16笔记 - string

第十六天课堂笔记 学习任务 Comparable接口★★★★ 接口 : 功能的封装 > 一组操作规范 一个抽象方法 -> 某一个功能的封装多个抽象方法 -> 一组操作规范 接口与抽象类的区别 1本质不同 接口是功能的封装 , 具有什么功能 > 对象能干什么抽象类是事物本质的抽象 &…

2536. 子矩阵元素加 1

跳转题目 本题暴力可以做&#xff0c;猜到用差分&#xff0c;但是不熟&#xff0c;不知道二维差分怎么用&#xff0c;碰到用差分的题目太少了。 暴力算法&#xff1a; class Solution { public:vector<vector<int>> rangeAddQueries(int n, vector<vector<…