Scikit-Learn支持向量机分类

Scikit-Learn 支持向量机分类

    • 1、支持向量机(SVM)
      • 1.1、SVM概述
      • 1.2、SVM原理
      • 1.3、SVM的损失函数
      • 1.4、支持向量机分类的优缺点
    • 2、Scikit-Learn支持向量机分类
      • 2.1、Scikit-Learn支持向量机分类API
      • 2.2、支持向量机分类初体验(手写数字识别)
      • 2.3、支持向量机分类案例




1、支持向量机(SVM)

1.1、SVM概述


在机器学习中,支持向量机(Support Vector Machine,SVM)算法既可以用于回归问题(SVR),也可以用于分类问题(SVC)

支持向量机是一种经典的监督学习算法,通常用于分类问题。SVM在机器学习知识结构中的位置如下:

SVM的核心思想是将分类问题转化为寻找分类平面的问题,并通过最大化分类边界点(支持向量)到分类平面的距离(间隔)来实现分类

在这里插入图片描述

如图所示,左图展示了三种可能的线性分类器的决策边界,虚线所代表的模型表现非常糟糕,甚至都无法正确实现分类;其余两个模型在训练集上表现堪称完美,但是它们的决策边界与实例过于接近,导致在面对新样本时,表现可能不会太好

右图中的实线代表SVM分类器的决策边界,两虚线表示最大间隔超平面,虚线之间的距离(两个异类支持向量到超平面的距离之和)称为超平面最大间隔,简称间隔;SVM的决策边界不仅分离了两个类别,而且尽可能的远离了最近的训练实例,距离决策边界最近的实例称为支持向量

1.2、SVM原理


SVM的最优化问题就是要找到各类样本点到超平面的距离最远,也就是找到最大间隔超平面。任意超平面的方程为
ω T x + b = 0 \omega^Tx+b=0 ωTx+b=0

其中 ω \omega ω为超平面的法向量,决定了超平面的方向; b b b为位移项,决定了超平面到原点间的距离

二维空间点 ( x , y ) (x,y) (x,y)到直线 A x + B y + C = 0 Ax+By+C=0 Ax+By+C=0的距离公式为
d = ∣ A x + B y + C ∣ A 2 + B 2 d=\frac{|Ax+By+C|}{\sqrt{A^2+B^2}} d=A2+B2 Ax+By+C

扩展到N维空间中,点 ( x 1 , x 2 , . . . x n ) (x_1,x_2,...x_n) (x1,x2,...xn)到直线 ω T x + b = 0 \omega^Tx+b=0 ωTx+b=0的距离为
d = ∣ ω T x + b ∣ ∣ ∣ ω ∣ ∣ d=\frac{|\omega^Tx+b|}{||\omega||} d=∣∣ω∣∣ωTx+b

其中, ∣ ∣ ω ∣ ∣ ||\omega|| ∣∣ω∣∣= ω 1 2 + ω 2 2 + . . . + ω n 2 \sqrt{\omega_1^2+\omega_2^2+...+\omega_n^2} ω12+ω22+...+ωn2

在这里插入图片描述
SVM假设样本是线性可分的,则任意样本点到超平面的距离可写为
d = ∣ ω T x + b ∣ ∣ ∣ ω ∣ ∣ d=\frac{|\omega^Tx+b|}{||\omega||} d=∣∣ω∣∣ωTx+b
为方便描述和计算,设 y i ∈ − 1 , 1 y_i\in{-1,1} yi1,1,其中1表示正例,-1表示负例,则有
{ ω T x i + b ≥ + 1 y i = + 1 ω T x i + b ≤ − 1 y i = − 1 \begin{cases} \omega^Tx_i + b ≥ +1 \, \, & y_i=+1 \\ \omega^T x_i+b ≤ -1 \, \, & y_i=-1 \end{cases} {ωTxi+b+1ωTxi+b1yi=+1yi=1

此时,两个异类支持向量到超平面的距离之和为
γ i = y i ( ω T ∣ ∣ ω ∣ ∣ ⋅ x i + b ∣ ∣ ω ∣ ∣ ) = 2 ∣ ∣ ω ∣ ∣ \gamma_i=y_i\left(\frac{\omega^T}{||\omega||}\cdot x_i + \frac{b}{||\omega||} \right) = \frac{2}{||\omega||} γi=yi(∣∣ω∣∣ωTxi+∣∣ω∣∣b)=∣∣ω∣∣2

其中, γ \gamma γ称为间隔。最大间隔不仅与 ω \omega ω有关,偏置 b b b也会隐性影响超平面的位置,进而对间隔产生影响

现在,我们只需要使间隔 γ \gamma γ最大,即
arg ⁡ max ⁡ ω , b 2 ∣ ∣ ω ∣ ∣ \arg \mathop{\max}\limits_{\omega,b} \frac{2}{||\omega||} argω,bmax∣∣ω∣∣2

最大化间隔 γ \gamma γ,显然只需要最小化 ∣ ∣ ω ∣ ∣ ||\omega|| ∣∣ω∣∣,于是,上式可重写为
arg ⁡ min ⁡ ω , b 1 2 ∣ ∣ ω ∣ ∣ 2 \arg \mathop{\min}\limits_{\omega,b} \frac{1}{2}||\omega||^2 argω,bmin21∣∣ω2

这里的平方和之前一样,一是为了方便计算,二是可以将目标函数转化为凸函数的凸优化问题。称该式为SVM的基本型

1.3、SVM的损失函数


1.3.1、软间隔与硬间隔

如果我们严格让所有实例都不在最大间隔之间,并且位于正确的一边,这就是硬间隔分类。但是硬间隔分类有两个问题:首先,它只在数据是线性可分时才有效;其次,它对异常值较敏感

要避免这些问题,可以使用更灵活的模型。目标是尽可能在保持最大间隔的同时允许间隔违例(在最大间隔之间,甚至位于错误的一边),在最大间隔与违例之间找到良好的平衡,这就是软间隔分类

在这里插入图片描述
软间隔的目标函数为
J = 1 2 ∣ ∣ ω ∣ ∣ 2 + C ∑ i = 1 n ε i J=\frac{1}{2}||\omega||^2 + C\sum_{i=1}^{n}\varepsilon_i J=21∣∣ω2+Ci=1nεi
其中,超参数 C C C为惩罚系数, ε \varepsilon ε为松弛因子。 C C C越小,惩罚越小(间隔越宽,违例越多)

1.3.2、核函数

对于非线性数据集,线性支持向量机无法处理。我们希望将非线性问题转化为线性可分问题来求解。这时,需要引入一个新的概念:核函数

核函数可以将样本从原始空间映射到一个高维空间,使得样本在新的空间中线性可分

详细介绍可参考这篇文章:https://blog.csdn.net/mengjizhiyou/article/details/103437423

核函数将原始空间中的向量作为输入向量,并返回转换后的特征空间中向量的内积。通过核方法可以学习非线性支持向量机,等价于在高维特征空间中学习线性支持向量机

所以在非线性SVM中,核函数的选择就是影响SVM最大的变量。常用核函数有:线性核、多项式核、高斯核、拉普拉斯核和Sigmoid核等

在这里插入图片描述

1.4、支持向量机分类的优缺点


优点:

  • 可适用于处理高维空间数据,对于数据维度远高于样本数据量的情况也有效
  • 在决策函数中使用少部分训练数据(支持向量)进行决策,内存占用小,效率高
  • 通过支持向量选取最优决策边界,对噪声和异常值的敏感度较低,稳定性较好
  • 更加通用,可处理非线性分类任务,提供了多种通用核函数,也支持自定义核函数

缺点:

  • 解释性差:不像K-Means、决策树那样直观,不易于理解,可解释性差
  • 对参数和核函数敏感:性能高度依赖于惩罚参数C和核函数的选择。如果参数选择不当,容易导致过拟合或欠拟合
  • 非线性分类训练时间长:核函数涉及到二次规划问题,需要使用复杂的优化算法,当支持向量的数量较大时,计算复杂度较高

2、Scikit-Learn支持向量机分类

2.1、Scikit-Learn支持向量机分类API


Scikit-Learn支持向量机分类的API如下:

class sklearn.svm.SVC(*, C=1.0, kernel='rbf', degree=3, gamma='scale', coef0=0.0, shrinking=True, probability=False, tol=0.001, cache_size=200, class_weight=None, verbose=False, max_iter=-1, decision_function_shape='ovr', break_ties=False, random_state=None)

官方对该API的描述为:

SVC的实现基于libsvm。SVC的拟合时间与样本数量成二次方关系,适用于样本数量较小的情况。如果样本数量过大(超过1W),建议使用其他模型,例如LinearSVCSGDClassifier。多类支持是根据One Vs One方案处理的

官方文档:https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html

中文官方文档:https://scikit-learn.org.cn/view/781.html

关于API参数、属性和方法详见官方文档

2.2、支持向量机分类初体验(手写数字识别)


下面使用Scikit-Learn内置的手写数字数据集演示了支持向量机分类算法在图像识别上的应用

手写数字数据集由1797个8x8像素的数字图像组成。数据集的每个图像存储为8x8灰度值的二维数组;数据集的属性存储每个图像代表的数字,这包含在图像的标题中

数据集的前4张图像可视化如下:

import matplotlib.pyplot as plt
from sklearn import datasets# 加载手写数字数据集
data = datasets.load_digits()_, axes = plt.subplots(nrows=1, ncols=4, figsize=(10, 3))
for ax, image, label in zip(axes, data.images, data.target):ax.set_axis_off()image = image.reshape(8, 8)ax.imshow(image, cmap=plt.cm.gray_r, interpolation="nearest")ax.set_title(f"Label: {label}")plt.show()# 手写数字图像存储为一个8x8的二维数组
print(data.images[0])
'''
[[ 0.  0.  5. 13.  9.  1.  0.  0.][ 0.  0. 13. 15. 10. 15.  5.  0.][ 0.  3. 15.  2.  0. 11.  8.  0.][ 0.  4. 12.  0.  0.  8.  8.  0.][ 0.  5.  8.  0.  0.  9.  8.  0.][ 0.  4. 11.  0.  1. 12.  7.  0.][ 0.  2. 14.  5. 10. 12.  0.  0.][ 0.  0.  6. 13. 10.  0.  0.  0.]]
'''

在这里插入图片描述
为了对这些数据应用分类器,我们需要将图像展平,将每个图像的灰度值从8x8的二维数组转换为64x1的一维数组

然后,我们将数据划分成训练和测试子集,并在训练样本上拟合支持向量分类器。随后再使用拟合的分类器来预测测试集中样本的数字值

from sklearn.model_selection import train_test_splitn_samples = len(data.images)
X = data.images.reshape((n_samples, -1))
y = data.target# 划分训练集(80%)和测试集(20%)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)from sklearn.svm import SVC# SVM分类器
clf = SVC()# 训练模型
clf.fit(X_train, y_train)# 在测试集上预测
y_pred = clf.predict(X_test)# 平均准确度评分
print(clf.score(X_test, y_test))  # 0.9916666666666667

由模型评分结果可知,数字图像的识别准确率在测试集中表现的很好

2.3、支持向量机分类案例


预留,未完待续…



参考文章:
https://blog.csdn.net/qs17809259715/article/details/97761963
https://blog.csdn.net/Claire_chen_jia/article/details/110916001
https://blog.csdn.net/qq_53123067/article/details/136060974
https://zhuanlan.zhihu.com/p/77750026
https://www.zhihu.com/tardis/zm/art/31886934?source_id=1005


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/827094.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

openFeign拦截器(微服务调用feign接口会造成请求头缺失望周知)

在学习商品甄选项目的时候,当时我的解决方案是在登录的时候存入用户数据 由于懒得看视频 最后才发现 文档最后才给了这个解决方案。。。。 问题说明 在测试的时候,那么service-cart微服务会报错,如下所示: java.lang.NullPoint…

四川易点慧电子商务抖音小店:安全正规,购物新选择

在当今互联网高速发展的时代,电子商务已经成为人们日常购物的重要组成部分。四川易点慧电子商务抖音小店作为新兴的电商平台,凭借其安全正规的经营理念和便捷高效的购物体验,正逐渐赢得消费者的信赖和喜爱。 一、平台背景实力雄厚 四川易点慧…

百钱买百鸡

百钱买百鸡问题可以使用穷举法解决。我们可以使用三重循环来遍历所有可能的公鸡、母鸡和小鸡的数量,然后判断是否满足题目条件,即总花费不超过100元,并且买到100只鸡。(公鸡5元一只,母鸡3元一只,小鸡一元三…

Windows11+Ubuntu20.04系统重装(升级为Ubuntu22.04)

事情起因是标题所对应的双系统中,Ubuntu老自动断电关机,一开始是跑大型程序才会关机,这两天愈演愈烈变成运行一个远程控制或者VSCode就会关机。一怒之下找了Dell在线客服,在对方引导下检测了硬件系统,发现没有明显故障…

Java可变参数和不可变参数

可变参数 Java可变参数允许在方法中传递不定数量的参数。 可变参数是Java 5引入的一项功能,它极大地提高了代码的灵活性和易用性。使用可变参数时,你可以在调用方法时传递任意数量的参数,而这些参数在方法内部被当作数组处理。这意味着你可…

A29 STM32_HAL库函数 之 IWDG通用驱动 所有函数的介绍及使用

A29 STM32_HAL库函数 之 IWDG通用驱动 所有函数的介绍及使用 1 该驱动函数预览1.1 HAL_IWDG_Init1.2 HAL_IWDG_Refresh 该文档修改记录:总结 1 该驱动函数预览 序号函数名描述1HAL_IWDG_Init()初始化独立看门狗(IWDG)。2HAL_IWDG_Refresh()刷新独立看门狗(IWDG)的计…

STM32单片机C语言模块化编程实战:按键控制LED灯详解与示例

一、开发环境 硬件:正点原子探索者 V3 STM32F407 开发板 单片机:STM32F407ZGT6 Keil版本:5.32 STM32CubeMX版本:6.9.2 STM32Cube MCU Packges版本:STM32F4 V1.27.1 之前介绍了很多关于点灯的方法,比如…

4.20 IO流

IO流结构 InputStream(字节输入流) public static void main(String[] args) {// byteInputStream();// byteInputStream1();// byteInputStream2();byteInputStream3();}// 使用字节流时对于中文汉字基本都会出现乱码问题,因此对中文乱码问…

mininet+odl安装

安装环境 ubuntu-18.04.2-desktop-amd64 Java version: 1.8.0_362 Apache Maven 3.6.0 opendaylight: distribution-karaf-0.6.0-Carbon(csdn中应该是已有资源,不让上传) opendaylight的官网下载链接一直打开失败,我使用的是别人的Carbon版本。 在安…

Java中的StringBuilder类

StringBuilder 是 Java 中的一个类,它用于可变字符串的构造或修改。当你需要在一个循环中多次修改一个字符串时,使用 StringBuilder 是非常有用的,因为它比使用 操作符连接字符串的效率要高得多。 StringBuilder 的主要特点如下&#xff1a…

yml文件解析

.yml 后缀的文件可以有多个application.yml # 项目相关配置 用于 RuoYiConfig.java ruoyi:# 名称name: RuoYi# 版本version: 3.8.5# 版权年份copyrightYear: 2023# 实例演示开关demoEnabled: true# 文件路径 示例( Windows配置D:/ruoyi/uploadPath,Lin…

C语言结构体,枚举,联合

系列文章目录 第一章 C语言基础知识 第二章 C语言控制语句 第三章 C语言函数详解 第四章 C语言数组详解 第五章 C语言操作符详解 第六章 C语言指针详解 第七章 C语言结构体详解 第八章 详解数据在内存中的存储 第九章 C语言指针进阶 文章目录 1. 结构体 1.1 声明结构…

Ajax 笔记 01

01 ajax的基本使用 ajax五步骤: 1.构建异步请求对象 2.调用open方法 传入请求方式 服务器地址等参数 3.调用send方法 发起网络请求 4.注册请求对象的状态改变事件 5.在状态改变事件里面 判断当前状态 并取得返回值 02 get方式向服务器发送数据 ajax的get方式向服务器提交数据: …

kubebuilder(2)创建项目及初始化

一个demo项目来了解kubebuilder的项目结构 初始化项目 mkdir demo-operator cd demo-operator kubebuilder init --domain demo.com --repo demo.com/tutorial 这一步创建了 Go module 工程基本的模板文件,引入了必要的依赖 如果不用--repo参数,也可…

【Qt 学习笔记】Qt常用控件 | 按钮类控件 | Push Button的使用及说明

博客主页:Duck Bro 博客主页系列专栏:Qt 专栏关注博主,后期持续更新系列文章如果有错误感谢请大家批评指出,及时修改感谢大家点赞👍收藏⭐评论✍ Qt常用控件 | 按钮类控件 | Push Button的使用及说明 文章编号&#x…

mysql基础12——事务

事务 !!!确保多个关联操作全部执行 需要用到事务 事务是mysql的一项功能 使一组数据操作(DML操作) 要么全部执行 要么全部不执行(原子操作) 不会因为某种异常情况(停电,网络中断&#xff0…

mysql基础6——多表查询

外键 把分散在多个不同表里面的数据查询出来的操作,就是多表查询 把两个表连接:使用外键(foreign key)和连接(join) 外键在表创建的阶段定义也可以通过修改表定义,连接在查询字段把相同意义的字段连接起来 外键就是从表中用来引用主表中数…

C# 开源SDK 工业相机库 调用海康相机 大恒相机

C# MG.CamCtrl 工业相机库 介绍一、使用案例二、使用介绍1、工厂模式创建实例2、枚举设备,初始化3、启动相机4、取图5、注销相机 三、接口1、相机操作2、启动方式3、取图4、设置/获取参数 介绍 c# 相机库,含海康、大恒品牌2D相机的常用功能。 底层采用回…

pprof火焰图排查问题小计

问题描述 前情提要:一个go服务使用了公司内部的流式框架,将业务拆分成算子,算子间通过Input和output进行参数传递 线上一个go模块会有偶现的非预期错误,通过日志发现是出现了算子入参的丢失,首先怀疑是不是自己的框架…

ai扩写软件有哪些免费的?分享4款扩写好用的!

随着人工智能技术的飞速发展,AI扩写软件逐渐成为了内容创作者们的得力助手。它们能够迅速将简短的文案扩写成内容丰富、结构完整的文章,大大提高了创作效率。本文将为您盘点几款免费的AI扩写软件,助您在今日头条、百家号等自媒体平台上轻松打…