机器学习2_支持向量机_线性可分——MOOC

目录

定义

线性可分(Linear Separable)

线性不可分(Nonlinear Separable)

数学化定义

问题描述

优化问题

线性可分定义

假定训练样本集是线性可分的

1、最小化(Minimize):

2、限制条件:

已知:训练样本集 ,  ;

待求: 

事实1:

事实2:

支持向量机优化问题推导中最难理解的部分

优化问题定为:

限制条件:

总结

二次规划的定义:

凸优化问题的例子


定义

线性可分(Linear Separable)

二维 

三维

特征空间维度 \geqslant 四维 时,二维的情况下分割圆圈和叉的直线。

线性不可分(Nonlinear Separable)

不存在一条直线

二维 

三维

特征空间维度 \geqslant 四维 时,三维的情况下,分割圆圈和叉的平面将会变成超平面(Hyperplane)。由于人眼对空间的感知仅仅局限于三维,所以说我们无法直观的画出一个图。

数学化定义

在四维以及四维以上的情况说明线性和线性不可分的情况,必须借助数学对线性可分和线性不可分给出一个精确的定义。

假设:\omega _1'=-\omega _1,\omega _2'=-\omega _2,b'=b,则

用数学严格定义训练样本以及他们的标签

假设:我们有N个训练样本和他们的标签

 \left \{ \left ( X_1,y_1 \right ),\left ( X_2,y_2 \right ),\dots,\left ( X_n,y_n \right ) \right \}

其中 X_i=\left [ x_{i1},x_{i2} \right ]^T  , y_i=\left \{ +1,-1 \right \}

X_i 是向量,y_i 是X_i 的标签。

我们规定X_i 属于 C_1 ,则 y_i= +1X_i 属于 C_2 ,则 y_i= -1

线性可分的严格定义:一个训练样本集 \left \{ \left ( X_1,y_1 \right ),\left ( X_2,y_2 \right ),\dots,\left ( X_n,y_n \right ) \right \},在 i=1\sim N线性可分,是指存在 \left ( \omega _1,\omega _2,b \right ),使得对 i=1\sim N,有:

(1)若  y_i= +1,则  \omega _1X_{i1}+\omega _2X_{i2}+b > 0

(2)若  y_i= -1,则  \omega _1X_{i1}+\omega _2X_{i2}+b < 0

假设:

X_i=\begin{bmatrix} x_{i1}\\ x_{i2} \end{bmatrix}^T   \omega =\begin{bmatrix} \omega _{1}\\ \omega _{2} \end{bmatrix}^T

(1)若  y_i= +1,则  \omega ^TX_{i}+b > 0

(2)若  y_i= -1,则  \omega ^TX_{i}+b < 0

线性可分定义的最简化形式

如果  y_i= +1 或 -1,则上面两个公式可以合为一个。

一个训练样本集 \left \{ \left ( X_i,y_i \right ) \right \},在  i=1\sim N线性可分,是指存在 \left ( \omega ,b \right ) ,似的对 i=1\sim N,有:

y_i\left ( \omega ^TX_i+b \right )> 0


问题描述

支持向量机算法

1、解决线性可分问题

2、再将线性可分问题中获得的结论推广到线性不可分情况

如何解决线性可分问题?

二维特征空间中的二分类问题

如图,哪条线更好?

2号线更能抵御训练样本位置的误差。

基于最优化的理论,将寻找2号线的过程变成了一个最优化的问题。

Veapick给出的回答:

假设对于任意一条分开圆圈和叉这两类的直线,把这条直线朝一侧平行的移动,直到它插到或几个训练样本位置。同时,也把这条直线朝另外一侧平行的移动,直到它插到或几个训练样本位置。

我们定义这两条虚线,它也都是平行的。

我们定义这两条平行线插到的训练样本叫做这个数据集的支持向量(Support Vectors),把这两条平行线之间的距离叫做间隔(Margin Vipic)。

断言我们想要求的2号线是使间隔margin最大的一条线。需要比较1、2、3号3条件的间隔margin。

显然2号线的margin间隔比1号线、3号线都要大。支持向量机要找的是使间隔margin最大的那一条直线。

为了让找到的直线唯一,还需要定义这条线应该再多上下两条平行线,就是图中的两条虚线所示,这条线在上下两个平行线的正中间,也就是这条线到左右两边所有的支持向量距离应该相等

总结

在线性可分的条件下,支持向量机寻找的最优的分类直线应该满足下面三个条件:

  1. 该直线分开了两类;
  2. 该直线最大化间隔(margin)
  3. 该直线处于间隔的中间,到所有支持向量距离相等。

上述的结果,都是基于二维特征空间的结果。在高维的特征空间中,直线将变成超平面。但以上的结论却是一致的。


优化问题

线性可分定义

一个训练样本集 \left \{ \left ( X_i,y_i \right ) \right \},在  i=1\sim N线性可分,是指存在 \left ( \omega ,b \right ) 使:

(1)若  y_i= +1,则  \omega ^TX_{i}+b > 0

(2)若  y_i= -1,则  \omega ^TX_{i}+b < 0

假定训练样本集是线性可分的

支持向量机需要寻找的是最大化 间隔(Margin)的超平面。

可以写出如下形式:

1、最小化(Minimize):\frac{1}{2}\left \| \omega \right \|^2

\left \| \omega \right \|^2

\omega =\begin{bmatrix} \omega_1\\ \omega_2\\ ...\\ \omega_m\\ \end{bmatrix}

\left \| \omega \right \|^2=\omega_1^2+\omega_2^2+...+\omega_m^2=\displaystyle\sum_{i=1}^{m}\omega_i^2

2、限制条件:y_i\left ( \omega ^Tx_i+b \right )\geq 1,(i=1\sim N)

已知:训练样本集 \left \{ \left ( X_i,y_i \right ) \right \},  i=1\sim N

待求: \left ( \omega ,b \right )

回顾【问题描述】

支持向量机需要找一个超平面,使它的间隔最大;

离两边所有支持向量的距离相等

事实1:

\omega ^TX_{i}+b = 0

\left (\alpha \omega ^T\right ) x+\left (ab \right ) = 0  是同一个超平面。\left (a\neq 0 \right )

事实2:

一个点 X_0 到超平面  \omega ^TX_{i}+b = 0 的距离 d=\frac{\left | \omega ^Tx_0+b \right |}{\left \| \omega \right \|}

点到超平面的距离公式

一个点 \left ( x_0,y_0 \right ) 到超平面 \omega _1x_0+\omega_2y_0+b=0 的距离 d=\frac{\left | \omega _1x_0+\omega _2y_0+b \right |}{\sqrt{\omega _1^2+\omega _2^2}}

支持向量机优化问题推导中最难理解的部分

用 a 去缩放 \omega b 

\left ( \omega,b \right )\rightarrow \left ( a \omega,a b \right )

最终使在支持向量 x_0 上有  \left | \omega ^Tx_0+b \right |= 1 ,而在非支持向量上  \left | \omega ^Tx_0+b \right |> 1

\because 根据【事实1】 \left ( \omega,b \right )  表示的超平面和  \left ( a \omega,a b \right )  表示的超平面是同一个平面。

\therefore  参数 a 去缩放 \left ( \omega,b \right ) 

\because 根据【事实2】,支持向量 X_0 到超平面的距离将会变为:d=\frac{\left | \omega ^Tx_0+b \right |}{\left \| \omega \right \|}=\frac{1}{\left \| \omega \right \|}

\therefore  最大化支持向量机到超平面的距离 等价于最小化 \left \| \omega \right \|

优化问题定为:

最小化: \frac{1}{2}\left \| \omega \right \|^2

最小化: \left \| \omega \right \|

限制条件:

支持向量到超平面的距离为: \frac{1}{2}\left \| \varepsilon \right \|

在非支持向量上  \left | \omega ^Tx_0+b \right |> 1

\therefore  y_i\left ( \omega ^Tx_i+b \right )\geq 1,(i=1\sim N)

其中 y_i \Rightarrow  协调超平面的左右

             \Rightarrow \left ( \omega ^Tx_0+b \right )> 1

             \Rightarrow \left ( \omega ^Tx_0+b \right )< 1

如果把  限制条件改成: y_i\left ( \omega ^Tx_i+b \right )\geq 2,那么会跟原来的相差一个 a ,根据【事实1】,他们代表的是用一个平面。

总结

线性可分的情况下,支持向量机寻找最佳超平面的优化问题可以表示为:

凸优化(Convex Optimization)\Rightarrow 只有唯一一个全局极值

最小化(Minimize): \frac{1}{2}\left \| \omega \right \|^2

限制条件:y_i=\left ( \omega ^Tx_i+b \right )\geq 1,(i=1\sim N)

在这个训练数据以及  \left ( X_i,y_i \right ),i=1\sim N 是已知的,而 \left ( \omega,b \right )  是待求的。

二次规划的定义:

(1)目标函数(Objective Function)是二次项。

目标函数:\frac{1}{2}\left \| \omega \right \|^2 \Rightarrow \frac{1}{2}\left \| \omega \right \|^2= \frac{1}{2} \omega_1 ^2+\frac{1}{2} \omega_2 ^2+...+\frac{1}{2} \omega_M ^2

(2)限制条件是一次项。

限制条件:y_i=\left ( \omega ^Tx_i+b \right )\geq 1,(i=1\sim N)

要么无解,要么只有唯一的最小值。

凸优化问题的例子

根据梯度不断试探。

先找到一个 \omega _0 和对应的 f\left ( \omega _0\right ),然后在 \omega _0 的旁边再找到一个 \omega _1 和对应的 f\left ( \omega _1\right ) 

一个优化问题是凸的 \Rightarrow 总能找到高效快速算法去解决它

用凸优化解出的支持向量机最佳分类超平面的例子:

用凸优化解出的支持向量机最佳分类超平面的例子

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/59521.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux-socket详解

Linux-socket详解_socket linux-CSDN博客

Java基础-Java中的常用类(上)

(创作不易&#xff0c;感谢有你&#xff0c;你的支持&#xff0c;就是我前行的最大动力&#xff0c;如果看完对你有帮助&#xff0c;请留下您的足迹&#xff09; 目录 String类 创建字符串 字符串长度 连接字符串 创建格式化字符串 String 方法 System类 常用方法 方…

LeetCode78. 子集(2024秋季每日一题 58)

给你一个整数数组 nums &#xff0c;数组中的元素 互不相同 。返回该数组所有可能的 子集&#xff08;幂集&#xff09;。 解集 不能 包含重复的子集。你可以按 任意顺序 返回解集。 示例 1&#xff1a; 输入&#xff1a;nums [1,2,3] 输出&#xff1a;[[],[1],[2],[1,2],[3…

基于TRIZ理论的便携式光伏手机充电装置创新

随着智能手机功能的日益强大&#xff0c;电量消耗问题也日益凸显&#xff0c;尤其是在户外活动时&#xff0c;电量告急常常让人措手不及。面对这一挑战&#xff0c;基于TRIZ&#xff08;发明问题解决理论&#xff09;的创新思维&#xff0c;一款全新的便携式光伏手机充电装置应…

Django目录结构最佳实践

Django项目目录结构 项目目录结构配置文件引用修改创建自定义子应用方法修改自定义注册目录从apps目录开始 项目目录结构 └── backend # 后端项目目录&#xff08;项目名称&#xff09;├── __init__.py├── logs # 项目日志目录├── manage.py #…

《今日制造与升级》是什么级别的期刊?是正规期刊吗?能评职称吗?

​问题解答 问&#xff1a;《今日制造与升级》是不是核心期刊&#xff1f; 答&#xff1a;不是&#xff0c;是知网收录的正规学术期刊。 问&#xff1a;《今日制造与升级》级别&#xff1f; 答&#xff1a;国家级。主管单位&#xff1a;中国机械工业联合会 …

WPF中如何简单的使用CommunityToolkit.Mvvm创建一个项目并进行 增删改查

目录 开始前准备的数据库dbblog如下&#xff1a; 第一步&#xff1a;创建项目后下载四个NuGet程序包 第二步&#xff1a;删除原本的MainWindow.XAML文件 并创建如下的目录结构 然后在View文件夹下面创建Login.XAML和Main.XAML 并且在App.XAML中将启动项改为Login.X…

人工智能技术:未来生活的“魔法师”

想象一下&#xff0c;未来的某一天&#xff0c;你醒来时&#xff0c;智能助手已经为你准备好了早餐&#xff0c;你的智能家居系统根据你的心情和日程安排调整了室内的光线和音乐&#xff0c;而你的自动驾驶汽车已经在门口等你。这不是科幻小说&#xff0c;这是人工智能技术为我…

Vue 全局状态管理:Vuex 从入门到精通

前言 在开发 Vue 应用时&#xff0c;管理组件之间的状态共享变得越来越重要。特别是当应用变得复杂&#xff0c;组件之间的通信越来越多时&#xff0c;如何有效地管理状态成为了一个重要问题。Vuex 是 Vue 提供的一种集中式状态管理模式&#xff0c;能够帮助开发者更好地管理应…

计算机视觉算法:从图像处理到智能识别

计算机视觉算法&#xff1a;从图像处理到智能识别 计算机视觉&#xff08;Computer Vision&#xff09;是人工智能领域的一个重要分支&#xff0c;旨在使计算机能够“看”和理解图像或视频中的内容。随着深度学习和大数据技术的快速发展&#xff0c;计算机视觉算法在图像识别、…

排序(用java实现)

排序 排序的概念及引用排序的概念常见的排序算法 常见排序算法的实现插入排序基本思想&#xff1a;直接插入排序希尔排序(缩小增量排序) 选择排序基本思想&#xff1a;直接选择排序堆排序 交换排序冒泡排序快速排序快速排序的优化快速排序非递归 归并排序基本思想归并排序归并排…

DNS查询服务器的全流程解析

### DNS查询服务器的基本流程&#xff0c;能画出图更好&#xff0c;并说明为什么DNS查询为什么不直接从单一服务器查询ip&#xff0c;而是要经过多次查询&#xff0c;多次查询不会增加开销么&#xff08;即DNS多级查询的优点&#xff09;&#xff1f; - **用户发起请求**&#…

(C++回溯算法)微信小程序“开局托儿所”游戏

问题描述 给定一个矩阵 A ( a i j ) m n \bm A(a_{ij})_{m\times n} A(aij​)mn​&#xff0c;其中 a i j ∈ { 1 , 2 , ⋯ , 9 } a_{ij}\in\{1,2,\cdots,9\} aij​∈{1,2,⋯,9}&#xff0c;且满足 ∑ i 1 m ∑ j 1 n a i j \sum\limits_{i1}^m\sum\limits_{j1}^na_{ij} i…

Go:接口和反射

接口 定义 在传统的面向对象的语言中&#xff0c;是会存在类和继承的概念的&#xff0c;但是Go并没有 那Go如何实现类似的方法呢&#xff1f;它提供了接口的概念&#xff0c;可以实现很多面向对象的特性 接口定义会实现一组方法集&#xff0c;但是这些方法不包含实现的代码…

QCustomPlot添加自定义的图例,实现隐藏、删除功能(一)

文章目录 实现步骤:实现代码:代码讲解:功能说明:优化建议:其他参考:要实现一个支持勾选并可以控制曲线显示和隐藏的自定义 QCPLegend 类,可以通过继承 QCPLegend 并重写其相关方法来实现。我们需要添加一个自定义的复选框元素,并捕捉用户交互来实现曲线的隐藏和显示。…

数字IC后端实现之Innovus Place跑完density爆涨案例分析

下图所示为咱们社区a7core后端训练营学员的floorplan。 数字IC后端实现 | Innovus各个阶段常用命令汇总 该学员跑placement前density是59.467%&#xff0c;但跑完place后density飙升到87.68%。 仔细查看place过程中的log就可以发现Density一路飙升&#xff01; 数字IC后端物…

聊一聊Elasticsearch的索引的分片分配机制

1、什么是分片分配 分片分配是由ES主节点将索引分片移动到ES集群中各个节点上的过程。 该过程尽量保证&#xff0c;同一个索引的分片尽量分配到更多的节点上&#xff0c;以此来达到读写索引的时候可以利用更多硬件资源的效果。 在分配过程当中&#xff0c;也不能将某个主分片…

最详细【Elasticsearch】Elasticsearch Java API + Spring Boot集成 实战入门(基础篇)

Elasticsearch Java API Spring Boot集成 实战入门&#xff08;基础篇&#xff09; 一、初始Elasticseach1、什么是Elasticseach2、Elasticsearch生态2、Elasticsearch结构3、Elasticsearch核心概念4、Elasticsearch 实现全文检索的原理 二、Elasticsearch入门1、入门-环境安装…

如何在 Spring Boot 中实现多数据源的事务管理?

在 Spring Boot 中实现多数据源的事务管理可以通过以下几种方式&#xff1a; 一、使用编程式事务管理 配置多个数据源 如同前面提到的&#xff0c;在 application.properties 或 application.yml 文件中配置多个数据源的连接信息&#xff0c;并创建对应的数据源 bean。 手动开启…

文件操作:Xml转Excel

1 添加依赖 Spire.Xls.jar <dependency><groupId>e-iceblue</groupId><artifactId>spire.xls</artifactId><version>5.3.3</version></dependency>2 代码使用 package cctd.controller;import com.spire.xls.FileFormat; im…