【机器学习】支持向量机(SVM)

支持向量机(SVM)

1 背景信息

  1. 分类算法回顾

    • 决策树

      • 样本的属性非数值

      • 目标函数是离散

    • 贝叶斯学习

      • 样本的属性可以是数值或非数值
      • 目标函数是连续的(概率)
    • K-近邻

      • 样本是空间(例如欧氏空间)中的点
      • 目标函数可以是连续的也可以是离散的
    • 支持向量机 (Support Vector Machine)

      • 样本是空间(例如欧氏空间)中的点
      • 目标函数可以是连续的也可以是离散的
  2. 背景信息

    当前版本的支持向量机大部分是由 Vapnik 和他的同事在 AT&T贝尔实验室 开发的

    支持向量机 (Support Vector Machine,SVM)是一个最大间隔分类器(Max Margin Classifier)

    最有效的监督学习方法之一,曾被作为文本处理方法的一个强基准模型(strong baseline)

2 线性支持向量机

  1. 符号函数
    y i = { + 1 , if  f ( x i , θ ) <0 − 1 , if  f ( x i , θ ) <0 y_i = \begin{cases} +1, & \text{if $f(x_i,θ)$ <0} \\ -1, & \text{if $f(x_i,θ)$ <0} \\ \end{cases} yi={+1,1,if f(xi,θ) <0if f(xi,θ) <0
    对一个测试样本 x x x,我们可以预测它的标签为 [ f ( x , θ ) ] [f(x,θ)] [f(x,θ)] f ( x , θ ) = 0 f(x,θ)=0 f(x,θ)=0​ 被称为分类超平面

  2. 线性分类器

    • 线性超平面

      f ( x , w , b ) = < x , w > + b = 0 f(x,w,b)=<x,w>+b=0 f(x,w,b)=<x,w>+b=0

      在线性可分的情况下,有无穷多个满足条件的超平面。

      image-20240206180617328

    • 线性分类器的间隔(Margin)

      在分类分界面两侧分别放置平行于分类超平面的一个超平面,移动超平面使其远离分类超平面

      当他们各自第一次碰到数据点时,他们之间的距离被称为线性分类器的间隔

      Margin(间隔):分界在碰到数据点之前可以达到的宽度

    • 最大间隔线性分类器——具有最大间隔的线形分类器

      支持向量:那些阻挡间隔继续扩大的数据点

      image-20240207011651499

    • 问题形式化

      形式化间隔,我们需要所有数据点满足
      y i ( < x i , w > + b ) ≥ 1 , ∀ i = 1 , . . . , N y_i(<x_i,w>+b)≥1,\ \forall i=1,...,N yi(<xi,w>+b)1, i=1,...,N
      image-20240207162957688

      分类超平面: < x , w > + b = 0 <x,w>+b=0 <x,w>+b=0,引入平行于分类超平面的两个额外超平面: < x , w > + b = ± 1 <x,w>+b=±1 <x,w>+b=±1

      间隔(margin):两个新的超平面( < x , w > + b = ± 1 <x,w>+b=±1 <x,w>+b=±1​)之间的距离。

      间隔的表达式:两个超平面到原点的距离之差的绝对值: ∣ ρ 1 − ρ 2 ∣ = 2 ∣ w ∣ |ρ_1-ρ_2|=\frac{2}{|w|} ρ1ρ2=w2

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/679147.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

乐观锁,CAS,ABA问题,synchronized锁升级过程

常见的锁策略 乐观锁 vs 悲观锁 乐观锁&#xff1a;乐观锁假设认为数据一般情况下不会产生并发冲突&#xff0c;所以在数据进行提交更新的时候&#xff0c;才会正式对数据是否产生并发冲突进行检测&#xff0c;如果发现并发冲突了&#xff0c;则返回用户错误的信息&#xff0c…

FPGA_ip_Rom

一 理论 Rom存储类ip核&#xff0c;Rom是只读存储器的简称&#xff0c;是一种只能读出事先存储数据的固态半导体存储器。 特性&#xff1a; 一旦储存资料&#xff0c;就无法再将之改变或者删除&#xff0c;且资料不会因为电源关闭而消失。 单端口Rom: 双端口rom: 二 Rom ip核…

精品基于Spring boot的某小区物业缴费报修管理系统

《[含文档PPT源码等]精品基于Spring boot的某小区物业管理系统[包运行成功]》该项目含有源码、文档、PPT、配套开发软件、软件安装教程、项目发布教程、包运行成功&#xff01; 软件开发环境及开发工具&#xff1a; Java——涉及技术&#xff1a; 前端使用技术&#xff1a;H…

Mybatis Day01

功能&#xff1a;在dao持久层操作数据库&#xff0c;用于简化JDBC的开发 JDBC 使用java语言操作关系型数据库的api各个数据库厂商提供数据库驱动jar包 public void testJdbc() throws Exception {//1. 注册驱动Class.forName("com.mysql.cj.jdbc.Driver");//2. 获取…

MongoDB之概述、命令

基础知识 是什么 概念 分布式文件存储数据库&#xff0c;提供高可用、可扩展、易部署的数据存储解决方案。 结构 BSON存储类型 类似JSON的一种二进制存储格式。相比于JSON&#xff0c;提供更丰富的类型支持。 优点是灵活&#xff0c;缺点是空间利用率不佳。 类型说明解释…

vue 使用iframe标签切换不同项目,实现步骤(互相嵌套,高度不适应(底部出现白条-随着切换越来越大)传值取值(免登录),内容空白缓存问题)

前言 最近在开发中&#xff0c;由于是合作开发。双方已经有自己的前后端代码&#xff0c;最终需要整合代码上线测试 由于模块功能不同&#xff0c;双方ui并没有提前统一设计风格&#xff0c;并且已经开发完毕。 前后端如果直接合并到对方项目&#xff08;前端-有各种冲突-后端…

创建菜单与游戏页面

bootstrap地址 Bootstrap v5 中文文档 Bootstrap 是全球最受欢迎的 HTML、CSS 和 JS 前端工具库。 | Bootstrap 中文网 (bootcss.com) 创建导航栏组件 web--src--components--NavBar.vue <!-- html --> <template><nav class"navbar navbar-expand-lg n…

机器学习:Softmax介绍及代码实现

Softmax原理 Softmax函数用于将分类结果归一化&#xff0c;形成一个概率分布。作用类似于二分类中的Sigmoid函数。 对于一个k维向量z&#xff0c;我们想把这个结果转换为一个k个类别的概率分布p(z)。softmax可以用于实现上述结果&#xff0c;具体计算公式为&#xff1a; 对于…

GO语言笔记4-标识符、关键字与运算符

标识符 什么是标识符 变量名、方法名等我们起的名字都是标识符 标识符定义规则 字母、数字、下划线组成不可以数字开头&#xff0c;严格区分大小写&#xff0c;不能带有空格&#xff0c;不可以是go的关键字不能单独使用 下划线&#xff0c;因为下划线在GO中是一个特殊标识符&…

2024刘谦春晚第二个扑克牌魔术

前言 就是刚才看春晚感觉这个很神奇&#xff0c;虽然第一个咱模仿不过来&#xff0c;第二个全国人民这么多人&#xff0c;包括全场观众都有成功&#xff0c;这肯定是不需要什么技术&#xff0c;那我觉得这个肯定就是数学了&#xff0c;于是我就胡乱分析一通。 正文 首先准备…

Pandas to_csv() - 将 DataFrame 转换为 CSV

Pandas DataFrame to_csv() 函数将 DataFrame 转换为 CSV 数据。我们可以传递一个文件对象来将 CSV 数据写入文件中。否则&#xff0c;CSV 数据将以字符串格式返回。 Pandas DataFrame to_csv() 语法 DataFrame to_csv() 函数的语法是&#xff1a; def to_csv(self,path_or_…

ElasticSearch级查询Query DSL下

目录 全文检索 match query匹配查询 multi_match query 多字段查询 match_phrase query短语查询 query_string query simple_query_string bool query布尔查询 highlight高亮 自定义高亮html标签 多字段高亮 全文检索 全文检索查询&#xff08;Full Text Queries&…

【蓝桥杯冲冲冲】k 短路 / [SDOI2010] 魔法猪学院

蓝桥杯备赛 | 洛谷做题打卡day33 文章目录 蓝桥杯备赛 | 洛谷做题打卡day33题目背景题目描述输入格式输出格式样例 #1样例输入 #1样例输出 #1 提示数据规模数据更新日志 题解代码我的一些话 【模板】k 短路 / [SDOI2010] 魔法猪学院 题目背景 注&#xff1a;对于 k k k 短路问…

正则可视化工具:学习和编写正则表达式的利器

引言 正则表达式是一种强大的文本匹配和处理工具&#xff0c;但对于初学者和非专业开发者来说&#xff0c;编写和理解正则表达式可能是一项具有挑战性的任务。为了帮助人们更好地学习和编写正则表达式&#xff0c;正则可视化工具应运而生。本文将探讨正则可视化工具的优点&…

ChatGPT在国际中文教育领域引起的变革与挑战

随着ChatGPT这一先进的自然语言处理模型的出现&#xff0c;教学、学习、测评和辅导的传统方式正在面临可能的重塑。她是否会影响中文教育的未来方向&#xff0c;甚至取代中文教师的角色&#xff0c;成为了许多人热议的话题。本文旨在探讨ChatGPT与中文测评之间的联系&#xff0…

并行计算导论 笔记 1

目录 并行编程平台隐式并行超标量执行/指令流水线超长指令字处理器 VLIW 内存性能系统的局限避免内存延迟的方法 并行计算平台控制结构通信模型共享地址空间平台消息传递平台对比 物理组织理想并行计算机并行计算机互联网络网络拓朴结构基于总线的网络交叉开关网络多级网络全连…

leaflet 显示自己geoserver发布的中国地图

安装vscode 安装 通义灵码 问题&#xff1a; 用leaflet显示一个wms地图 修改下代码&#xff0c;结果如下&#xff1a; 例子代码 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport&q…

自然语言处理(NLP)—— 基本概念

自然语言处理&#xff08;Natural Language Processing&#xff0c;简称NLP&#xff09;是人工智能和语言学领域的一个分支&#xff0c;它涉及到计算机和人类&#xff08;自然&#xff09;语言之间的相互作用。它的主要目标是让计算机能够理解、解释和生成人类语言的数据。NLP结…

Debezium发布历史123

原文地址&#xff1a; https://debezium.io/blog/2022/06/02/debezium-1-9-3-final-released/ 欢迎关注留言&#xff0c;我是收集整理小能手&#xff0c;工具翻译&#xff0c;仅供参考&#xff0c;笔芯笔芯. Debezium 1.9.3.Final Released June 2, 2022 by Chris Cranford r…

极狐GitLab 与钉钉的集成实践

DingTalk OAuth 2.0 OmniAuth provider * 引入于 14.5 版本。 您可以使用您的钉钉账号登录极狐GitLab。 登录钉钉开放平台&#xff0c;创建应用。钉钉会生成一个客户端 ID 和密钥供您使用。 登录钉钉开放平台。 在顶部栏上&#xff0c;选择 应用程序开发 > 企业内部开发&am…