《近似线性可分支持向量机的原理推导》 目标函数 公式解析

本文是将文章《近似线性可分支持向量机的原理推导》中的公式单独拿出来做一个详细的解析,便于初学者更好的理解。


公式 9-38 解释:

min ⁡ w , b , ξ 1 2 ∥ w ∥ 2 + C ∑ i = 1 N ξ i \min_{w, b, \xi} \quad \frac{1}{2} \|w\|^2 + C \sum_{i=1}^{N} \xi_i w,b,ξmin21w2+Ci=1Nξi

公式 9-38 是 近似线性可分支持向量机(SVM) 的目标函数。相比于线性可分的情况,这里的目标函数增加了一个对分类错误的惩罚项,使得支持向量机能够适应近似线性可分的数据。

1. 公式各部分的含义:

  • w w w:权重向量,定义了分类超平面的方向。
  • b b b:偏置项,控制超平面的位置。
  • ξ i \xi_i ξi:松弛变量,用于允许某些样本不严格满足硬间隔约束。它允许一些样本点距离分类边界更近,甚至被错误分类。
  • C C C:惩罚系数,控制分类错误(即松弛变量 ξ \xi ξ)对目标函数的影响。
  • N N N:样本数量。
2. 目标函数的结构:

公式 9-38 的目标函数由两部分组成:
1 2 ∥ w ∥ 2 + C ∑ i = 1 N ξ i \frac{1}{2} \|w\|^2 + C \sum_{i=1}^{N} \xi_i 21w2+Ci=1Nξi

  • 第一部分 1 2 ∥ w ∥ 2 \frac{1}{2} \|w\|^2 21w2

    • 这一项是二次项,用于控制分类间隔的大小。SVM 的核心思想是找到能够最大化分类间隔的超平面,而 1 2 ∥ w ∥ 2 \frac{1}{2} \|w\|^2 21w2 是用于衡量分类间隔大小的函数。
    • 最小化 ∥ w ∥ 2 \|w\|^2 w2 意味着最大化分类间隔。通过最小化这个项,模型会尝试找到一个尽量将正类与负类数据分开,并保持两类数据之间间隔最大化的超平面。
  • 第二部分 C ∑ i = 1 N ξ i C \sum_{i=1}^{N} \xi_i Ci=1Nξi

    • 这是惩罚项,用于控制误分类的数量。通过引入松弛变量 ξ i \xi_i ξi,我们允许一些样本点不完全满足硬间隔约束。每个松弛变量 ξ i \xi_i ξi 表示第 i i i 个样本点没有满足硬间隔条件的程度。
    • 惩罚系数 C C C 是一个超参数,用来平衡分类间隔的大小和误分类的数量。它决定了模型对误分类样本的惩罚力度。更具体地说:
      • C C C 值较大时,意味着对误分类的容忍度较低,模型会尽可能减少误分类的数量,即更注重模型的准确性。
      • C C C 值较小时,模型会更加允许出现一些误分类,重点放在最大化分类间隔上,以提高模型的泛化能力。

3. 公式的直观理解:

公式 9-38 表示了软间隔支持向量机的目标,即在保证较大的分类间隔的同时,尽量减少分类错误。模型的目标是找到一个权重向量 w w w 和偏置 b b b,使得这两部分的和尽量最小化。

  • 第一部分 1 2 ∥ w ∥ 2 \frac{1}{2} \|w\|^2 21w2 是原始硬间隔 SVM 的目标,旨在最大化分类间隔。
  • 第二部分 C ∑ i = 1 N ξ i C \sum_{i=1}^{N} \xi_i Ci=1Nξi 是针对分类错误的惩罚。通过引入惩罚项 C C C,我们允许某些样本违反硬间隔条件,但会对这些违反进行惩罚,目的是找到一个在准确性和泛化能力之间取得平衡的模型。

4. 松弛变量的作用:

松弛变量 ξ i \xi_i ξi 的作用是允许某些样本点不满足严格的分类间隔条件。

  • ξ i = 0 \xi_i = 0 ξi=0:样本 x i x_i xi 完全满足硬间隔条件,即它被正确分类并且与分类边界保持足够的距离。
  • 0 < ξ i ≤ 1 0 < \xi_i \leq 1 0<ξi1:样本 x i x_i xi 被正确分类,但它靠近了超平面(即间隔小于 1)。
  • ξ i > 1 \xi_i > 1 ξi>1:样本 x i x_i xi 被错误分类,位于超平面的错误一侧。

总的来说,松弛变量允许一定的误分类,并通过惩罚项 C ∑ i = 1 N ξ i C \sum_{i=1}^{N} \xi_i Ci=1Nξi 来控制这些误分类的影响。

5. 惩罚系数 C C C 的作用:

  • C C C 值较大:模型会更加严格地分类,尽可能减少误分类。这时模型更加注重准确率,允许的误分类较少。

    • 缺点:过大的 C C C 值可能导致模型过拟合,因为模型会尝试在训练集上过度拟合,减少误分类。
  • C C C 值较小:模型会允许更多的误分类,重点放在最大化分类间隔上。这时模型更倾向于增加泛化能力。

    • 缺点:过小的 C C C 值可能导致模型欠拟合,因为模型允许较多的误分类。

在实际使用中,选择合适的 C C C 值需要根据数据集的情况,通过交叉验证等方式进行调参。

6. 总结

  • 公式 9-38 表示软间隔支持向量机的目标函数,它综合了两部分:

    1. 最大化分类间隔 1 2 ∥ w ∥ 2 \frac{1}{2} \|w\|^2 21w2
    2. 最小化误分类惩罚 C ∑ i = 1 N ξ i C \sum_{i=1}^{N} \xi_i Ci=1Nξi,即尽量减少分类错误。
  • 惩罚系数 C C C 控制着这两者之间的平衡。较大的 C C C 会更注重减少误分类,而较小的 C C C 会更注重提高泛化能力。

通过这个目标函数,支持向量机能够在处理近似线性可分的数据时,找到一个权衡分类间隔和误分类的最佳解。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/57665.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

httpd服务

文章目录 1、搭建一个网络yum源2、基于域名访问的虚拟主机3、基于端口来访问域名4、搭建个人网站5、加密访问显示自定义网页内容 1、搭建一个网络yum源 [roottest01 conf.d]# cat repo.conf <virtualhost *:80>documentroot /var/www/html/ServerName 10.104.43.154ali…

react18中的jsx 底层渲染机制相关原理

jsx 底层渲染机制 渲染 jsx 时&#xff0c;会先解析 jsx&#xff0c;生成一个虚拟 dom(virtual dom)。然后将虚拟 dom 渲染成真实 dom。如果 jsx 中包含事件&#xff0c;会将事件绑定到真实 dom 上。 虚拟 dom 对象&#xff0c;是框架内部构建的一套对象体系&#xff0c;对象…

常用环境部署(二十二)——MySQL的数据库迁移到另一个机器上

1、导出原数据库的数据 mysqldump -u [用户名] -p[密码] [数据库名] > database_dump.sql 命令示例&#xff1a; mysqldump -u root -p123456 wd > /opt/wd.sql 2、在新机器上创建数据库 mysql -u [用户名] -p -e "CREATE DATABASE [新数据库名]" 命令示…

无废话、光速上手 React-Router

React-Router React Router 是一个用于 React 应用的声明式路由库。它允许开发者通过组件化的方式定义应用的路由结构&#xff0c;使得路由管理更加直观和可维护 安装 pnpm i react-router-dom定义路由 定义路由有两种方式&#xff0c;分别是对象路由和路由组件&#xff0c…

k8s部署minio

k8s 部署minio 1.编辑yaml #编辑pvc cat > 01-minio-pvc.yaml <<EOF apiVersion: v1 kind: PersistentVolumeClaim metadata:name: minio-pvcnamespace: minio spec:accessModes:- ReadWriteManyresources:requests:storage: 10GistorageClassName: nfs-boge EOFcat …

AIGC时代 | 从零到一,打造你的专属AI Chat应用!

文章目录 目标功能概要&#xff08;1&#xff09;Chat 交互界面&#xff08;2&#xff09;流式接口&#xff08;3&#xff09;多轮会话&#xff08;4&#xff09;打字效果 系统架构&#xff08;1&#xff09;大模型服务层&#xff08;2&#xff09;应用服务层&#xff08;3&…

深入解析东芝TB62261FTG,步进电机驱动方案

TB62261FTG是一款由东芝推出的两相双极步进电机驱动器&#xff0c;采用了BiCD工艺&#xff0c;能够提供高效的电机控制。这款芯片具有多种优秀的功能&#xff0c;包括PWM斩波、内置电流调节、低导通电阻的MOSFET以及多种步进操作模式&#xff0c;使其非常适合用于需要精确运动控…

微信小程序的日期区间选择组件的封装和使用

组件化开发是一种将大型软件系统分解为更小、更易于管理和复用的独立模块或组件的方法。这种方法在现代软件开发中越来越受到重视&#xff0c;尤其是在前端开发领域。微信小程序的日期区间选择组件的使用 wxml 代码 <view><view bind:tap"chooseData">…

深度剖析:电商 API 接口如何成就卓越用户体验

在电商领域的激烈竞争中&#xff0c;提供卓越的用户体验已成为企业脱颖而出的关键。而电商 API 接口在其中扮演着举足轻重的角色&#xff0c;它如同电商平台的神经系统&#xff0c;连接着各个关键环节&#xff0c;为用户带来无缝、高效且个性化的购物之旅。 一、极速响应&#…

融合ASPICE与敏捷开发:探索汽车软件开发的最佳实践

ASPICE&#xff08;Automotive SPICE&#xff0c;即汽车软件过程改进和能力dEtermination&#xff09;与敏捷开发在软件开发领域各自具有独特的价值和特点&#xff0c;它们之间的关系可以归纳为既相互区别又相互补充。 一、ASPICE的特点 ASPICE是汽车行业对软件开发流程的一个评…

第一个Qt程序

创建项目 进入ui界面拖一个按钮 在头文件中添加函数说明 #ifndef HELLO_H #define HELLO_H#include <QMainWindow>QT_BEGIN_NAMESPACE namespace Ui { class Hello; } QT_END_NAMESPACEclass Hello : public QMainWindow {Q_OBJECTpublic:Hello(QWidget *parent nullpt…

上海亚商投顾:沪指缩量调整 NMN概念股逆势大涨

上海亚商投顾前言&#xff1a;无惧大盘涨跌&#xff0c;解密龙虎榜资金&#xff0c;跟踪一线游资和机构资金动向&#xff0c;识别短期热点和强势个股。 一.市场情绪 市场全天震荡调整&#xff0c;三大指数午后一度跌超1%&#xff0c;北证50指数则涨超4%&#xff0c;北交所个股…

探寻电商 API 接口提升用户体验之道

在当今数字化时代&#xff0c;电商平台已成为人们购物的主要渠道之一。而电商 API&#xff08;Application Programming Interface&#xff0c;应用程序编程接口&#xff09;接口则是连接电商平台与各种应用和服务的桥梁&#xff0c;对于提升用户体验起着至关重要的作用。 一、…

当遇到 502 错误(Bad Gateway)怎么办

很多安装雷池社区版的时候&#xff0c;配置完成&#xff0c;访问的时候可能会遇到当前问题&#xff0c;如何解决呢&#xff1f; 客户端&#xff0c;浏览器排查 1.刷新页面和清除缓存 首先尝试刷新页面&#xff0c;因为有时候 502 错误可能是由于网络临时波动导致服务器无法连…

前端发送请求格式

1.multipart/form-data格式发送请求参数 什么时候用&#xff1a; 当后端API要求以表单的形式接收数据时&#xff0c;比如<input type"text" name"username">和<input type"password" name"password">&#xff0c;这些数据…

html全局属性、框架标签

常用的全局属性&#xff1a; 属性名含义id 给标签指定唯一标识&#xff0c;注意&#xff1a;id是不能重复的。 作用&#xff1a;可以让label标签与表单控件相关联&#xff1b;也可以与css、JavaScript配合使用。 注意&#xff1a;不能再以下HTML元素中使用&#xff1a;<hea…

自动化部署-01-jenkins安装

文章目录 前言一、下载安装二、启动三、问题3.1 jdk版本问题3.2 端口冲突3.3 系统字体配置问题 四、再次启动五、配置jenkins5.1 解锁5.2 安装插件5.3 创建管理员用户5.4 实例配置5.5 开始使用5.6 完成 总结 前言 spingcloud微服务等每次部署到服务器上&#xff0c;都需要本地…

鸿蒙到底是不是纯血?到底能不能走向世界?

关注卢松松&#xff0c;会经常给你分享一些我的经验和观点。 2016年5月鸿蒙系统开始立项。 2018年美国开始经济战争&#xff0c;其中一项就是制裁华为&#xff0c;不让华为用安卓。 2019年8月9日华为正式发布鸿蒙系统。问题就出在这里&#xff0c;大家可以仔细看。 安卓一…

从零开始学五笔(三):横区字根

从 1 区开始讲解字根&#xff1a; 先介绍按键的区位号、口诀内容、口诀说明然后列每个字根能组成什么汉字&#xff0c;难拆字将用中括号标出 ‍ G 键 区位号&#xff1a;11 口诀&#xff1a;王旁青头戋&#xff08;兼&#xff09;五一 说明&#xff1a; 王旁&#xff1a…

VUE, element-plus, table分页表格列增加下拉筛选多选框,请求后台

简介 为了方便表格查询时可以筛选列的值&#xff0c;需要给列增加筛选框&#xff08;多选框&#xff09;&#xff0c;element-plus提供了列的filter字段&#xff0c;但是基于表格数据的筛选&#xff0c;不会重新请求后台&#xff0c;而且当前表格数据有多少个条目&#xff0c;…