线性可分支持向量机的原理推导 标准优化目标 公式解析

本文是将文章《线性可分支持向量机的原理推导》中的公式单独拿出来做一个详细的解析,便于初学者更好的理解。


公式 9-6 是从之前的最大化间隔问题(公式 9-4 和 9-5)推导出来的支持向量机(SVM)的优化问题。它表示的是一个标准的优化目标,其中我们希望最小化超平面法向量 w \mathbf{w} w 的大小,同时满足一定的分类约束。

公式 9-6 的形式如下:
min ⁡ w , b 1 2 ∥ w ∥ 2 \min_{\mathbf{w}, b} \quad \frac{1}{2} \|\mathbf{w}\|^2 w,bmin21w2

subject to y i ( w T x i + b ) ≥ 1 , i = 1 , 2 , … , N \text{subject to} \quad y_i (\mathbf{w}^T \mathbf{x}_i + b) \geq 1, \quad i = 1, 2, \ldots, N subject toyi(wTxi+b)1,i=1,2,,N

1. 公式 9-6 的含义

优化目标:最小化 1 2 ∥ w ∥ 2 \frac{1}{2} \|\mathbf{w}\|^2 21w2
  • 1 2 ∥ w ∥ 2 \frac{1}{2} \|\mathbf{w}\|^2 21w2 是支持向量机优化中的目标函数,它表示的是超平面法向量 w \mathbf{w} w 的范数平方的一半。我们希望通过最小化这个函数来最大化分类间隔

    • 最大化分类间隔的意义:在支持向量机中,超平面法向量 w \mathbf{w} w 的大小 ∥ w ∥ \|\mathbf{w}\| w 与分类间隔成反比。也就是说,法向量越大,分类间隔就越小,反之,法向量越小,分类间隔越大。因此,最小化 ∥ w ∥ \|\mathbf{w}\| w 是为了最大化间隔,这也是支持向量机的核心目标之一。

    • 为什么使用 1 2 ∥ w ∥ 2 \frac{1}{2} \|\mathbf{w}\|^2 21w2 而不是直接使用 ∥ w ∥ \|\mathbf{w}\| w?这里平方的一半是为了方便后续使用梯度下降等优化算法进行求解。平方函数的导数是线性的,方便进行优化步骤。此外,平方不会影响优化目标,因为最小化 ∥ w ∥ \|\mathbf{w}\| w 和最小化 ∥ w ∥ 2 \|\mathbf{w}\|^2 w2 是等价的。

约束条件: y i ( w T x i + b ) ≥ 1 y_i (\mathbf{w}^T \mathbf{x}_i + b) \geq 1 yi(wTxi+b)1
  • 这个约束条件确保了样本点被正确分类,同时每个样本点到超平面的几何距离至少为 1。

    • 分类函数 w T x i + b \mathbf{w}^T \mathbf{x}_i + b wTxi+b 是超平面方程,表示样本 x i \mathbf{x}_i xi 相对于超平面的分类结果。
    • y i y_i yi:是真实的类别标签,取值为 + 1 +1 +1 − 1 -1 1。当 y i = 1 y_i = 1 yi=1 时,约束条件变为 w T x i + b ≥ 1 \mathbf{w}^T \mathbf{x}_i + b \geq 1 wTxi+b1,表示正类样本点应位于超平面的一侧,且离超平面的距离至少为 1;当 y i = − 1 y_i = -1 yi=1 时,约束条件变为 w T x i + b ≤ − 1 \mathbf{w}^T \mathbf{x}_i + b \leq -1 wTxi+b1,表示负类样本点应位于超平面的另一侧,且离超平面的距离至少为 1。
    • 这个约束确保了所有样本点被正确分类并且它们与超平面的距离不小于 1。

2. 公式 9-6 的推导背景

从公式 9-4 和 9-5 开始,我们的目标是最大化几何间隔 d d d,同时确保所有样本点满足分类约束条件。为了简化这个问题,在公式 9-5 中我们令 d = 1 d = 1 d=1,将最大化几何间隔的问题转化为最小化法向量 w \mathbf{w} w 的大小。

具体来说,最大化分类间隔等价于最小化 ∥ w ∥ \|\mathbf{w}\| w,这也就转化为了公式 9-6 中的优化目标。

3. 公式 9-6 的几何解释

支持向量机的几何直观解释是:我们试图找到一个可以最大化分类间隔的超平面,使得最靠近超平面的样本点(即支持向量)与超平面的距离最大。在几何上,间隔与法向量 w \mathbf{w} w 的大小成反比,因此最小化 ∥ w ∥ \|\mathbf{w}\| w 是为了让分类器的决策边界尽可能地远离所有样本点。

4. 约束优化问题

公式 9-6 是一个约束优化问题,目标是在满足分类约束的前提下最小化目标函数。求解这个问题的常见方法是使用拉格朗日乘子法,将约束条件引入到优化目标中,形成一个无约束的优化问题,这将会在后续通过对偶问题的形式进一步讨论。

5. 公式 9-6 的意义

公式 9-6 是支持向量机优化问题的标准形式,它将分类间隔最大化问题转化为一个凸二次规划问题,并且该问题有全局最优解。这个问题的目标函数是二次的,约束条件是线性的,因此称为凸二次规划问题

总结

  • 优化目标:最小化 1 2 ∥ w ∥ 2 \frac{1}{2} \|\mathbf{w}\|^2 21w2,即最小化法向量的大小,从而最大化分类间隔。
  • 约束条件:确保所有样本点被正确分类,并且离超平面的几何距离至少为 1。

公式 9-6 是支持向量机的基本优化问题,它为我们提供了找到最优超平面的数学框架。通过最小化法向量 w \mathbf{w} w 的大小,我们确保了分类的稳定性和鲁棒性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/57633.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

影刀RPA实战番外:excel函数应用指南

Excel函数是用于执行特定计算、分析和数据处理任务的预定义公式。它们可处理数学计算、文本处理、逻辑判断、日期和时间运算、查找和引用数据等。例如,SUM函数可以计算一系列数字的总和,IF函数进行逻辑测试,VLOOKUP函数在表格中查找数据&…

基于vue框架的的房屋租借系统6vsj6(程序+源码+数据库+调试部署+开发环境)系统界面在最后面。

系统程序文件列表 项目功能:用户,房东,房源类型,房屋租赁,租赁信息,续租信息,退租信息 开题报告内容 基于Vue框架的的房屋租借系统开题报告 一、选题背景 随着城市化进程的加速和人口流动性的增强,房屋租赁市场日益繁荣,成为满足人们居住…

使用Redisson的布隆过滤器解决缓存穿透问题

使用Redisson实现缓存穿透的布隆过滤器示例 以下是一个使用Redisson库的RBloomFilter来解决缓存穿透问题的Java代码示例。在这个示例中,我们会通过布隆过滤器预先过滤无效的请求,以减少对数据库的压力。 代码示例 首先,确保在项目中引入Re…

MyBatis 中updateByPrimaryKey和updateByPrimaryKeySelective区别

在 MyBatis 中,updateByPrimaryKey和updateByPrimaryKeySelective主要有以下区别: 一、功能 updateByPrimaryKey: 会根据传入的实体对象,将数据库表中对应主键的记录所有字段全部更新为实体对象中的值。即使实体对象中的某些字段…

esp32c6 开发实战:http 协议

esp32c6 提供一系列的事件来处理 http 协议(这一点与低功耗蓝牙相似)。 编写含有 http 协议的程序基本上就以下几个步骤: 初始化注册回调函数 每当事件发生(接收到来自客户端的请求就会触发事件),esp32c…

C++ (一) 基础语法

基础语法:C的开胃小菜 欢迎来到C的世界,这里是编程的盛宴,也是逻辑的迷宫。别担心,我们不会一开始就让你啃硬骨头,而是从基础语法开始,让你慢慢品尝编程的美味。准备好了吗?让我们开始这场编程…

揭秘 Mark Word 的存储结构

一个Java对象被初始化之后会存储在堆内存中,那么这个对象在堆内存中存储了哪些信 呢? Java 对象存储结构可以分为三个部分:对象头、实例数据、对齐填充。当我们构建一个0b lock new Object() 对象实例时,这个1ock实例最终的存储结构就对应下面…

如何高效集成聚水潭数据至MySQL-技术案例解析

如何高效集成聚水潭数据至MySQL-技术案例解析 聚水潭数据集成到MySQL的技术案例分享 在本次技术案例中,我们将探讨如何通过轻易云数据集成平台,将聚水潭的店铺信息高效地集成到MySQL数据库中。具体方案为“聚水潭-店铺信息查询-->BI崛起-店铺信息表”…

SSL证书有免费的吗?在哪里可以申请到?——附带申请步骤

申请免费的SSL证书通常可以通过以下几个步骤完成,这里以使用JoySSL为例进行说明,因为JoySSL提供了一个免费、自动化和开放的证书颁发机构(CA)来促进网站从HTTP向HTTPS的转换。 步骤: 选择工具: 访问JoySSL…

理解 React 中的 ReactElement、children 和 ReactNode

1. 什么是 ReactElement? ReactElement 是 React 用来描述 UI 界面元素的最基本的对象,是构建虚拟 DOM 的核心元素。 定义:ReactElement 是不可变的对象,表示界面中的某个元素。它包含了用于渲染 UI 所需的信息,如元…

【Nuvoton干货分享】开发应用篇 5 -- 32bit MCU Flash 操作

在实际开发中,我们都会碰到需要把部分数据存放在不易失存储空间上,比如外部NOR FLASH、EEPROM、SD等存储空间上,针对数据量不大的情况下,可以考虑将数据存放在芯片ROM存储空间。Nuvoton 32bit MCU ROM存储空间包括LDROM、APROM、S…

ImportError: DLL load failed while importing _ext: 找不到指定的程序。

下载mmcv,torch时报错: ImportError: DLL load failed while importing _ext: 找不到指定的程序。 报错原因: mmcv,torch,python的版本冲突问题(版本对应不上)。 最新版本,请参考…

不同类型数据资产的价值差异知多少

在数字化时代,数据成为关键资产。数据资产类型多样,包括结构化、半结构化和非结构化数据,它们的价值差异显著。 结构化数据存储在关系型数据库中,如企业财务报表、销售数据和客户信息等。其价值特点在于准确性和一致性高&#xff…

C++ queue适配器(配接器)

queue queue是CSTL库中的一个适配器,一般使用deque作为数据存储容器。在数据结构中,它是采用队列的设计思路;在算法领域中,适用于解决宽度优先搜索BFS、图论等问题。下面我们就来认识一下queue适配器。 文章目录 queue1. queue的…

C++ 二叉树进阶:二叉搜索树

目录 二叉搜索树的概念 二叉搜索树的实现 基本结构 插入 1,当树是空树的时候 2,当树不为空的时候 3,纠正后的代码 查找 删除 1,左为空或右为空 2,左右都不为空 3,删除的完整代码: 二…

蛋白质残基的距离计算以及径向基函数变换中的维度变化

1. 计算Ca距离的函数 def _dist(self, X, mask, eps=1E-6):mask_2D = torch.unsqueeze(mask,1) * torch.unsqueeze(mask,2)dX = torch.unsqueeze(X,1) - torch.unsqueeze(X,2)D = mask_2D * torch.sqrt(torch.sum(dX**2, 3) + eps)D_max, _ = torch.max(D, -1, keepdim=True)D…

visual studio设置修改文件字符集方法

该方法来自网文,特此记录备忘。 添加两个组件,分别是Force UTF-8,FileEncoding。 截图如下: 方法如下:vs中点击“扩展”->“管理扩展”,输入utf搜索,安装如下两个插件,然后重启vs&#xf…

MongoDB 安装教程(MAC版本)

1.官网地址 https://www.mongodb.com/ 下载社区版,并且解压即可 2.安装位置 没有固定位置,将解压后的文件拷贝到任意位置,这里将以 /usr/locall为例。 3.配置环境变量 ## 1.打开环境配置文件 open .bash_profile ## 2.添加环境配置&#…

input子系统的框架和重要数据结构详解

#1024程序员节 | 征文# 往期内容 I2C子系统专栏: 专栏地址:IIC子系统_憧憬一下的博客-CSDN博客具体芯片的IIC控制器驱动程序分析:i2c-imx.c-CSDN博客 – 末篇,有往期内容观看顺序 总线和设备树专栏: 专栏地址&#…

【人工智能】掌握深度学习中的时间序列预测:深入解析RNN与LSTM的工作原理与应用

深度学习中的循环神经网络(RNN)和长短时记忆网络(LSTM)在处理时间序列数据方面具有重要作用。它们能够通过记忆前序信息,捕捉序列数据中的长期依赖性,广泛应用于金融市场预测、自然语言处理、语音识别等领域…