十六、【机器学习】【监督学习】- 支持向量回归 (SVR)

系列文章目录

第一章 【机器学习】初识机器学习

第二章 【机器学习】【监督学习】- 逻辑回归算法 (Logistic Regression)

第三章 【机器学习】【监督学习】- 支持向量机 (SVM)

第四章【机器学习】【监督学习】- K-近邻算法 (K-NN)

第五章【机器学习】【监督学习】- 决策树 (Decision Trees)

第六章【机器学习】【监督学习】- 梯度提升机 (Gradient Boosting Machine, GBM)

第七章 【机器学习】【监督学习】-神经网络 (Neural Networks)

第八章【机器学习】【监督学习】-卷积神经网络 (CNN)

第九章【机器学习】【监督学习】-循环神经网络 (RNN)

第十章【机器学习】【监督学习】-线性回归

第十一章【机器学习】【监督学习】-局部加权线性回归 (Locally Weighted Linear Regression, LWLR)

第十二章【机器学习】【监督学习】- 岭回归 (Ridge Regression)

十三、【机器学习】【监督学习】- Lasso回归 (Least Absolute Shrinkage and Selection Operator)

十四、【机器学习】【监督学习】- 弹性网回归 (Elastic Net Regression)

十五、【机器学习】【监督学习】- 神经网络回归 


目录

系列文章目录

前言

一、基本定义

(一)、监督学习

(二)、监督学习的基本流程

(三)、监督学习分类算法(Classification)

二、 神经网络回归

(一)、定义

(二)、基本概念

(三)、训练过程

(四)、特点

(五)、适用场景

(六)、扩展

三、总结


前言

    在先前的文章系列中,我们深入探讨了机器学习的基础框架和算法分类,为读者构建了关于这一领域的坚实理论基础。本章节我们将焦点转向监督学习领域中的一个核心算法—— 神经网络回归,旨在详尽解析其内在逻辑、应用实践及重要参数调整策略。


一、基本定义

(一)、监督学习

        监督学习(Supervised Learning)是机器学习中的一种主要方法,其核心思想是通过已知的输入-输出对(即带有标签的数据集)来训练模型,从而使模型能够泛化到未见的新数据上,做出正确的预测或分类。在监督学习过程中,算法“学习”的依据是这些已标记的例子,目标是找到输入特征与预期输出之间的映射关系。

(二)、监督学习的基本流程

        数据收集:获取包含输入特征和对应正确输出标签的训练数据集。
        数据预处理:清洗数据,处理缺失值,特征选择与转换,标准化或归一化数据等,以便于模型学习。
        模型选择:选择合适的算法,如决策树、支持向量机、神经网络等。
        训练:使用训练数据集调整模型参数,最小化预测输出与实际标签之间的差距(损失函数)。
        验证与调优:使用验证集评估模型性能,调整超参数以优化模型。
        测试:最后使用独立的测试集评估模型的泛化能力,确保模型不仅在训练数据上表现良好,也能在未见过的新数据上做出准确预测。

(三)、监督学习分类算法(Classification)

        定义:分类任务的目标是学习一个模型,该模型能够将输入数据分配到预定义的几个类别中的一个。这是一个监督学习问题,需要有一组已经标记好类别的训练数据,模型会根据这些数据学习如何区分不同类别。
        例子:垃圾邮件检测(垃圾邮件 vs. 非垃圾邮件)、图像识别(猫 vs. 狗)。


二、 神经网络回归

(一)、定义

   支持向量回归(Support Vector Regression, SVR)是支持向量机(Support Vector Machine, SVM)在回归分析中的应用。SVR是一种监督学习算法,用于预测连续值输出。它基于结构风险最小化原则,旨在找到一个函数,使得该函数与训练数据的偏差在一个预设的界限内尽可能小,同时保持模型的复杂度尽可能低。

(二)、基本概念

  • 间隔 (Margin) 和容忍偏差 (Epsilon, ε):SVR试图找到一个间隔,即一个界限区域,在这个区域内的任何数据点都被认为是预测正确的,即使它们与真实值有轻微偏差。这个界限通常由一个参数ε来控制,ε定义了模型预测值与实际值之间的最大允许偏差。
  • 支持向量 (Support Vectors):训练数据中那些落在间隔边界上的点被称为支持向量。它们是唯一决定SVR模型形状的点,而远离间隔边界的数据点对模型的影响较小。
  • 核函数 (Kernel Function):SVR可以使用不同的核函数,如线性、多项式、径向基函数(RBF)等,来将数据映射到更高维空间,以便在非线性数据上进行回归分析。

(三)、训练过程

    SVR的训练过程涉及解决一个优化问题,目的是找到一个最佳的超平面(对于线性SVR)或决策边界(对于非线性SVR),该边界能够以最小的误差预测目标值。以下是一个详细的训练过程概述:

  1. 数据准备

    • 数据预处理:清洗数据,处理缺失值,进行特征缩放(如标准化或归一化),编码分类特征。
    • 数据划分:将数据集分为训练集和测试集(有时还包括验证集)。
  2. 模型初始化

    • 设定参数:选择损失函数(如ε-insensitive loss),设定惩罚参数C,选择核函数(如线性、多项式、RBF等),并设定核函数的参数(如γ)。
    • 初始化权重向量w和偏置b(对于线性SVR),虽然它们在求解过程中会被更新。
  3. 构建优化问题

    • SVR的目标是找到一个函数f(x),使得对于所有训练样本(x_i, y_i),|f(x_i) - y_i| <= ε 或者 |f(x_i) - y_i| <= ε + ξ_i,其中ξ_i是松弛变量,用于允许一定的偏差,而ε是预先设定的误差容忍度。
    • 目标是最小化损失函数(通常是对松弛变量的惩罚)和模型复杂度的加权和,以防止过拟合。
  4. 求解优化问题

    • 使用拉格朗日乘数法将原始问题转化为对偶问题,这通常涉及到二次规划问题的求解。
    • 应用二次规划求解器来找到最优的拉格朗日乘数α_i,这一步可能涉及到内点法、梯度下降或其他优化算法。
  5. 确定支持向量

    • 只有那些与间隔边界相接触的点(即非零拉格朗日乘数α_i对应的点)被认为是支持向量。
    • 支持向量决定了超平面的位置和方向。
  6. 构建回归函数

    • 根据求解的拉格朗日乘数α_i和相应的支持向量,构建回归函数f(x) = ∑[α_i * y_i * K(x, x_i)] + b,其中K(x, x_i)是核函数。
  7. 模型评估与调整

    • 在测试集上评估模型的性能,使用如均方误差(MSE)、平均绝对误差(MAE)等指标。
    • 根据测试结果调整参数,如C、ε、核函数参数,可能通过网格搜索或随机搜索等超参数优化方法。
  8. 模型部署

    • 最终确定模型后,可以将其部署到生产环境,用于预测未知数据。

(四)、特点

  1. 鲁棒性:SVR对异常值不敏感,因为只有落在间隔边界外的数据点才会影响优化目标。
  2. 非线性处理能力:通过使用非线性核函数,SVR能够处理非常复杂的非线性关系。
  3. 参数调整:SVR具有多个参数,如C、ε和核函数参数,这为模型的调整提供了灵活性。
  4. 稀疏解决方案:SVR通常只需要支持向量来构建模型,这使得模型更加简洁高效。
  5. 避免过拟合:通过控制模型复杂度和惩罚参数C,SVR能够在训练数据拟合和泛化能力之间找到平衡。
  6. 计算复杂度:尽管SVR在处理小到中等规模数据集时表现良好,但在大规模数据集上,训练过程可能会变得非常计算密集。

      SVR在处理具有复杂非线性模式的数据集时尤其有用,尤其是在数据量适中、特征维度较高的情况下。它广泛应用于金融、生物信息学、工程和其他领域,用于预测和建模。

(五)、适用场景

   SVR适用于多种场景,特别是当数据具有非线性特性时,包括但不限于:

  • 经济预测:如预测股市指数、汇率变动。
  • 能源预测:预测电力需求、石油价格。
  • 生物医学应用:如预测药物反应、蛋白质结构。
  • 环境科学:预测天气变化、污染物浓度。
  • 工程技术:如预测设备故障时间、材料强度。

(六)、扩展

   除了基本的SVR,还有几种变种和扩展,包括:

  • ε-SVR:最常见的SVR形式,使用ε-insensitive loss函数。
  • ν-SVR:通过参数ν直接控制支持向量的数量和容许的误差率。
  • 线性SVR:使用线性核函数,适用于大规模数据集。
  • 多输出SVR:可以同时预测多个连续输出变量。

三、总结

    SVR 作为一种成熟的机器学习技术,不仅在现有领域发挥重要作用,而且随着技术进步和需求变化,其应用前景将更加广阔。未来,SVR 将在算法优化、数据处理能力和跨领域应用方面取得显著进展,成为解决复杂预测问题的关键工具。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/873212.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Docker Ubuntu Milvus 2.4 windows 详细安装攻略

目录 背景 安装Docker Destop 下载docker 破解之法 启动 docker destop OS镜像 前置条件 dism 启动WSL服务 命令

MQTT 固定报头中的剩余长度介绍

MQTT协议中的剩余长度&#xff08;Remaining Length&#xff09;是一个重要的概念&#xff0c;它表示当前报文剩余部分的字节数&#xff0c;包括可变报头和负载的数据&#xff0c;但不包括用于编码剩余长度字段本身的字节数。以下是对MQTT剩余长度的详细说明&#xff1a; 一、…

python中excel的读取和写入

python中对于excel文件数据的读取和写入&#xff0c;主要有两种方法&#xff0c;一种是通过pandas库&#xff0c;一种是通过openpyxl库。在实际过程中&#xff0c;因为pandas库对单元格的定位和访问比较方便&#xff0c;openpyxl可以对单个单元格进行写入&#xff0c;而pandas库…

GaussDB常见调优指南

文章目录 GaussDB常见调优指南一. Analyze 统计信息解析二. Explain 分布式计划解析三. 性能调优总体策略详解四. 性能调优之坏味道 SQL 识别五. 性能调优之好味道表定义六. 性能调优之 SQL 改写七. 性能调优之路径干预八. 性能调优之 Plan hint 运用九. 性能调优之 GUC 参数调…

C学习(数据结构)-->单链表习题

目录 一、环形链表 题一&#xff1a;环形链表 思路&#xff1a; 思考一&#xff1a;为什么&#xff1f; 思考二&#xff1a;快指针一次走3步、4步、......n步&#xff0c;能否相遇 step1&#xff1a; step2&#xff1a; 代码&#xff1a; 题二&#xff1a; 环形链表 I…

SAE J1939协议入门(一)

一、SAE J1939是什么 SAE J1939&#xff08;以下简称J1939&#xff09;是由汽车工程师协会&#xff08;SAE &#xff09;定义的标准&#xff0c;专门用于提供微处理器系统之间的串行数据通信。虽然CAN存在并且被广泛用于小型车辆&#xff0c;但J1939被设计为大型车辆复杂网络的…

antd drawer extra中按钮点击事件获取子组件的数据

在Ant Design的Drawer组件中&#xff0c;需要在extra区域的按钮点击事件中获取子组件的数据&#xff0c;可以通过以下步骤实现&#xff1a; 使用useRef钩子在父组件中创建一个ref引用子组件。 在子组件中使用useImperativeHandle或forwardRef来暴露一个方法给父组件调用。 在ex…

android mm m mmm 区别

Android开发中的m, mm, mmm命令用于编译源代码&#xff0c;‌它们的主要区别在于编译的范围和目标。‌ m命令&#xff1a;‌用于从Android源码的根目录开始编译所有的模块。‌这个命令会编译整个Android源代码树&#xff0c;‌确保所有必要的模块都被编译12。‌ mm命令&#x…

如何用Java实现运营商三要素接口调用

今天给大家案例运营商三要素接口&#xff0c;该接口实用性极强&#xff01;建议大家点赞收藏&#xff0c;如果问题可随时评论区留言交流&#xff01; 一、什么是运营商三要素&#xff1f; 运营商三要素通常指的是手机号码、用户姓名和身份证号码。 二、运营商三要素应用场景…

升级TrinityCore 服务器硬件

升级服务器 原服务器&#xff1a;Ubuntu装VirtualBox装Ubuntu虚拟机 原配置&#xff1a;内存1756MB 内核4 外接硬盘 ip 192.168.0.12 升级服务器&#xff1a;FreeBSD装bhyve装Ubuntu虚拟机 新配置&#xff1a;内存3072MB 内核4 ssd硬盘 ip 192.168.1.12 除了ssh&#…

WPF之URI的使用

pack://application:, pack://application:, 是一个在 WPF (Windows Presentation Foundation) 应用程序中用于指定资源位置的 URI (统一资源标识符) 方案的特定格式。这个格式用于访问嵌入在应用程序程序集&#xff08;assemblies&#xff09;中的资源&#xff0c;如图像、XA…

深度挖掘行情接口:股票市场中的关键金融数据API接口解析

在股票市场里&#xff0c;存在若干常见的股票行情数据接口&#xff0c;每一种接口皆具备独特的功能与用途。以下为一些常见的金融数据 API 接口&#xff0c;其涵盖了广泛的金融数据内容&#xff0c;其中就包含股票行情数据&#xff1a; 实时行情接口 实时行情接口&#xff1a…

恒创科技:如何解决“服务器 IP 地址无法被找到”的错误

如何解决“服务器 IP 地址无法被找到”的错误?此错误通常出现在你的设备无法使用其分配的 IP 地址与网络服务器通信时。问题的来源可能多种多样&#xff0c;从简单的拼写错误到复杂的 DNS 和路由问题。以下是对“服务器 IP 地址无法找到”的常见原因以及可以采取的解决办法。 …

万界星空科技MES系统生产计划管理的功能

MES系统&#xff08;Manufacturing Execution System&#xff0c;制造执行系统&#xff09;的生产计划管理功能是其核心功能之一&#xff0c;旨在将企业的生产计划转化为实际的生产操作&#xff0c;并通过实时监控和调整来确保生产活动的顺利进行。以下是MES系统生产计划管理功…

STM32 | 看门狗+RTC源码解析

点击上方"蓝字"关注我们 作业 1、使用基本定时7,完成一个定时喂狗的程序 01、上节回顾 STM32 | 独立看门狗+RTC时间(第八天)02、定时器头文件 #ifndef __TIM_H#define __TIM_H​#include "stm32f4xx.h"​void Tim3_Init(void);void Tim7_Init(void);​…

数据解析的四种方式

常用的解析数据的四种方式包括&#xff1a; XPath解析数据BeautifulSoup解析数据正则表达式pyquery解析数据 话说pyquery这个库运用的比较熟练&#xff0c;因为以前java编程的时候&#xff0c;经常写jsp代码&#xff0c;用jquery的ajax进行异步请求&#xff0c;对html、js、c…

SpringData JPA Mongodb 查询部分字段

JPA 网上用的好像不多&#xff0c;找了好多材料以后最终找了这个可行的方案&#xff1a; Query(fields "{tender_id:1,_id:0}")List<MGPltTender> findByTenderIdIsNotNull(PageRequest pageRequest); 调用&#xff1a; Sort sort Sort.by(popularType.getC…

sqlite|轻量数据库|pgadmin4的sqlite数据库操作--重置密码和账号解锁

前言&#xff1a; pgadmin4的用户密码以及pgadmin4创建的pg数据库的连接信息等等都是存放在sqlite数据库内的&#xff1b;而有的时候&#xff0c;可能会由于自己的问题将pgadmin4的密码忘记&#xff0c;这个时候需要重置pgadmin4的密码&#xff0c;或者是pgadmin4的密码输错多…

【二维区域和检索-矩阵不可变】python刷题记录

一夜无解&#xff0c;痛苦&#xff0c;遂拜倒于灵神门下&#xff0c;妄做狂徒也&#xff01; . - 力扣&#xff08;LeetCode&#xff09; 灵神秒解如下&#xff1a; class NumMatrix:#二维初始矩阵def __init__(self, matrix: List[List[int]]):mlen(matrix)nlen(matrix[0])#…

Java重修笔记 第二十四天 模板设计模式

模板设计模式 当功能内部一部分实现是确定&#xff0c;一部分实现是不确定的&#xff0c;这时可以把不确定的部分暴露出去&#xff0c;让子类去实现。 抽象类定义算法骨架&#xff0c;包含抽象方法&#xff0c;需要子类去实现。 具体类继承抽象类&#xff0c;实现抽象类中的抽…