机器学习 | 掌握线性回归的实战技巧

目录

初识线性回归

损失和优化

欠拟合与过拟合

正则化线性模型

模型的保存与加载


初识线性回归

线性回归(Linearregression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。特点是:有一个自变量的情况称为单变量回归,多于一个自变量情况的叫做多元回归。以下是其通用公式的介绍:

线性回归如果用矩阵进行举例的话,可以看如下方式:

比如我们想计算期末成绩,我们可以通过 0.7*考试成绩 + 0.3*平时成绩 进行,通过特征值与目标值建立一个关系,这种关系可以理解为线性模型。

线性回归的特征:线性回归当中主要有两种模型,一种是线性关系,另一种是非线性关系。在这里我们只能画一个平面更好去理解,所以都用单个特征或两个特征举例子。

单变量线性关系
多变量线性关系
非线性关系

通过下面这段代码使用了sklearn库中的 LinearRegression 类来进行线性回归模型的训练和预测。

from sklearn.linear_model import LinearRegression
# 获取数据
x = [[80, 86],[82, 80],[85, 78],[90, 90],[86, 82],[82, 90],[78, 80],[92, 94]
]
y = [84.2, 80.6, 80.1, 90, 83.3, 87.6, 79.4, 93.5]# 模型训练
estimator = LinearRegression() # 实例化一个估计器
estimator.fit(x, y) # 使用fit方法进行训练# 打印对应的系数
print("线性回归的系数是: \n", estimator.coef_)
# 打印的预测结果是
print("输出的预测结果是: \n", estimator.predict([[100, 80]]))

在这段代码中,首先我们定义了输入特征 x 和对应的目标值 y。然后,我们实例化了一个 LinearRegression 对象作为线性回归模型的估计器。接下来,通过调用 fit 方法,我们使用输入特征 x 和目标值 y 对模型进行训练。在训练完成后,我们可以使用 coef_ 属性打印出模型的系数,即特征的权重。最后,我们使用 predict 方法对新的输入数据 [[100, 80]] 进行预测,并打印出预测结果。

损失和优化

在线性回归中,我们使用损失函数和优化算法来训练模型并找到最佳的参数。

损失函数:损失函数用于度量模型预测值与实际目标值之间的差异。在线性回归中,最常用的损失函数是均方误差(Mean Squared Error,MSE)。均方误差计算了预测值与实际值之间的平方差,并求取平均值。公式如下:

1)yi为第i个训练样本的真实值

2)h(xi)为第i个训练样本特征值组合预测函数

如何去减少这个损失,使我们预测的更加准确些?既然存在了这个损失,我们一直说机器学习有自动学习的功能,在线性回归这里更是能够体现。这里可以通过一些优化方法去优化(其实是数学当中的求导功能)回归的总损失!!!

优化算法:优化算法用于调整模型的参数,使得损失函数最小化。在线性回归中,最常用的两种优化算法是:正规方程、梯度下降法。接下来对这两种优化算法作一个简单的介绍:

正规方程:一种通过解析方法来求解最优参数的方法。具体来说,正规方程是通过对损失函数进行求导,并令导数为0,得到最优参数的解析表达式。以下是其使用公式:

理解:x为特征值矩阵,y为目标值矩阵。直接求到最好的结果

缺点:当特征过多过复杂时,求解速度太慢并且得不到结果

接下来以正规方程求解进行举例:

关于正规方程的推导可以参考以下的推导公式:

接下来对所得结果进行求导:

接下来通过下面这段代码实现了一个简单的线性回归模型来预测手写数字数据集中的目标值。下面是对每个步骤的解释:

from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_errordef liner_model():# 获取数据digits = load_digits()# 数据基本处理x_train, x_test, y_train, y_test = train_test_split(digits.data, digits.target, test_size=0.2) # 分割数据# 特征过程——标准化transfer = StandardScaler()transfer.fit_transform(x_train)x_test = transfer.fit_transform(x_test)# 线性回归——正规方程estimator = LinearRegression()estimator.fit(x_train, y_train)print("这个模型的偏置是: \n", estimator.intercept_)print("这个模型的系数是: \n", estimator.coef_)# 模型评估y_pre = estimator.predict(x_test)print("预测值是: \n", y_pre)ret = mean_squared_error(y_test, y_pre)print("均方误差: \n", ret)liner_model()

通过线性回归模型对手写数字数据集进行了拟合和预测,并计算了均方误差作为模型评估指标。 

梯度下降法:用于求解线性回归等机器学习模型的参数。其基本思想是通过迭代的方式,根据损失函数关于参数的梯度方向进行更新,直到达到最小化损失函数的参数值。

假设这样一个场景:

一个人被困在山上,需要从山上下来(i.e.找到山的最低点,也就是山谷)。但此时山上的浓雾很大,导致可视度很低。

因此,下山的路径就无法确定,他必须利用自己周围的信息去找到下山的路径。这个时候,他就可以利用梯度下降算法来帮助自己下山。

具体来说就是,以他当前的所处的位置为基准,寻找这个位置最陡峭的地方,然后朝着山的高度下降的地方走,(同理,如果我们的目标是上山,也就是爬到山顶,那么此时应该是朝着最陡峭的方向往上走)。然后每走一段距离,都反复采用同一个方法,最后就能成功的抵达山谷。

梯度下降的基本过程就和下山的场景很类似。

首先,我们有一个可微分的函数。这个函数就代表着一座山。

我们的目标就是找到这个函数的最小值,也就是山底。

根据之前的场景假设,最快的下山的方式就是找到当前位置最陡峭的方向,然后沿着此方向向下走,对应到函数中,就是找到给定点的梯度,然后朝着梯度相反的方向,就能让函数值下降的最快!因为梯度的方向就是函数值变化最快的方向。所以,我们重复利用这个方法,反复求取梯度,最后就能到达局部的最小值,这就类似于我们下山的过程。而求取梯度就确定了最陡峭的方向,也就是场景中测量方向的手段。

梯度的概念

梯度是微积分中一个很重要的概念。

在单变量的函数中,梯度其实就是函数的微分,代表着函数在某个给定点的切线的斜率。

在多变量函数中,梯度是一个向量,向量有方向,梯度的方向就指出了函数在给定点的上升最快的方向。

这也就说明了为什么我们需要千方百计的求取梯度!我们需要到达山底,就需要在每一步观测到此时最陡峭的地方,梯度就恰巧告诉了我们这个方向。梯度的方向是函数在给定点上升最快的方向,那梯度的反方向就是函数在给定点下降最快的方向,这正是我们所需要的。所以我们只要沿着梯度的反方向一直走,就能走到局部的最低点

接下来我们对单变量函数的梯度下降进行举例:

如图,经过四次的运算,也就是走了四步,基本就抵达了函数的最低点,也就是山底:

接下来我们对多变量函数的梯度下降进行举例: 

我们发现已经基本靠近函数的最小值点:

梯度下降公式:

a在梯度下降算法中被称作为学习率或者步长,意味着我们可以通过a来控制每一步走的距离,以保证不要步子跨的太大扯着蛋,哈哈,其实就是不要走太快,错过了最低点。同时也要保证不要走的太慢,导致太阳下山了,还没有走到山下。所以a的选择在梯度下降法中往往是很重要的!a不能太大也不能太小,太小的话,可能导致迟迟走不到最低点,太大的话,会导致错过最低点!

梯度前加一个负号,就意味着朝着梯度相反的方向前进!我们在前文提到,梯度的方向实际就是函数在此点上升最快的方向!而我们需要朝着下降最快的方向走,自然就是负的梯度的方向,所以此处需要加上负号。我们通过两个图更好理解梯度下降的过程:

接下来通过下面这段代码实现了一个使用随机梯度下降(SGD)算法进行线性回归的模型,并对手写数字数据集进行预测和评估:

from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import SGDRegressor
from sklearn.metrics import mean_squared_errordef liner_model():# 获取数据digits = load_digits()# 数据基本处理x_train, x_test, y_train, y_test = train_test_split(digits.data, digits.target, test_size=0.2) # 分割数据# 特征过程——标准化transfer = StandardScaler()transfer.fit_transform(x_train)x_test = transfer.fit_transform(x_test)# 线性回归——梯度下降estimator = SGDRegressor()estimator.fit(x_train, y_train)print("这个模型的偏置是: \n", estimator.intercept_)print("这个模型的系数是: \n", estimator.coef_)# 模型评估y_pre = estimator.predict(x_test)print("预测值是: \n", y_pre)ret = mean_squared_error(y_test, y_pre)print("均方误差: \n", ret)liner_model()

这段代码通过随机梯度下降算法对手写数字数据集进行了线性回归的拟合和预测,并计算了均方误差作为模型评估指标:

梯度下降和正规方程的对比:

梯度下降正规方程
需要选择学习率不需要
需要迭代求解一次运算得出
特征数量较大可以使用需要计算方程,时间复杂度高O(n3)

欠拟合与过拟合

欠拟合:一个假设在训练数据上不能获得更好的拟合,并且在测试数据集上也不能很好地拟合数据,此时认为这个假设出现了欠拟合的现象。(模型过于简单)

过拟合:一个假设在训练数据上能够获得比其他假设更好的拟合,但是在测试数据集上却不能很好地拟合数据,此时认为这个假设出现了过拟合的现象。 (模型过于复杂)

欠拟合与过拟合的原因及解决办法

在解决回归过拟合中,我们选择正则化。但是对于其他机器学习算法如分类算法来说也会出现这样的问题,除了一些算法本身作用之外(决策树、神经网络),我们更多的也是去自己做特征选择,包括之前说的删除、合并一些特征 

在学习的时候,数据提供的特征有些影响模型复杂度或者这个特征的数据点异常较多,所以算法在学习的时候尽量减少这个特征的影响(甚至删除某个特征的影响),这就是正则化。

正则化线性模型

正则化线性模型是一种通过在损失函数中添加正则化项(L1、L2 或它们的组合)来减少过拟合的线性模型。正则化项在优化过程中对模型的系数进行惩罚,并使得模型更加倾向于选择较小的系数。这样做可以避免模型过度拟合训练数据,从而提高模型在测试集上的泛化能力。

常见的正则化线性模型有:

Lasso Regression(L1 正则化):

在损失函数中添加 L1 正则化项。当系数趋近于零时,Lasso Regression 可以自动地将某些系数设为零,从而实现特征筛选的作用。

Ridge Regression(L2 正则化):

在损失函数中添加 L2 正则化项。Ridge Regression 可以将所有系数缩小到接近于零的水平,但不会将任何系数设为零。

Elastic Net Regression(L1 和 L2 的混合正则化):

在损失函数中同时添加 L1 和 L2 正则化项。Elastic Net Regression 综合了 L1 和 L2 正则化的优点,既可以进行特征筛选,又可以缩小所有系数。

Lasso Regression(Lasso 回归):Lasso回归是线性回归的另一种正则化版本,正则项为权值向量的&1范数:

Ridge Regression(岭回归):岭回归是线性回归的正则化版本,即在原来的线性回归的costfunction中添加正则项(regularizationterm):

以达到在拟合数据的同时,使模型权重尽可能小的目的,岭回归代价函数:

接下来通过下面这段代码实现了一个使用岭回归(Ridge Regression)进行线性回归任务的模型,并对手写数字数据集进行预测和评估:

from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import RidgeCV, Ridge
from sklearn.metrics import mean_squared_errordef liner_model():# 获取数据digits = load_digits()# 数据基本处理x_train, x_test, y_train, y_test = train_test_split(digits.data, digits.target, test_size=0.2) # 分割数据# 特征过程——标准化transfer = StandardScaler()transfer.fit_transform(x_train)x_test = transfer.fit_transform(x_test)# 线性回归——岭回归# estimator = Ridge(alpha=1.0)estimator = RidgeCV(alphas=(0.001, 0.01, 0.1, 1, 10, 100))estimator.fit(x_train, y_train)print("这个模型的偏置是: \n", estimator.intercept_)print("这个模型的系数是: \n", estimator.coef_)# 模型评估y_pre = estimator.predict(x_test)print("预测值是: \n", y_pre)ret = mean_squared_error(y_test, y_pre)print("均方误差: \n", ret)liner_model()

这段代码通过岭回归模型对手写数字数据集进行了线性回归的拟合和预测,并计算了均方误差作为模型评估指标。其中,岭回归通过正则化项控制模型的复杂度,防止过拟合。

Elastic Net Regression(弹性网络)

模型的保存与加载

在机器学习中,模型的保存是指将训练好的机器学习模型以某种格式保存到磁盘上,以便于后续的部署和使用。模型的加载则是指将保存在磁盘上的模型读取到内存中,以便于对新数据进行预测或者进一步的修改和训练。

模型的保存和加载可以提高开发效率,并减少重复训练模型的时间。训练机器学习模型往往需要耗费大量的时间和计算资源,而如果每次需要使用该模型都重新训练一遍,就会非常低效。因此,将训练好的模型保存到磁盘上,在需要使用时直接加载到内存中,可以极大地提高开发效率。此外,保存和加载模型还可以提高模型的可移植性,使得训练好的模型可以轻松地在不同的环境中部署和使用。

模型的保存:我们在进行模型训练完之后,如果想将模型进行保存,导入joblib,然后调用dump传入相应模型以及保存路径即可保存:

打开我们保存好的模型,可见是一堆乱码:

模型的加载:如果要加载模型,这里我们可以不需要再进行模型的训练,直接引入我们加载好的模型进行使用即可:

最终也能得到相应的结果:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/658287.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

代码随想录刷题笔记 DAY 18 | 找树左下角的值 No.513 | 路经总和 No.112 | 从中序与后序遍历序列构造二叉树 No.106

Day 18 01. 找树左下角的值(No. 513) 题目链接 代码随想录题解 1.1 题目 给定一个二叉树的 根节点 root,请找出该二叉树的 最底层 最左边 节点的值。 假设二叉树中至少有一个节点。 示例 1: 输入: root [2,1,3] 输出: 1 示例 2: 输入…

不移其志,踏浪前行 | 北京智和信通召开2023年度工作总结大会

岁聿云暮,新元肇启,2024年1月24日,北京智和信通技术有限公司(以下简称“北京智和信通”)召开2023年度年终总结大会。会上,各部门负责人全面分析公司业务发展态势,各部门员工依次汇报主要工作情况…

QT 使用 QWebChannel 与 Web 端通信展示文件信息

前言 本文将展示如何使用 QWebChannel 来实现 Web 端与 QT 端之间的交互,同时会通过一个在浏览器端展示文件夹信息的简单例子来展示其具体使用,其功能如下: 获取指定文件夹下的文件信息。通过使用 QT 的 QFileSystemWatcher 对指定文件夹进…

C语言 | 求最大/小值小技巧:fmax、fmin函数

如果你只是因为不想用C语言手写max、min函数,就直接去用iostream中的max、min函数的话,这篇文章可能会有些许帮助。 😇 fmax、fmin函数用于确定两个指定值的较大/较小值。 头文件 math.h(或者cmath)。 定义 double …

2023年全国职业院校技能大赛(高职组)“云计算应用”赛项赛卷9

某企业根据自身业务需求,实施数字化转型,规划和建设数字化平台,平台聚焦“DevOps开发运维一体化”和“数据驱动产品开发”,拟采用开源OpenStack搭建企业内部私有云平台,开源Kubernetes搭建云原生服务平台,选…

Android systemui 编译

目录 简介: 一、步骤 二、下载源码 三、环境配置 四、确定好需要编译版本 五、编译SystemUI 步骤1:进入源代码目录 步骤2:初始化编译环境 步骤3:选择目标设备 步骤4:编译SystemUI 步骤5:查找生成…

网络安全全栈培训笔记(59-服务攻防-中间件安全CVE复现lSApacheTomcataNginx)

第59天 服务攻防-中间件安全&CVE复现&lS&Apache&Tomcata&Nginx 知识点: 中间件及框架列表: lIS,Apache,Nginx,Tomcat,Docker,Weblogic,JBoos,WebSphere,Jenkins, GlassFish,Jira,Struts2,Laravel,Solr,Shiro,Thinkphp,Sprng,Flask,…

Ubuntu系统安装 Redis

环境准备 Ubuntu 系统版本:22.04.3Redis 版本:6.2.12 检查本地 make 环境 make -version若没有安装,则需要安装 sudo apt install make检查本地 gcc 环境 gcc -version若没有安装,则需要安装 sudo apt install gcc。 sudo a…

服装行业ERP系统解决方案

我国的服装企业大多属于劳动密集型,主要有三种类型:自有品牌服装生产销售企业、接订单生产型企业及处于产业链下游的零售分销企业。在经营过程中,服装行业面临诸多挑战,如流行周期短、季节性强,市场变化快;…

Vue学习Element-ui

声明:本文来源于黑马程序员PDF讲义 Ajax 我们前端页面中的数据,如下图所示的表格中的学生信息,应该来自于后台,那么我们的后台和前端是 互不影响的2个程序,那么我们前端应该如何从后台获取数据呢?因为是2…

博云科技与中科可控全面合作,探索前沿金融科技新机遇

2024年1月26日,博云科技与中科可控在昆山高新区成功举办合作签约仪式。昆山市委常委、昆山高新区党工委书记孙道寻、中科可控董事长聂华、博云科技董事长花磊等领导出席了本次签约仪式。 中科可控将利用其在先进计算和智造领域的优势,为博云科技提供有关…

AI人工智能可以怎么应用?——GPT4v图文识别问答功能

沃卡 AI 已支持 AI识图问答TTS语音对话文档总结对话Dall E3 对话文生图国内大模型集合AI 绘画思维导图,而且功能还在不断更新优化,丰富好用!一个系统满足您多个需求! 大家可以通过收藏网页www.woka.chat 直接进行访问&#xff0c…

springboot-前后端分离——第一篇

本篇主要对前后端分离的一些基础知识进行总结,主要对HTTP请求协议、HTTP响应格式、Http协议解析等进行总结。重点在于简单了解前端如何向服务端发送请求,服务端如何接收请求并返回响应结果。 一、简单案例: 首先创建一个springboot项目&…

异步任务的一些思考

前言 XXL-Job部署教程 项目中,必然少不了数据的导入导出,针对数据的导入导出简单复盘一下。 为了不占用资源消耗时间,影响用户体验,大量数据的导入导出一般都是异步执行 导入的时候,如果数据量很大,一次…

Wireshark网络协议分析 - TCP协议

在我的博客阅读本文 文章目录 1. 基础2. 实战2.1. 用Go写一个简单的TCP服务器与客户端2.2. Wireshark抓包分析2.3. 限制数据包的大小——MSS与MTU2.4. 保证TCP的有序传输——Seq,Len与Ack2.5. TCP头标志位——URG,ACK,PSH,RST&…

cleanmymacX有必要买吗

CleanMyMac X是一款被广泛推荐的Mac电脑清理软件。以下是关于是否购买CleanMyMac X的几个关键点: 软件功能:CleanMyMac X具备多项功能,包括但不限于系统垃圾清理、缓存清理、恶意软件移除、隐私保护等。这些功能有助于保持Mac电脑的清洁和性能…

StarRocks -- 基础概念(数据模型及分区分桶)

1. 数据模型 StarRocks提供四种数据模型: Duplicate Key, Aggregate Key, Unique Key, Primary Key 1.1 Duplicate Key 适用场景: 分析原始数据,如原始日志和原始操作记录。可以使用多种方法查询数据,不受预聚合方法的限制。加…

第七篇:node中间件详解

🎬 江城开朗的豌豆:个人主页 🔥 个人专栏 :《 VUE 》 《 javaScript 》 📝 个人网站 :《 江城开朗的豌豆🫛 》 ⛺️ 生活的理想,就是为了理想的生活 ! ​ 目录 📘 引言: &#…

【Opcua】 客户端读写时,Opcua Server信息返回处追溯(1)

【Opcua】 客户端读写时,Opcua Server信息返回处追溯(1) 前言从客户端角度展开分析从服务端角度展开分析 前言 基于前文【Node-RED】node-red-contrib-opcua-server模块使用(2)介绍,我们已经了解到NodeRed…

【EI会议征稿通知】第四届信号图像处理与通信国际学术会议(ICSIPC 2024)

第四届信号图像处理与通信国际学术会议(ICSIPC 2024) 2024 4th International Conference on Signal Image Processing and Communication 第四届信号图像处理与通信国际学术会议(ICSIPC2024)将于2024年5月17日-19日在陕西西安再…