机器学习-特征选择:如何使用递归特征消除算法自动筛选出最优特征?

一、引言

在实际应用中,特征选择作为机器学习和数据挖掘领域的重要环节,对于提高模型性能和减少计算开销具有关键影响。特征选择是从原始特征集中选择最相关和最具区分力的特征子集,以提高模型的泛化能力和可解释性。

特征选择在实践中具有以下重要性:

  • 提高模型性能:通过选择最相关的特征子集,可以减少冗余和噪声特征的干扰,从而提高模型的预测准确性和泛化能力。
  • 减少计算开销:特征选择可以降低模型训练和推断过程中的计算复杂度,加快模型的训练速度和实时预测效率。
  • 提高模型解释性:通过选择具有较高可解释性的特征,可以增强对模型内部机制的理解,并为决策提供更清晰的解释和依据。

特征选择方法可以分为三大类:过滤式方法、包裹式方法和嵌入式方法。过滤式方法独立于任何具体的学习算法,通过对特征进行评估和排序来选择特征子集。包裹式方法直接使用学习算法来评估特征子集的性能。嵌入式方法将特征选择融入到学习算法中,通过优化算法的目标函数来同时选择特征和训练模型。

总之,特征选择在机器学习和数据挖掘任务中扮演着重要的角色,能够提高模型性能、减少计算开销,并增强模型的可解释性。通过合理选择合适的特征选择方法,可以进一步优化实际应用中的模型训练和预测效果。

二、递归特征消除算法概述

2.1 算法原理

递归特征消除算法(Recursive Feature Elimination, RFE)是一种基于模型的特征选择方法,通过反复训练模型和剔除最不重要特征的方式来选择最优的特征子集。

具体步骤如下:

  1. 首先,用训练数据训练一个初始模型,并计算每个特征的重要性得分(例如,使用模型的系数、特征对目标变量的影响等)。
  2. 然后,根据特征重要性得分对特征进行排序,从中选择得分最低的若干个特征作为待剔除的特征。
  3. 在剩余的特征上重新训练模型,并计算新的特征重要性得分。
  4. 如果特征数量达到预设的目标或者所有特征都被剔除完毕,停止算法;否则,回到第2步。
  5. 最终,选择剩余的特征作为最终的特征子集。

递归特征消除算法通过反复迭代剔除最不重要的特征,逐步降低特征子集的维度,直到达到预定的目标特征数量。这样做的好处是可以保留对目标变量预测具有重要贡献的特征,同时减少冗余和噪声特征的干扰。

2.2 工作流程

递归特征消除算法的工作流程如下:

  1. 初始化:选择一个合适的学习算法作为基础模型,并设定目标特征数量。
  2. 特征重要性评估:使用基础模型对原始特征进行训练,并计算特征的重要性得分。
  3. 特征排序:根据得分对特征进行排序,选择得分最低的若干个特征作为待剔除的特征。
  4. 特征剔除:从特征集中剔除待剔除的特征,得到新的特征子集。
  5. 判断停止条件:如果特征数量达到预设的目标或者所有特征都被剔除完毕,跳转到步骤7;否则,继续下一步。 回到步骤2:在新的特征子集上重新进行特征重要性评估和特征剔除。
  6. 结束算法:选择剩余的特征作为最终的特征子集。

递归特征消除算法通过不断剔除特征,直至达到预设目标,从而选择出最佳的特征子集。这个过程是基于模型的特征选择方法中的一种重要实现方式,能够有效地提高模型性能和减少特征维度的影响。

三、示例与代码实现

  • 「数据集准备」
library(survival)
head(gbsg)

结果展示:

   pid age meno size grade nodes pgr er hormon rfstime status
1  132  49    0   18     2     2   0  0      0    1838      0
2 1575  55    1   20     3    16   0  0      0     403      1
3 1140  56    1   40     3     3   0  0      0    1603      0
4  769  45    0   25     3     1   0  4      0     177      0
5  130  65    1   30     2     5   0 36      1    1855      0
6 1642  48    0   52     2    11   0  0      0     842      1
  • 「示例数据集介绍」
> str(gbsg)
'data.frame':   686 obs. of  10 variables:
 $ age    : int  49 55 56 45 65 48 48 37 67 45 ...
 $ meno   : int  0 1 1 0 1 0 0 0 1 0 ...
 $ size   : int  18 20 40 25 30 52 21 20 20 30 ...
 $ grade  : int  2 3 3 3 2 2 3 2 2 2 ...
 $ nodes  : int  2 16 3 1 5 11 8 9 1 1 ...
 $ pgr    : int  0 0 0 0 0 0 0 0 0 0 ...
 $ er     : int  0 0 0 4 36 0 0 0 0 0 ...
 $ hormon : int  0 0 0 0 1 0 0 1 1 0 ...
 $ rfstime: int  1838 403 1603 177 1855 842 293 42 564 1093 ...
 $ status : Factor w/ 2 levels "0","1"1 2 1 1 1 2 2 1 2 2 ...

age:患者年龄
meno:更年期状态(0表示未更年期,1表示已更年期)
size:肿瘤大小
grade:肿瘤分级
nodes:受累淋巴结数量
pgr:孕激素受体表达水平
er:雌激素受体表达水平
hormon:激素治疗(0表示否,1表示是)
rfstime:复发或死亡时间(以天为单位)
status:事件状态(0表示被截尾,1表示事件发生)
  • 「数据预处理」
data <- gbsg
# 分割数据集为特征和标签
features <- data[, c("age""meno""size""grade""nodes""pgr""er""hormon")]
labels <- data$status


# 对特征数据进行预处理(例如归一化)
preprocessed_features <- scale(features)

# 划分训练集和测试集
set.seed(123)
train_indices <- sample(x = 1:nrow(data), size = 0.7 * nrow(data), replace = FALSE)
test_indices <- sample(setdiff(1:nrow(data), train_indices), size = 0.3 * nrow(data), replace = FALSE)

train_features <- preprocessed_features[train_indices, ]
train_labels <- labels[train_indices]

test_features <- preprocessed_features[test_indices, ]
test_labels <- labels[test_indices]
  • 「安装和加载必要的R软件包」
install.packages("caret")
library(caret)
  • 「模型拟合」
rfProfile <- rfe(train_features, train_labels,
                 sizes = c(1:8),
                 rfeControl = rfeControl(functions = rfFuncs))
rfProfile
plot(rfProfile, type = c("o""g"))

结果展示:

Recursive feature selection

Outer resampling method: Bootstrapped (25 reps) 

Resampling performance over subset size:

 Variables   RMSE Rsquared    MAE  RMSESD RsquaredSD    MAESD Selected
         1 0.5401  0.02005 0.4742 0.04158    0.02388 0.021952         
         2 0.5168  0.03063 0.4574 0.01733    0.02087 0.015997         
         3 0.5023  0.04217 0.4533 0.01358    0.02116 0.011811         
         4 0.4955  0.04681 0.4531 0.01010    0.01670 0.009401         
         5 0.4870  0.06166 0.4506 0.01024    0.02139 0.008108         
         6 0.4870  0.06795 0.4445 0.01205    0.02557 0.009362         
         7 0.4819  0.07893 0.4426 0.01155    0.02468 0.008790        *
         8 0.4826  0.07541 0.4457 0.01207    0.02717 0.009006         

The top 5 variables (out of 7):
   nodes, pgr, age, er, size

从结果中可以看出,当特征为7个时,RMSE最低,表示模型的预测性能最好,与实际观测值的接近程度最高。从7个特征中选出最优特征的前五个分别是nodes, pgr, age, er, size。

  • 「模型评估」
postResample(predict(rfProfile, test_features), test_labels)

结果展示:

      RMSE   Rsquared        MAE 
0.47191001 0.08849481 0.43901291 

这个结果看起来不行,不过没关系,我们的结果是分类变量,并非是连续变量,而RMSE、Rsquared和MAE都是适用于结果变量是连续变量的评估指标。当结果变量是分类变量时,在临床医学中应该使用适合的评估指标,如分类准确率、灵敏度、特异度等。

四、实验结果与讨论

  • 「特征选择结果分析」: 在递归特征消除算法中,通过不断剔除特征,最终选择出了一个最优的特征子集。对于特征选择结果的分析可以从以下几个方面进行:

  1. 特征重要性排序:根据特征的重要性得分进行排序,可以观察到哪些特征被认为是最重要的。通常情况下,得分较高的特征更加相关,对模型的预测性能有较大的贡献。
  2. 特征剔除情况:观察在不同迭代步骤中特征的剔除情况。某些特征可能在早期的迭代中就被剔除了,而有些特征可能一直保留到最后。这可以帮助我们判断哪些特征可能是冗余或者噪声的。
  3. 特征数目变化:记录每一步剔除特征后剩余的特征数目的变化情况。可以观察到随着特征的剔除,特征数目逐渐减少,达到预设的目标特征数目。
  • 「最优特征对模型性能的影响」: 递归特征消除算法的目标是选择出最佳的特征子集,以提高模型的性能。可以通过比较使用全量特征和最优特征子集在同一模型上的性能来评估选择结果的影响。

  1. 模型性能指标:主要关注模型的预测性能指标,例如准确率、召回率、F1值等。比较使用全量特征和最优特征子集在相同验证集上的性能指标,观察是否有明显的提升。
  2. 模型复杂度:随着特征数目的减少,模型的复杂度也会相应减小。可以观察模型的参数数量或复杂度的变化情况,判断是否存在过拟合或欠拟合的情况。
  3. 训练时间和资源消耗:特征剔除过程中,模型的训练时间和资源消耗可能会减少,因为训练数据的维度减小了。可以比较全量特征和最优特征子集的训练时间和资源消耗情况。

五、改进和注意事项

5.1 改进递归特征消除算法的效率:

  1. 并行化计算:可以通过使用并行计算来加速特征选择过程。将数据集分成多个子集,每个子集上运行一个特征选择过程,并最后合并结果。
  2. 提前停止准则:在特征选择过程中,可以设置一个提前停止准则,当剩余特征数目达到一定阈值时,停止进一步的迭代。这样可以节省计算资源。
  3. 特征采样:在大规模数据集中,可以对原始数据进行采样,然后在采样数据上进行特征选择。这样可以减小特征选择的计算量。

5.2 注意过拟合问题:

  1. 递归特征消除算法有可能选择了不具有统计显著性的特征,导致模型出现过拟合的问题。因此,在应用该算法时,需要采用合适的评估指标和交叉验证方法,以准确评估特征选择结果的泛化能力。
  2. 可以尝试使用正则化技术,如L1正则化(Lasso)或L2正则化(Ridge),在进行特征选择时加入惩罚项,以避免过度依赖某些特征,从而提高模型的泛化性能。
  3. 在特征选择过程中,可以监控模型在训练集和验证集上的性能变化。如果模型在训练集上的性能持续提升,但在验证集上的性能开始下降,可能存在过拟合问题。

六、总结:

「递归特征消除算法具有以下优势」

  1. 自动选择最佳特征子集,减少了数据维度,提高了模型的解释性和泛化性能。
  2. 可以通过特征重要性排序,帮助我们理解数据集的特征结构,揭示潜在的相关关系。
  3. 通过减小特征数目,可以加快训练时间和降低计算资源消耗。

「递归特征消除算法适用于以下场景」

  1. 特征数量较多,需要降维的情况,例如基因表达数据、图像处理等。
  2. 想要简化模型复杂度,并且保留最重要的特征。
  3. 需要理解数据集的特征重要性排序,以及特征与目标变量之间的关系。

「对未来研究的展望」

  1. 改进特征选择算法的效率和准确性,使其适用于大规模、高维度的数据集。
  2. 结合不同的特征选择方法,如过滤法、包装法和嵌入法,以获得更好的特征子集。
  3. 考虑特征之间的交互作用,将特征选择与特征工程相结合,以提高模型的预测性能。
  4. 探索自适应的特征选择算法,根据数据集的特点和模型的需求,自动调整特征选择的策略。
  5. 在不同领域中应用特征选择算法,例如医疗、金融、图像识别等,以解决实际问题。

*「未经许可,不得以任何方式复制或抄袭本篇文章之部分或全部内容。版权所有,侵权必究。」

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/36900.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机竞赛 python opencv 深度学习 指纹识别算法实现

1 前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 &#x1f6a9; python opencv 深度学习 指纹识别算法实现 &#x1f947;学长这里给一个题目综合评分(每项满分5分) 难度系数&#xff1a;3分工作量&#xff1a;4分创新点&#xff1a;4分 该项目较为新颖…

代码质量检查工具SonarQube

Devops流水线之SonarQube 文章目录 Devops流水线之SonarQube1. 软件功能介绍及用途2. 软件环境搭建与使用2.1 使用方法2.2 SonarQube相关属性说明2.3 Sonar配置文件内容说明 3. 使用环节4. 检查方法 1. 软件功能介绍及用途 SonarQube是一个用于代码质量管理的开源平台&#xf…

Python Opencv实践 - 图像放射变换

import cv2 as cv import numpy as np import matplotlib.pyplot as pltimg cv.imread("../SampleImages/pomeranian.png", cv.IMREAD_COLOR) rows,cols img.shape[:2] print(img.shape[:2])#使用getAffineTransform来获得仿射变换的矩阵M #cv.getAffineTransform(…

Java:正则表达式案例:爬数据,重复数据替换,数据分割

使用正则表达式查找一段文本中的内容 需求:请把下面文本中的电话&#xff0c;邮箱&#xff0c;座机号码&#xff0c;热线都爬取出来。 String data "电话:1866668888&#xff0c;18699997777\n" "或者联系邮箱: boniuitcast.cn&#xff0c;\n" "座机…

16 dplsys GAN

和有监督的分类工作不同&#xff0c;生成任务的目标更不明确。难以评价生成结果的好坏。 Oracle discriminator 假设我们有一个先知判别器oracle discriminator可以分辨我们生成的内容是真还是假。 我们想让生产成的结果足够真实&#xff0c;所以要 fool Oracle discriminato…

Android布局【GridLayout】

文章目录 GridLayout概述常见属性子控件属性项目结构主要代码 GridLayout概述 GridLayout也名网格布局,该布局与TableLayout类似&#xff0c;但与其相比&#xff0c;GridLayout会更加的灵活&#xff0c;比如 TableLayout不能将两行进行一个合并&#xff0c;只能将两列进行一个…

【MySQL--->数据类型】

文章目录 [TOC](文章目录) 一、数据类型分类二、整型类型三、bit(位)类型四、float类型五、decimal类型六、char和varchar类型1.char类型2.varchar3.char与varchar的区别 七、日期与时间类型八、enum和set 一、数据类型分类 二、整型类型 数值类型有数据存储上限,而且每个类型都…

4、Rocketmq之存储原理

CommitLog ~ MappedFileQueue ~ MappedFile集合 正常情况下&#xff0c;RocketMQ支持消息体字节数最多为1个G。注意该消息体并不单单是消息体body。如果生产的消息其字节数超过1个G则该消息是无法被落盘处理的。因为没有一个MapperFile文件可以承载该消息所有的字节数。 1.All…

【力扣每日一题】617. 合并二叉树 dfs bfs 8.14打卡

文章目录 题目思路代码 题目 617. 合并二叉树 难度&#xff1a; 简单 描述&#xff1a; 给你两棵二叉树&#xff1a; root1 和 root2 。 想象一下&#xff0c;当你将其中一棵覆盖到另一棵之上时&#xff0c;两棵树上的一些节点将会重叠&#xff08;而另一些不会&#xff0…

阿里云ACP知识点

前言&#xff1a;记录ACP错题 1、在创建阿里云ECS时&#xff0c;每台服务器必须要包含_______用来存储操作系统和核心配置。 系统盘&#xff08;不是实例&#xff0c;实例是一个虚拟的计算环境&#xff0c;由CPU、内存、系统盘和运行的操作系统组成&#xff1b;ESC实例作为云…

【量化课程】08_1.机器学习量化策略基础实战

文章目录 1. 常用机器学习模型1.1 回归模型1.2 分类模型1.2.1 SVC介绍1.2.2 SVC在量化策略中的应用 2. 机器学习量化策略实现的基本步骤3. 策略实现 1. 常用机器学习模型 1.1 回归模型 线性回归多层感知器回归自适应提升树回归随机森林回归 1.2 分类模型 线性分类支持向量机…

Android布局【FrameLayout】

文章目录 常见属性说明项目结构主要代码 常见属性 android:foreground&#xff1a;设置前景android:foregroundGravity&#xff1a;设置前景位置 说明 FrameLayout的其他属性与前面学的差不多&#xff0c;只不过需要特别注意上面两个即可 项目结构 主要代码 activity_main…

计算机视觉中的特征检测和描述

一、说明 这篇文章是关于计算机视觉中特征检测和描述概念的简要理解。在其中&#xff0c;我们探讨了它们的定义、常用技术、简单的 python 实现和一些限制。 二、什么是特征检测和描述&#xff1f; 特征检测和描述是计算机视觉中的基本概念&#xff0c;在图像识别、对象跟踪和图…

Beats:使用 Filebeat 将 golang 应用程序记录到 Elasticsearch - 8.x

毫无疑问&#xff0c;日志记录是任何应用程序最重要的方面之一。 当事情出错时&#xff08;而且确实会出错&#xff09;&#xff0c;我们需要知道发生了什么。 为了实现这一目标&#xff0c;我们可以设置 Filebeat 从我们的 golang 应用程序收集日志&#xff0c;然后将它们发送…

微信小程序备案流程

微信小程序备案流程 &#x1f4d4; 千寻简笔记介绍 千寻简笔记已开源&#xff0c;Gitee与GitHub搜索chihiro-notes&#xff0c;包含笔记源文件.md&#xff0c;以及PDF版本方便阅读&#xff0c;且是用了精美主题&#xff0c;阅读体验更佳&#xff0c;如果文章对你有帮助请帮我…

Android布局【TableLayout】

文章目录 说明常见属性子控件设置属性 项目结构主要代码 说明 TableLayout也称为表格布局 常见属性 android:collapseColumns&#xff1a;设置需要被隐藏的列的序列号&#xff0c;从0开始android:stretchColumns&#xff1a;设置允许被拉伸的列的列序号&#xff0c;从0开始&…

Python中使用隧道爬虫ip提升数据爬取效率

作为专业爬虫程序员&#xff0c;我们经常面临需要爬取大量数据的任务。然而&#xff0c;有些网站可能会对频繁的请求进行限制&#xff0c;这就需要我们使用隧道爬虫ip来绕过这些限制&#xff0c;提高数据爬取效率。本文将分享如何在Python中使用隧道爬虫ip实现API请求与响应的技…

(十八)大数据实战——Hive的metastore元数据服务安装

前言 Hive的metastore服务作用是为Hive CLI或者Hiveserver2提供元数据访问接口。Hive的metastore 是Hive元数据的存储和管理组件&#xff0c;它负责管理 Hive 表、分区、列等元数据信息。元数据是描述数据的数据&#xff0c;它包含了关于表结构、存储位置、数据类型等信息。本…

Android Jetpack Compose 中的分页与缓存展示

Android Jetpack Compose 中的分页与缓存展示 在几乎任何类型的移动项目中&#xff0c;移动开发人员在某个时候都会处理分页数据。如果数据列表太大&#xff0c;无法一次从服务器检索完毕&#xff0c;这就是必需的。因此&#xff0c;我们的后端同事为我们提供了一个端点&#…

ArcGIS Pro应用—暨基础入门、制图、空间分析、影像分析、三维建模、空间统计分析与建模、python融合、案例应用全流程科研能力提升教程

详情点击链接&#xff1a;ArcGIS Pro应用—暨基础入门、制图、空间分析、影像分析、三维建模、空间统计分析与建模、python融合、案例应用全流程科研能力提升教程 第一&#xff1a;GIS及ArcGIS Pro 1.GIS基本原理及常用软件 2.ArcGIS Pro 安装与配置 3.ArcGIS Pro 3.0 的新…