【机器学习】feature_importances_ 参数源码解析

在用sklearn的时候经常用到feature_importances_ 来做特征筛选,那这个属性到底是啥呢。

分析源码发现来源于每个base_estimator的决策树的
feature_importances_


 

由此发现计算逻辑来源于cython文件,这个文件可以在其github上查看源代码
在这里插入图片描述
而在DecisionTreeRegressor和DecisionTreeClassifier的对feature_importances_定义中


在这里插入图片描述

到此决策树的feature_importances_就很清楚了:impurity就是gini值,weighted_n_node_samples 就是各个节点的加权样本数,最后除以根节点nodes[0].weighted_n_node_samples的总样本数
下面以一个简单的例子来验证下:
在这里插入图片描述
在这里插入图片描述
上面是决策树跑出来的结果,来看petal width (cm)就是根节点,

featureimportance=(112∗0.6647−75∗0.4956−37∗0)/112=0.5564007189feature_importance=(112*0.6647-75*0.4956-37*0)/112=0.5564007189featurei​mportance=(112∗0.6647−75∗0.4956−37∗0)/112=0.5564007189,
petal length (cm)的
featureimportance=(75∗0.4956−39∗0.05−36∗0.1528)/112=0.4435992811feature_importance=(75*0.4956-39*0.05-36*0.1528)/112=0.4435992811featurei​mportance=(75∗0.4956−39∗0.05−36∗0.1528)/112=0.4435992811
忽略图上gini计算的小数位数,计算结果相同。

 

#待更新

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/456088.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【机器学习】 关联规则Apriori和mlxtend——推荐算法

引入: 啤酒与尿布的故事 关联规律挖掘:从交易数据中发现:买了X 还会买Y 的规则 关联规律挖掘‘购物篮分析’Market Basket Analysis(MBA) 关联规律->应用于推荐系统 1. 关联规则代码演示 使用的是mlxtend.frequent…

python中的内部函数和闭包函数

内部函数 在函数内部声明的函数就是内部函数。 格式: def 函数名():局部变量...def 内部函数名():Python功能代码...示例: def funName():name dragon#定义一个内部函数def inner():print(我是内部函数)‘’‘注释: 1.内部函数的本质就是局…

【机器学习】K-Means(非监督学习)学习及实例使用其将图片压缩

非监督学习之k-means K-means通常被称为劳埃德算法,这在数据聚类中是最经典的,也是相对容易理解的模型。算法执行的过程分为4个阶段。 1、从数据中选择k个对象作为初始聚类中心; 2、计算每个聚类对象到聚类中心的距离来划分; 3、再次计算…

CloudCC CRM:物联网必将成为CRM的推动力

CRM热门话题背后的主要推动力包括云、社交、移动和大数据,CloudCC CRM认为物联网必将成为CRM的推动力,也就是传感器将事物连接到互联网,创建之前我们从未想到的新型服务。 社交:在销售、市场和客户服务部门,营销人员正…

【tensorflow】tensorflow -gpu安装及jupyter环境更改

tensorflow -gpu安装 首先,安装Anoconda 1. 官网下载点我:2.安装 点击 python 3.6 version自动下载x64版,下载好之后,然后安装。 如图,打上勾之后,一路next3.打开终端 1)输入conda –-version …

【机器学习】朴素贝叶斯介绍及实例--对短信进行二分类 使用多项式分布

贝叶斯 首先什么是贝叶斯? 一个例子,现分别有 A、B 两个容器,在容器 A 里分别有 7 个红球和 3 个白球,在容器 B 里有 1 个红球和 9 个白球,现已知从这两个容器里任意抽出了一个球,且是红球,问这…

Gartner分享物联网和智慧城市最新数据

主题为“移我所想 Mobile is me”的2016世界移动大会上海展正在上海如火如荼的举行,Gartner也在第一时间分享了最新的市场数据,包括企业级用户最为关注的物联网和智慧城市的调查预测报告,下面就一起来看看吧! 智慧城市与物联网 物…

作业帮电脑版在线使用_作业帮:创新科技驱动在线教育新模式

10月15日,在线教育领军企业作业帮在中国校长大会在线教育论坛上,独家发布《学习的真相:全国K12学情大数据及学习洞察》,宣布已推出作业帮直播课“名师大招”课程体系,集中展示多款面向K12人群的教育黑科技和硬件产品。…

【机器学习】DBSCAN聚类算法—优于Kmean—(理论+图解+python代码)

一、前言 二、DBSCAN聚类算法 三、参数选择 四、DBSCAN算法迭代可视化展示 五、常用的评估方法:轮廓系数 六、用Python实现DBSCAN聚类算法 一、前言 去年学聚类算法的R语言的时候,有层次聚类、系统聚类、K-means聚类、K中心聚类,最后呢…

卡巴斯基:风险无国界 网络安全从业者要与小网民保持一致

“互联网没有国界,每个国家碰到的问题基本上是类似的。对于网络犯罪这件事,并不针对哪个国家,任何有弱点、有机会的地方,黑客都会去。”卡巴斯基公司CEO尤金卡巴斯基在接受未来网(微信公众号lovek618)记者采…

windows无法访问指定设备路径或文件_完全免费的文件数据恢复工具:Microsoft Windows File Recovery...

意外删除文件的经历是大多数人都遇到过,但是幸运的是有一种“后悔药”可以吃,因为我们可以使用一些【数据恢复软件】以找回一些已删除的文件。市面上有很多这类型的软件,例如EasyRecovery、DiskGenius、Recuva 等软件。但是,功能强…

【机器学习】XGBoost集成算法——(理论+图解+python代码比较其他算法使用天池蒸汽数据)

一、集成算法思想 二、XGBoost基本思想 三、用python实现XGBoost算法 在竞赛题中经常会用到XGBoost算法,用这个算法通常会使我们模型的准确率有一个较大的提升。既然它效果这么好,那么它从头到尾做了一件什么事呢?以及它是怎么样去做的呢&a…

1万条数据大概占多大空间_国漫丨2019年上半年漫画数据报告

文 │ 骨朵国漫一、各漫画平台总体趋势1、快看漫画快看漫画平台2019年Q2各月评论数较Q1有较明显的下滑,月评论数都在400万条左右;收藏数方面,2019年2月达到了半年内最高值,为2660.1万条。2、看漫画、知音漫客等平台(小明太极旗下)…

【机器学习】 LightGBM——优于XGBoost提升的集成算法(安装+对比XGBoost改进+参数说明+python代码实例)

中文官方文档:http://lightgbm.apachecn.org/cn/latest/Installation-Guide.html 英文官方文档:https://lightgbm.readthedocs.io/en/latest/ 一、lightGBM安装 在anaconda中输入:pip install lightGBM即可 输入import lightgbm as lgb做测…

轻量级代码生成器-OnlyCoder 第一篇

程序猿利器:代码生成器,使用代码生成器已经好几年了,增删改查各种生成,从UI到DATA层均生成过。之前有使用过动软的,T4模板等.... T4生成实体还是没有问题的,但是生成MVC视图就有点烦杂了,动软给…

从Java到Go面向对象--继承思想.md

2019独角兽企业重金招聘Python工程师标准>>> Go语言实现继承 我们都知道Java中通过extends来实现对象的继承,那么Go中怎么实现继承呢?Go语言没有继承,只有组合。我们知道,继承的目的是什么,是类的重用&…

电脑键盘练习_电脑新手最关心的:零基础如何快速掌握电脑打字的技巧?

随着计算机的普及,越来越多的人在工作和生活中需要使用计算机。有的朋友通过参与培训学会了键盘打字,有的朋友自学成才学会了键盘打字。这里笔者给大家分享在0基础的情况下,通过自学快速掌握键盘打字的一种方法。需要说明的是,键盘…

【解决】jupyter在deepin安装上的坑

报错:env: "wine": 没有那个文件或目录 jupyter打开之后无法直接跳转浏览器 解决方法: 1、 生成配置文件jupyter notebook --generate-config 2、打开jupyter_notebook_config.py,在文件最后添加以下代码 选择你的浏览器位置 …

【深度学习】Win10安装TensorFlow_gpu(避坑必看)

不用gpu的tensorflow 是没有灵魂的Tensorflow 因为就是为了快!快二十倍 FIRST Q:系统及显卡版本问题!!!! 到官网看!别看别的博客 ~链接: Windows端:https://tensorflow.google.cn/install/source_wind…

SCL定时 1500_iPhone12开售当天黄牛加价1500,哪里买最划算?

10月23日,苹果iPhone12全系列正式开售。首批货源非常抢手,各地的苹果商店门口都排起了长队,现场黄牛甚至加价1500元收购用户手机。开卖首日热度高,官方最快一周发货据苹果官网介绍,此次iPhone12系列共有4款机型&#x…