机器学习_特征工程_特征数据的评价标准

本文主要从 单特征分析,多特征筛选,特征监控,外部特征评估的几个方面对特征数据进行阐述。

来源 : 特征筛选_特征覆盖度怎么算_adamyoungjack的博客-CSDN博客

1. 单特征分析

1.1 简介

好特征可以从几个角度衡量:覆盖度,区分度,相关性,稳定性

1.2 覆盖度

1. 应用场景

  • 采集类,授权类,第三方数据在使用前都会分析覆盖度

2. 分类

  • 采集类 :如APP list (Android 手机 90%)
  • 授权类:如爬虫数据(20% 30%覆盖度)GPS (有些产品要求必须授权)

3. 计算

  • 一般会在两个层面上计算覆盖度(覆盖度 = 有数据的用户数/全体用户数)
    • 全体存量客户
    • 全体有信贷标签客户

4. 衍生

  • 覆盖度可以衍生两个指标:缺失率,零值率
    • 缺失率:一般就是指在全体有标签用户上的覆盖度
    • 零值率:很多信贷类数据在数据缺失时会补零,所以需要统计零值率
  • 业务越来越成熟,覆盖度可能会越来愈好,可以通过运营策略提升覆盖度

1.3 区分度

1. 简介

  • 评估一个特征对好坏用户的区分性能的指标

2. 应用场金

  • 可以把单特征当做模型,使用AUC, KS来评估特征区分度
  • 在信贷领域,常用Information Value (IV)来评估单特征的区分度

3. 计算

  • Information Value刻画了一个特征对好坏用户分布的区分程度
    • IV值越大
    • IV值越小

  • IV值最后ln的部分跟WOE是一样的

  • IV计算举例(数据为了方便计算填充,不代表实际业务)

  • IV<0.02 区分度小 建模时不用 (xgboost,lightGMB 对IV值要求不高)
  • IV [0.02,0.5] 区分度大 可以放到模型里
  • (IV> 0.1 考虑是否有未来信息)
  • IV > 0.5 单独取出作为一条规则使用,不参与模型训练

4. 注意

  • 模型中尽可能使用区分度相对较弱的特征,将多个弱特征组合,得到评分卡模型
  • 连续变量的IV值计算,先离散化再求IV,跟分箱结果关联很大(一般分3-5箱)

1.4 相关性

1. 简介
对线性回归模型,有一条基本假设是自变量x1,x2,…,xp之间不存在严格的线性关系

2. 分类
需要对相关系数较大的特征进行筛选,只保留其中对标签区分贡献度最大的特征,即保留IV较大的
皮尔逊相关系数,斯皮尔曼相关系数,肯德尔相关系数

3. 选择

  • 考察两个变量的相关关系,首先得清楚两个变量都是什么类型的
    • 连续型数值变量,无序分类变量、有序分类变量
  • 连续型数值变量,如果数据具有正态性,此时首选Pearson相关系数,如果数据不服从正态分布,此时可选择Spearman和Kendall系数
  • 两个有序分类变量相关关系,可以使用Spearman相关系数
  • 一个分类变量和一个连续数值变量,可以使用kendall相关系数

总结:就适用性来说,kendall > spearman > pearson

4. 计算

import pandas as pd 
df = pd.DataFrame({'A':[5,91,3],'B':[90,15,66],'C':[93,27,3]}) 
df.corr() # 皮尔逊 
df.corr('spearman')#斯皮尔曼 
df.corr('kendall')#肯德尔
  • 可以使用toad库来过滤大量的特征,高缺失率、低iv和高度相关的特征一次性过滤掉
import pandas as pd 
import toad data = pd.read_csv('data/germancredit.csv') 
data.replace({'good':0,'bad':1},inplace=True) 
data.shape
#缺失率大于0.5,IV值小于0.05,相关性大于0.7来进行特征筛选 
selected_data, drop_list= toad.selection.select(data,target = 'creditability', empty = 0.5, iv = 0.05, corr = 0.7, return_drop=True) 
print('保留特征:',selected_data.shape[1],'缺失删除:',len(drop_list['empty']),'低iv删 除:',len(drop_list['iv']),'高相关删除:',len(drop_list['corr']))

1.5 稳定性

1. 简介

  • 主要通过计算不同时间段内同一类用户特征的分布的差异来评估

2. 分类

  • 常用的特征稳定性的度量有Population Stability Index (PSI)
  • 当两个时间段的特征分布差异大,则PSI大
  • 当两个时间段的特征分布差异小,则PSI小

3. PSI和IV对比

  • IV是评估好坏用户分布差异的度量
  • PSI是评估两个时间段特征分布差异的度量
  • 都是评估分布差异的度量,并且公式其实一模一样,只是符号换了而已

2. 多特征筛选

1. 简介
当构建了大量特征时,接下来的调整就是筛选出合适的特征进行模型训练
过多的特征会导致模型训练变慢,学习所需样本增多,计算特征和存储特征成本变高

2. 方法

  • 星座特征
  • Boruta
  • 方差膨胀系数
  • 后向筛选
  • L1惩罚项
  • 业务逻辑

2.1 星座特征

1. 简介

星座是公认没用的特征,区分度低于星座的特征可以认为是无用特征

2. 步骤

  • 把所有特征加上星座特征一起做模型训练
  • 拿到特征的重要度排序
  • 多次训练的重要度排序都低于星座的特征可以剔除

2.2 Boruta

1. 简介

  • Boruta算法是一种特征选择方法,使用特征的重要性来选取特征
    • 网址:https://github.com/scikit-learn-contrib/boruta_py
    • 安装:pip install Boruta

2.原理

  • 创建阴影特征 (shadow feature) : 对每个真实特征R,随机打乱顺序,得到阴影特征矩阵S,拼接到真实特征后面,构成新的特征矩阵N = [R, S].
  • 用新的特征矩阵N作为输入,训练模型,能输出feature_importances_的模型,如RandomForest, lightgbm,xgboost都可以得到真实特征和阴影特征的feature importances,
  • 取阴影特征feature importance的最大值S_max,真实特征中feature importance小于S_max的,被认为是不重要的特征
  • 删除不重要的特征,重复上述过程,直到满足条件

3. 应用

import numpy as np 
import pandas as pd 
import joblib 
from sklearn.ensemble import RandomForestClassifier 
from boruta import BorutaPy 
#加载数据 
pd_data = joblib.load('data/train_woe.pkl') pd_data
#处理数据,去掉id 和 目标值 
pd_x = pd_data.drop(['SK_ID_CURR', 'TARGET'], axis=1) 
x = pd_x.values # 特征 
y = pd_data[['TARGET']].values # 目标 
y = y.ravel() # 将多维数组降位一维
  • 使用Boruta,选择features
# 先定义一个随机森林分类器 
rf = RandomForestClassifier(n_jobs=-1, class_weight='balanced', max_depth=5) 
''' 
BorutaPy function 
estimator : 所使用的分类器 
n_estimators : 分类器数量, 默认值 = 1000 
max_iter : 最大迭代次数, 默认值 = 100 
''' 
feat_selector = BorutaPy(rf, n_estimators='auto', random_state=1, max_iter=10) 
feat_selector.fit(x, y)
  • 展示选择出来的feature
dic_ft_select = dict() 
# feat_selector.support_ # 返回特征是否有用,false可以去掉 
for ft, seleted in zip(pd_x.columns.to_list(), feat_selector.support_): dic_ft_select[ft] = seleted 
pd_ft_select = pd.DataFrame({'feature':pd_x.columns.to_list(), "selected": feat_selector.support_}) 
pd_ft_selec

2.3 方差膨胀系数 (VIF)

1. 简介

  • 方差膨胀系数 Variance inflation factor (VIF)
  • 如果一个特征是其他一组特征的线性组合,则不会在模型中提供额外的信息,可以去掉
  • 评估共线性程度:

2. 计算 

  • VF计算:

  • VIF越大说明拟合越好,该特征和其他特征组合共线性越强,就越没有信息量,可以剔除

3 应用

  • 加载数据
import numpy as np 
import pandas as pd 
import joblib 
from statsmodels.stats.outliers_influence import variance_inflation_factor 
pd_data = joblib.load('./train_woe.pkl') #去掉ID和目标值 
pd_x = pd_data.drop(['SK_ID_CURR', 'TARGET'], axis=1)
  • 计算方差膨胀系数
#定义计算函数 
def checkVIF_new(df): lst_col = df.columns x = np.matrix(df) VIF_list = [variance_inflation_factor(x,i) for i in range(x.shape[1])] VIF = pd.DataFrame({'feature':lst_col,"VIF":VIF_list}) max_VIF = max(VIF_list) print(max_VIF) return VIF 
df_vif = checkVIF_new(pd_x) 
df_vif
  • 选取方差膨胀系数 > 3的features
df_vif[df_vif['VIF'] > 3]

2.4 RFE 递归特征消除 (Recursive Feature Elimination)

1. 简介

  • 使用排除法的方式训练模型,把模型性能下降最少的那个特征去掉,反复上述训练直到达到指定的特征个数

6.2 api

sklearn.feature_selection.RFE

6.3 应用

  • 加载数据
import numpy as np 
import pandas as pd 
import joblib from sklearn.feature_selection 
import RFE from sklearn.svm 
import SVR pd_data = joblib.load('data/final_data.pkl') 
pd_data
  • 特征,目标提取
pd_x = pd_data.drop(['SK_ID_CURR', 'TARGET'], axis=1) 
x = pd_x.values 
y = pd_data[['TARGET']].values 
y = y.ravel()
  • 使用RFE,选择features
#定义分类器 
estimator = SVR(kernel="linear") 
selector = RFE(estimator, 3, step=1) # step 一次去掉几个特征 
selector = selector.fit(x, y) 
#展示选择参数 
dic_ft_select = dict() 
for ft, seleted in zip(pd_x.columns.to_list(), selector.support_): dic_ft_select[ft] = seleted 
pd_ft_select = pd.DataFrame({'feature':pd_x.columns.to_list(), "selected": selector.support_}) 
pd_ft_select

2.5 基于L1的特征选择 (L1-based feature selection)

1. 简介

  • 使用L1范数作为惩罚项的线性模型(Linear models)会得到稀疏解:大部分特征对应的系数为0
  • 希望减少特征维度用于其它分类器时,可以通过 feature_selection.SelectFromModel 来选择不为0的系数
    • 特别指出,常用于此目的的稀疏预测模型有 linear_model.Lasso(回归), linear_model.LogisticRegression 和 svm.LinearSVC(分类)
       

7.3 应用

from sklearn.svm import LinearSVC 
from sklearn.datasets import load_iris 
from sklearn.feature_selection import SelectFromModel 
iris = load_iris() X, y = iris.data, iris.target 
X.shape
lsvc = LinearSVC(C=0.01, penalty="l1", dual=False).fit(X, y) 
model = SelectFromModel(lsvc, prefit=True) 
X_new = model.transform(X) 
X_new.shape

3. 内部特征的监控

3.1 前端监控(授信之前)

  • 特征稳定性
    • 大多数情况下,随着业务越来越稳定,缺失率应该呈现逐渐降低的趋势
    • 如下表所示,Week3缺失率突然增加到28%,大概率是数据采集或传输过程出问题了
    • PSI,特征维度的PSI如果>0.1可以观察一段时间

3.2 后端监控(放款之后)

  • 特征区分度
    • AUC/KS 波动在10%以内
    • KS 如果是线上A卡 0.2是合格的水平
    • IV值的波动稍大可以容忍,和分箱相关,每周数据分布情况可能不同,对IV影响大一些

分箱样本比例:

分箱风险区分:要重视每个特征的风险趋势单调性

  • 每一箱 的bad_rate有波动,容忍度相对高一些
  • 高度重视不同箱之间风险趋势发生变化,如分箱1,分箱2,在week2和week3 风险趋势发生了变化
  • 如果风险趋势单调性发生变化,要考虑特征是不是要进行迭代

 

4. 外部特征评估

4.1 数据评估标准

  • 覆盖度、区分度、稳定性

4.2 使用外部数据注意事项

1. 避免未来信息

  • 使用外部数据的时候,可能出现训练模型的时候效果好,上线之后效果差
    • 取最近一个时间周期的数据
    • 之前3~4个月或者更长时间的数据做验证,看效果是不是越来越差

2. 外部数据覆盖度计算

  • 交集用户数 / 内部用户数
  • 外部数据选择
    • 如果外部数据免费,那么全部调用,但付费的三方数据要在有必要的时候在调用
    • 在计算外部数据覆盖度前,首先应该明确什么客群适合这个第三方数据
    • 内部缺少数据且这个第三方数据能提升区分度,那这个第三方数据才有用
  • 覆盖度 = 交集用户数 / 内部目标客群

3. 避免内部数据泄露

  • 如果需要把数据交给外部公司,让对方匹配一定要将内部信息做Hash处理再给对方匹配

  • 匹配上的是共有的数据,匹配不上的外部无法得知其身份

 4. 避免三方公司对结果美化

  • 内部自己调用接口测覆盖度直接调用即可
  • 如果是把样本交给外部公司让对方匹配,一定要加假样本
    • 这样他们只能匹配出结果,但无法得知真实的覆盖度
    • 只有内部公司能区分出真假样本,从而计算出真实覆盖度
    • 如果覆盖度高于真实样本比例,说明结果作假

5. 评分型外部数据

  • 区分度和稳定性的分析方法同单特征的分析一样
  • 区分度:AUC, KS, IV, 风险趋势
  • 稳定性: PSI

6. 模型效果

  • 内部特征训练的模型效果 vs 内部特征+外部特征训练的模型效果
    • AUC有 2~3个点的提升就很好了

7. 黑名单型外部数据

  • 使用混淆矩阵评估区分度

  • Precision: 外部命中的尽可能多的是内部的坏客户
  • Recall: 内部的坏客户尽可能多的命中外部名单

8. 回溯性

  • 外部数据是否具有可回溯性无法得知,所以尽可能取最近的样本去测
    早期接入数据后要密切关注线上真实的区分度表现

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/69747.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

springmvc5.x-mvc实现原理及源码实现

上文&#xff1a;spring5.x-声明式事务原理及源码实现 系列文章&#xff1a; spring5.x-声明式事务原理及源码实现 spring5.x-AOP实现原理及源码分析 spring5.x-监听器原理及源码实现 spring5.x-解决循环依赖分析 spring5.x-IOC模块源码学习 spring5.x介绍及搭配spring源码阅读…

python实现语音识别

1. 首先安装依赖库 pip install playsound # 该库用于播放音频文件 pip install speech_recognition # 该库用于语音识别 pip install PocketSphinx # 语音识别模块中只有sphinx支持离线的&#xff0c;使用该模块需单独安装 pip install pyttsx3 # 该库用于将文本转换为语音播…

app自动化测试(Android)

Capability 是一组键值对的集合&#xff08;比如&#xff1a;"platformName": "Android"&#xff09;。Capability 主要用于通知 Appium 服务端建立 Session 需要的信息。客户端使用特定语言生成 Capabilities&#xff0c;最终会以 JSON 对象的形式发送给 …

【C语言】入门——指针

目录 ​编辑 1.指针是什么 2.指针类型和指针运算 2.1指针-整数 2.2指针-指针 2.3指针的关系运算 3.野指针 3.1野指针成因 &#x1f44d;指针未初始化&#xff1a; &#x1f44d;指针越界访问&#xff1a; &#x1f44d;指针指向空间释放&#xff1a; 3.2如何规避野指针 …

以antd为例 React+Typescript 引入第三方UI库

本文 我们来说说 第三方UI库 其实应用市场上的 第三方UI库都是非常优秀的 那么 react 我们比较熟的肯定还是 antd 我们还是来用它作为演示 这边 我们先访问他的官网 https://3x.ant.design/index-cn 点击开始使用 在左侧 有一个 在 TypeScript 中使用 通过图标我们也可以看出…

【Linux从入门到精通】通信 | 管道通信(匿名管道 命名管道)

本派你文章主要是对进程通信进行详解。主要内容是介绍 为什么通信、怎么进行通信。其中本篇文章主要讲解的是管道通信。希望本篇文章会对你有所帮助。 文章目录 一、进程通信简单介绍 1、1 什么是进程通信 1、2 为什么要进行通信 1、3 进程通信的方式 二、匿名管道 2、1 什么是…

【OpenCV入门】第七部分——图像的几何变换

文章结构 缩放dsize参数实现缩放fx参数和fy参数实现缩放 翻转仿射变换平移旋转倾斜 透视cmath模块 缩放 通过resize()方法可以随意更改图像的大小比例&#xff1a; dst cv2.resize(src, dsize, fx, fy, interpolation)src&#xff1a; 原始图像dsize&#xff1a; 输出图像的…

华为云云服务器评测|云耀云服务器L实例快速部署MySQL使用指南

文章目录 前言云耀云服务器L实例介绍什么是云耀云服务器L实例&#xff1f;产品优势智能不卡顿价优随心用上手更简单管理更省心 快速购买查看优惠卷购买 安装MySQL重置密码安装更新apt的软件源列表安装MySQL 设置用户名、密码、权限配置安全组 总结 前言 哈喽大家好&#xff0c…

设置Linux CentOS7桥接模式连网

在虚拟机上安装centos7系统后&#xff0c;首要任务就是设置网络。 我们在文章《设置linux centos7连接网络》中讨论了如何设置NAT模式连网。本文讨论如何在设置好NAT模式后&#xff0c;调换为桥接模式。 仍采用图形化方式设置方法。 一、查看物理机网络 把虚拟机设置为桥接…

Doris workload group实战

1.创建测试用户&#xff1a;创建一个用户名为test&#xff0c;密码为test 的用户&#xff1a; create user test% IDENTIFIED BY test;给测试用户赋权&#xff1a;给用户test赋予数据库test.* 权限 grant SELECT_PRIV,LOAD_PRIV,CREATE_PRIV,ALTER_PRIV ON test.* TO test;开…

信息系统概述-生命周期-开发方法

信息系统概述-生命周期 考点分析信息系统概述信息系统分类企业目前所使用的具体的信息化系统信息系统的生命周期&#xff08;重要&#xff09;信息系统的开发方法&#xff08;重要&#xff09; 考点分析 每年都会考3分&#xff0c;2分会超纲 信息系统概述 信息系统分类 业务处理…

时间序列分析:掌握平稳性的概念

摄影&#xff1a;Chris Lawton on Unsplash 一、说明 平稳性是时间序列问题中的一个关键概念。它是指统计属性&#xff08;如均值、方差和协方差&#xff09;随时间变化的稳定性。为了建立有效的预测模型并确定时间序列数据中有意义的模式&#xff0c;了解平稳性的概念以及它与…

Spring MVC 之MVC 体系结构、什么是SpringMVC

Spring MVC简介 MVC 体系结构三层架构MVC设计模式 Spring MVC 是什么&#xff1f;扩展知识Spring模块Data Access/Integration&#xff08;数据访问/集成&#xff09;Web&#xff08;网络层&#xff09;AOP&#xff08;面向切面&#xff09;Messaging&#xff08;消息传送&…

文字验证码:简单有效的账号安全守卫!

前言 文字验证码不仅是一种简单易懂的验证方式&#xff0c;同时也是保护您的账号安全的重要工具。通过输入正确的文字组合&#xff0c;您可以有效地确认自己的身份&#xff0c;确保只有真正的用户才能访问您的账号。 HTML代码 <script src"https://cdn6.kgcaptcha.…

java八股文面试[数据库]——Page页的结构

mysql中数据是存储在物理磁盘上的&#xff0c;而真正的数据处理又是在内存中执行的。由于磁盘的读写速度非常慢&#xff0c;如果每次操作都对磁盘进行频繁读写的话&#xff0c;那么性能一定非常差。为了上述问题&#xff0c;InnoDB将数据划分为若干页&#xff0c;以页作为磁盘与…

算法通关村第十九关——最小路径和

LeetCode64. 给定一个包含非负整数的 m n 网格 grid,请找出一条从左上角到右下角的路径&#xff0c;使得路径上的数字总和为最小。 输入&#xff1a;grid[[1,3,1],[1,5,1],[4,2,1]] 输出&#xff1a;7 解释&#xff1a;因为路径1→3→1→1→1的总和最小。 public int minPath…

Qt鼠标点击事件处理:按Escape键退出程序

创建项目 Qt 入门实战教程&#xff08;目录&#xff09; 首先&#xff0c;创建一个名称为QtKeyEscape的Qt默认的窗口程序。 参考 &#xff1a;Qt Creator 创建 Qt 默认窗口程序 Qt响应键盘Escape事件 打开Qt Creator >>编辑 >> 项目 >> Headers>> …

【iVX】iVX的低代码未来发展趋势:加速应用开发的创新之路

简介&#xff1a; 随着数字化转型的飞速发展&#xff0c;企业和组织对快速开发和交付高质量应用的需求越来越迫切。低代码开发平台作为一种创新的解决方案&#xff0c;极大地简化了应用程序的开发过程。在这一领域&#xff0c;iVX低代码平台作为领先的创业公司&#xff0c;正在…

Python小知识 - Python爬虫进阶:如何克服反爬虫技术

Python爬虫进阶&#xff1a;如何克服反爬虫技术 爬虫是一种按照一定的规则&#xff0c;自动抓取网页信息的程序。爬虫也叫网页蜘蛛、蚂蚁、小水滴&#xff0c;是一种基于特定算法的自动化程序&#xff0c;能够按照一定的规则自动的抓取网页中的信息。爬虫程序的主要作用就是从一…

记录 使用 git 克隆仓库报错:Warning: Permanently added‘github.com’ to the .....(ssh )

解决方法&#xff1a; 1. 新建空文件夹->右键->点击 Git Bash Here2. 输入 cd C&#xff1a;3. 输入 cat ~/.ssh/id_rsa.pub4. 输入 ssh-keygen重复回车&#xff0c;生成一个矩形&#xff0c;则说明公钥已经生成了。重复步骤3&#xff0c;生成publickey&#xff0c;右键…