机器学习补充

一、数据抽样

数据预处理阶段：对数据集进行抽样可以帮助减少数据量，加快模型训练的速度/减少计算资源的消耗，特别是当数据集非常庞大时，比如设置sample_rate=0.8.
平衡数据集：通过抽样平衡正负样本，提升模型性能。
模型验证阶段：可以通过对数据集进行抽样来生成训练集和验证集，用于评估模型的泛化能力。
快速原型开发：在快速原型开发阶段，可以对数据集进行抽样，以便更快地构建和验证模型的基本功能。
改善数据分布状态？

阶段所在：

数据探索阶段：在数据探索阶段，可以对数据集进行初步的抽样，以了解数据的基本特征、分布情况和缺失情况，帮助确定后续数据处理的方向。
数据预处理阶段：在数据预处理阶段，对数据集进行抽样可以帮助简化数据、处理缺失值、处理异常值、进行特征工程等，为模型训练做准备。
模型训练阶段：在模型训练阶段，数据抽样可以用于生成训练集、验证集和测试集，以及处理类别不平衡等问题，有助于提高模型的性能和泛化能力。
模型验证阶段：在模型验证阶段，可以通过数据抽样生成不同的训练集和验证集，用于评估模型的性能，调参和改进模型。

二、评估指标

1. 特征重要性（Feature Importance）

决策树和基于树的模型

Gini重要性（基尼重要性）：
在决策树、随机森林和梯度提升树（如XGBoost、LightGBM）中，特征的重要性可以通过特征在树的分裂中所贡献的Gini指数减少量来衡量。
每个特征的重要性是其在所有树中所贡献的Gini指数减少量的平均值。
信息增益：
类似于Gini重要性，信息增益衡量的是一个特征在树的分裂中所贡献的信息熵减少量。

2、回归系数

Ex:回归和逻辑回归

3、递归特征消除（Recursive Feature Elimination, RFE）

RFE是一种特征选择方法，通过递归地训练模型并消除最不重要的特征，直到剩下所需数量的特征。

4. 基于模型的特征选择（Model-based Feature Selection）

使用模型的特征选择方法（如Lasso、Ridge回归等），这些方法通过正则化来选择重要特征。

5. 互信息（Mutual Information）

互信息衡量的是两个变量之间的依赖关系。特征和目标变量之间的互信息越大，说明该特征对目标变量的区分能力越强。

6. P值（p-value）

在统计学中，P值用于检验特征变量与目标变量之间的相关性。较低的P值表示该特征对目标变量有显著影响。

7. 信息增益比（Information Gain Ratio）

信息增益比是信息增益的改进版本，考虑了特征的固有值。它在决策树算法（如C4.5）中常用。

8. F值（ANOVA F-value）

F值用于分析方差（ANOVA），衡量特征与目标变量之间的线性关系。较高的F值表示特征对目标变量有显著影响。

9. Permutation Importance（置换重要性）

通过随机打乱特征值并观察模型性能的变化来评估特征重要性。特征值被打乱后模型性能下降越多，说明该特征越重要。

三、分箱的目的和优势

数据简化：

分箱可以将连续变量转换为分类变量，从而简化数据的处理和分析。例如，将年龄从一个连续变量分成几个年龄段（如"0-18岁"、“19-35岁”、“36-50岁”、“50岁以上”）。

处理噪声：

通过分箱，可以减少数据中的噪声。特别是对于有很多离散值的变量，分箱可以平滑数据，减少极端值对分析的影响。

特征工程：

分箱是特征工程中的常用方法，尤其是在信用评分和风险管理中。分箱后的变量可以用于计算WOE和IV，从而帮助选择和转换特征。

提高模型稳定性：

分箱可以提高模型的稳定性，特别是在处理小样本数据时。通过将数据分箱，可以减少过拟合的风险。

分箱的方法

等宽分箱（Equal-width Binning）：

将数据按等宽度划分为若干个区间。例如，如果数据范围是0到100，分成5个等宽区间，每个区间的宽度是20。

等频分箱（Equal-frequency Binning）：

将数据按等频率划分为若干个区间，每个区间包含相同数量的数据点。例如，如果有100个数据点，分成5个等频区间，每个区间包含20个数据点。

自定义分箱（Custom Binning）：

根据业务需求或数据分布，自定义分箱的边界。例如，信用评分中可能根据违约率的变化来定义分箱边界。

四、KS值（Kolmogorov-Smirnov 统计量）

是评估分类模型性能的一个重要指标，特别是在信用评分和金融风险管理领域。它衡量了模型区分正类和负类样本的能力。具体来说，KS值表示正类样本的累积分布函数（CDF）与负类样本的累积分布函数之间的最大差异。

KS曲线是两条线，其横轴是阈值，纵轴是TPR与FPR。两条曲线之间之间相距最远的地方对应的阈值，就是最能划分模型的阈值。

KS值是MAX(TPR - FPR），即两曲线相距最远的距离。

KS值的计算步骤

预测概率排序：

按照模型输出的预测概率对样本进行排序。

计算累积分布函数（CDF）：

计算正类样本（如违约客户）的累积分布函数。
计算负类样本（如非违约客户）的累积分布函数。

计算最大差异：

计算正类样本和负类样本的累积分布函数之间的最大差异，这个差异即为KS值。

KS值的解释

KS值越大，模型区分正类和负类样本的能力越强。
KS值越小，模型区分正类和负类样本的能力越弱。
一般来说，KS值在0.4到0.7之间表示模型性能较好；0.7以上表示模型性能非常好；低于0.3表示模型性能较差。

四、WOE编码

在信用评分和风控模型中，WOE编码是一种常用的特征工程方法，它将原始特征转换为一个新的特征，以增强模型的解释性和预测性能。对各个特征进行 WOE 编码的主要目的是将原始特征转换为一个反映特征与目标变量（如违约与否）之间关系的数值。

WOE 编码的步骤

分箱（Binning）：

首先，将连续变量或分类变量分成若干个区间（bins）。分箱可以是等频分箱、等宽分箱或基于业务逻辑的分箱。
例如，将年龄分成 [18-25], [26-35], [36-45], [46-55], [56+] 这样的区间。

计算每个分箱的好坏比率：

对于每个分箱，计算该分箱中好客户（未违约）和坏客户（违约）的比例。
例如，某个分箱中有 100 个客户，其中 80 个是好客户，20 个是坏客户，那么好客户的比例是 80%，坏客户的比例是 20%。

计算 WOE 值：

对于每个分箱，计算其 WOE 值。WOE 的公式如下：
[
WOE = \ln \left( \frac{\text{好客户比例}}{\text{坏客户比例}} \right)
]
如果某个分箱的好客户比例为 80%，坏客户比例为 20%，则其 WOE 值为：
[
WOE = \ln \left( \frac{0.8}{0.2} \right) = \ln (4) \approx 1.386
]

将原始特征替换为 WOE 编码：