lightgbm 数据不平衡_不平衡数据下的机器学习（下）

本文从不平衡学习的基础概念和问题定义出发，介绍了几类常见的不平衡学习算法和部分研究成果。总体来说，不平衡学习是一个很广阔的研究领域，但受笔者能力和篇幅的限制，本文仅对其中部分内容做了简单概述，有兴趣深入学习或研究的读者可以参阅下文所列参考文献或其他相关资料。来自: 哈工大讯飞联合实验室

3.5 不平衡学习算法的实际应用效果对比

上面4小节已经给出了很多针对数据不平衡问题的处理算法，下面将对这些算法的实际应用效果进行对比，本节的所有数据与图表都来自于Buda, M.等人于2017年发表在Arxiv上的文章《A systematic study of the class imbalance problem in convolutional neural networks》。

图 3.10 数据不平衡的形式。(a)和(b)为阶梯性不平衡，(c)为线性不平衡。

在这篇文章中，作者定义了2种数据不平衡的形式：阶梯性不平衡和线性不平衡，两种形式见图 3.10。评价指标为ROC AUC，实验了四种不平衡学习算法：

1)随机过采样

2)随机降采样

3)使用随机过采样方法预训练CNN模型，然后再使用原始数据集对模型最后一层做微调

4)使用随机降采样方法预训练CNN模型，然后再使用原始数据集对模型最后一层做微调

作者在MNIST、CIFAR-10和ImageNet这3个数据集上分别进行了实验，实验配置均在下表中列出：

3.5.1 在阶梯性不平衡数据上的实验结果

图 3.11 在阶梯状不平衡数据上，随不平衡比例变化的各个算法的表现。(a)(b)(c)为在MNIST上的结果，(d)(e)(f)为在CIFAR-10上的结果

从图 3.11中可以看到：相比于简单任务(MNIST)，数据不平衡对CNN在复杂任务(CIFAR-10)上的表现影响更大;随机过采样方法在几乎所有情况下都要优于其他方法。

图 3.12在阶梯状不平衡数据上，随少数类数量变化的各个算法的表现。(a)(b)(c)为在MNIST上的结果，(d)(e)(f)为在CIFAR-10上的结果

从图 3.12中也可以看出：使用随机过采样之后效果几乎始终优于原始的不使用任何不平衡学习算法的效果;预训练方法的效果始终介于非预训练方法和原始方法之间。

3.5.2 在线性不平衡数据上的实验结果

图 3.13 线性不平衡数据上的实验效果

从图 3.13可以看出：随机过采样对于实验效果始终有促进能力;随机降采样的效果则会随着不均衡比例的提升而逐渐下降。

上表给出了作者在ImageNet上的实验效果，可以看到，随机过采样方法还是始终优于随机降采样方法，但要差于不使用任何不平衡学习算法的Baseline方法。因为，我们在将采样方法应用于复杂任务时，需要格外小心。

3.5.4 过采样/降采样比例对实验结果的影响

图 3.14 过采样/降采样比例对实验结果的影响

从图 3.14可以看到：随机过采样方法会在过采样到各类别完全均衡的情况下取得较好效果;随机降采样方法所需的较佳降采样比例则随着数据变化而变化。

3.5.5 对采样方法泛化能力的研究

图 3.15 在CIFAR-10 阶梯性不平衡数据集上的实验结果

图 3.15比较了不使用任何不平衡学习算法、随机过采样和随机降采样的泛化能力。从图中可以看出，对于该任务中使用的CNN模型，随机过采样方法可以在测试集上取得最优的分类准确率，并且不会导致更严重的过拟合。

4、不平衡学习的成果

上一节给出了不平衡学习算法的分类、几个经典算法的介绍和性能比较。本节将关注不平衡学习的研究进展，着重介绍两篇论文：

1)Lin, H.等人2018年发表在ACL上的《Adaptive Scaling for Sparse Detection in Information Extraction》

2)Huang, C.等人2016年发表在CVPR上的《Learning Deep Representation for Imbalanced Classification》

4.1 《Adaptive Scaling for Sparse Detection in Information Extraction》

4.1.1 引言

检测任务是信息抽取领域非常常见的任务，典型的任务如命名实体识别、关系抽取和事件检测等。在做检测任务时，我们可以把待检测的标签作为正例，其他标签作为反例，从而将检测任务转换为标准的分类任务。在这种分类任务中，一般使用交叉熵作为损失函数，正例的F值作为评价指标。由于正例(待检测的标签)往往非常稀疏，因此这是一个数据不平衡的分类任务。

可以看到，在计算F值时，正例和反例并非是等价的，这导致评估指标和优化目标出现了背离。因此在设计模型训练方法时，需要考虑到这种差异，尽量保证训练目标与评估指标的一致性。

一种做法是使用cost-sensitive的方法，对不同类别样本设置不同的损失权重，但在权重的设置上，过去的研究一般是手动设置或者是在大规模数据集上多次实验搜索得到，这些方法费时费力而且可迁移性较差。论文针对这一问题，提出一种自适应调整权重的算法，称为Adaptive Scaling。

4.1.2 Adaptive Scaling

Adaptive Scaling算法借鉴了经济学中的边际效用理论：指每新增(或减少)一个单位的商品或服务，它对商品或服务的收益增加(或减少)的效用。在分类任务中，将边际效用理论中的“商品或服务”替换为分类样本，收益即为评估指标(F值)，此时的边际效用定义为：每新增(或减少)一个分类正确(错误)的样本，它对评估指标F值增加(或减少)的效用。由此，可以使用每个类别对F值的边际效用作为其重要程度的衡量。

实际计算时，可以将评估指标对TP和TN的偏导值作为正例和反例的边际效用值。如果是把Accuracy作为目标，计算正例和反例的边际效用可以得到：

可以看到，当把Accuracy作为目标时，正例和反例的边际效用始终是恒定而且相等的，如果是将F值作为目标，可以得到：

这样就得到了能够自动在训练过程中调整样本权重的Adaptive Scaling算法，而且该算法不需要引入任何额外的超参数。相比于传统的cost-sensitive方法，其特点在于：

1)正例和反例的相对重要程度既与正反例的比例有关，也会受到当前模型的分类能力影响

2)反例的重要性会随着正例分类准确率的提升而增加

3)反例的重要性也会随着反例分类准确率的提升而增加

4)当precision比recall更重要时，反例的重要性也会增加

4.1.3 Batch-wise Adaptive Scaling

在训练神经网络时，最常用的是batch-wise的方法，如果用TP和TN在当前batch下的预测值作为近似，我们就得到了Batch-wise Adaptive Scaling算法。

具体来说，当前batch下，TP和TN的近似值按照下式计算：

再忽略掉PE对结果的影响(比较微弱)，得到：

由此，在每个batch训练时，首先可以根据前向预测结果估计得到正例和反例的相对权重，然后计算cost-sensitive的交叉熵损失，最后反向传播更新模型参数。

可以将Batch-wise Adaptive Scaling视为一个插件，运行在前向预测和反向传播之间，不会影响到前后流程的正常运行。

4.1.4 实验验证

图 4.1 实验效果验证

论文在事件检测任务上进行了验证实验。测试数据为TAC KBP 2017 Event Nugget Detection Evaluation(LDC2017E55)官方提供的验证集，包含167篇英文文档和167篇中文文档。

图 4.1给出了多种算法的效果比较，可以看到，Adaptive Scaling(A-Scaling)算法几乎在各项指标上都达到了State-of-the-Art的效果。

图 4.2 稳定性分析

图 4.2给出了多次实验下，不同算法结果的稳定性比较，同样可以看到，Adaptive Scaling算法在稳定性上也要好于传统的采样方法或者代价敏感型方法，尤其是在数据不平衡程度更高的中文数据集上，Adaptive Scaling表现明显更加稳定。

4.2 《Learning Deep Representation for Imbalanced Classification》

4.2.1 引言

计算机视觉领域的很多数据集都存在数据不平衡的问题。例如在人脸识别任务中，正例和反例的数据就极为不平衡。传统的应对数据不平衡的算法有采样方法和代价敏感型方法等，这些方法在经典的“浅层”机器学习算法上已经有充分的研究，但在深度学习模型上还缺乏系统的研究。

针对计算机视觉领域的数据不平衡问题，论文提出一种在不平衡数据下的更有效的深度表征并结合kNN做分类的算法：Large Margin Local Embedding (LMLE)-kNN(LMLE-KNN)。该算法包括2个步骤：首先使用CNN模型从不平衡数据集中学习得到每个样本的深度表征(embedding向量)，然后使用改进的k近邻分类算法对embedding向量分类。

4.2.2 从不平衡数据中学习深度表征

给定一个数据不均衡的计算机视觉数据集，论文希望先对每个样本学习一个embedding向量表示f(x)，学习到的embedding既具有区分性又能不包含本地的类别不均衡。为了实现这一目标，论文首先从不平衡数据中采样获取多个五元组，如图 4.3所示。