Github|类别不平衡学习资源(上）

点击上方“算法猿的成长“，关注公众号，选择加“星标“或“置顶”

总第 138 篇文章，本文大约 5400 字，阅读大约需要 15 分钟

今天推荐的是一个 github 项目，项目地址如下，主要是类别不平衡学习的论文、代码、框架、库等资源

https://github.com/ZhiningLiu1998/awesome-imbalanced-learning

本文首发于我的知乎专栏：https://zhuanlan.zhihu.com/p/142692473，阅读会更加方便，可以直接点击链接，可以点击文章底部”阅读原文“直接跳转。

前言

类别不平衡(Class-imbalance)，也被称为长尾问题(long-tail problem)，指的是分类问题中数据集的类别数量并不一致，有的类别特别多，但有的类别特别少，并且这是实际应用里非常常见的问题。例如，欺诈检测，罕见药物不良反应的预测，以及基因家族预测。因为类别不平衡的原因就会导致预测不准确，降低了分类模型的性能。因此，不平衡学习（Imbalanced learning）的目标就是要解决类别不平衡问题，并从不平衡的数据中学习一个无偏模型。

目录如下所示：

代码库/框架
- Python
- R
- Java
- Scalar
- Julia
论文
- 综述
- 深度学习
- 数据重采样（Data resampling）
- 成本敏感学习（Cost-sensitive Learning）
- 集成学习（Ensemble Learning）
- 异常检测
其他
- 不平衡数据库
- 其他的资源

另外，带有???? 标记的是作者特别推荐的重要或者高质量的论文和框架。

（ps. 文章太长，所以分成上下两篇，更方便阅读）

代码库/框架

Python

imbalanced-learn

官网：https://imbalanced-learn.org/stable/

Github：https://github.com/scikit-learn-contrib/imbalanced-learn

官方文档：https://imbalanced-learn.readthedocs.io/en/stable/

论文地址：http://10.187.70.34/www.jmlr.org/papers/volume18/16-365/16-365.pdf

这个库是一个 python 编写的提供了一些常用于数据集的重采样技术，它适配 scikit-learn 库，并且也是 scikit-learn-contrib 库的一部分。

???? python 编写，上手简单

R

smote_variants

官网：https://smote-variants.readthedocs.io/en/latest/

文档：[(https://smote-variants.readthedocs.io/en/latest/

Github：https://github.com/analyticalmindsltd/smote_variants)

集合了 85 种用于不平衡学习的过采样技术，包括多类别的过采样和模型选择特征方法（支持 R 和 Julia）

caret

官网：https://cran.r-project.org/web/packages/caret/index.html

文档：http://topepo.github.io/caret/index.html

Github：https://github.com/topepo/caret

实现了随机欠采样和过采样方法

ROSE

官网：https://cran.r-project.org/web/packages/ROSE/index.html

文档：https://www.rdocumentation.org/packages/ROSE/versions/0.0-3

实现了随机过采样方法

DMwR

官网：https://cran.r-project.org/web/packages/DMwR/index.html

文档：https://www.rdocumentation.org/packages/DMwR/versions/0.4.1

实现了 SMOTE（Synthetic Minority Over-sampling TEchnique），即合成少数过采样技术

Java

KEEL

官网：https://sci2s.ugr.es/keel/description.php

Github：https://github.com/SCI2SUGR/KEEL

论文：https://sci2s.ugr.es/sites/default/files/ficherosPublicaciones/0758_Alcalaetal-SoftComputing-Keel1.0.pdf

KEEL 提供了一个简单的图形界面，可以基于数据流程来设计不同数据集的实验，以及不同智能计算的算法（特别关注进化算法），从而接触到算法的行为。该工具包含了很多广泛应用的不平衡学习方法，比如过采样和欠采样，损失敏感学习，算法修正以及集成学习方法。

???? 包含多种算法，比如经典分类算法、回归算法以及预处理算法

Scalar

undersampling

官网：https://github.com/NestorRV/undersampling

文档：https://nestorrv.github.io/

Github：https://github.com/NestorRV/undersampling

实现了欠采样方法以及集成方法变形的方法。

Julia

smote_variants官网：https://smote-variants.readthedocs.io/en/latest/ 文档：https://smote-variants.readthedocs.io/en/latest/ Github：https://github.com/analyticalmindsltd/smote_variants

集合了 85 种用于不平衡学习的过采样技术，包括多类别的过采样和模型选择特征方法（支持 R 和 Julia）

论文

Learning from imbalanced data，2009 年的论文，有 4700+的引用，非常经典的论文。主要是系统性的回顾了流行的解决方法、评估标准以及未来研究中需要面临的挑战和问题（2009 年的时候）；

???? 经典的工作

Learning from imbalanced data: open challenges and future directions(2016, 400+ 引用，这篇论文主要关注不平衡学习的开放性问题和挑战，比如极端类别不平衡，处理在线/流学习的不平衡问题，多类别不平衡学习以及半监督或无监督的不平衡学习。
Learning from class-imbalanced data: Review of methods and applications(2017（400+ 引用)，一篇非常详细的不平衡学习方法和应用的综述论文，总共包含了 527 篇相关论文。它提供了几种现有方法详细的分类标准，同时也是最近研究领域的趋势。

???? 一篇系统的并且对现有方法详细分类标准的综述

深度学习

综述
- A systematic study of the class imbalance problem in convolutional neural networks (2018, 330+ 引用)
- Survey on deep learning with class imbalance (2019, 50+ 引用)

???? 最近深度学习方向关于类别不平衡问题的综合性论文

困难样本挖掘
- Training region-based object detectors with online hard example mining (CVPR 2016, 840+ 引用)，在神经网络训练的最后阶段，仅对”困难样本“进行梯度的反向传播（比如，loss 数值很大的样本）
损失函数工程
- Training deep neural networks on imbalanced data sets (IJCNN 2016, 110+ 引用) ，均方根误差可以从大多数类和少数类中同等的捕获分类错误
- Focal loss for dense object detection [Code (Unofficial)]（ICCV 2017, 2600+ 引用) ，一个集中训练困难样本稀疏集合的均匀损失函数，可以防止大量容易在训练中压倒检测器的简单负样本。
???? 优雅的解法，影响力很高
- Deep imbalanced attribute classification using visual attention aggregation [Code] (ECCV 2018, 30+ 引用)
- Imbalanced deep learning by minority class incremental rectification (TPAMI 2018, 60+ 引用) ，介绍了一个类别修正损失，它是在迭代的分批学习过程中，通过发现少数类的稀疏采样边界来最小化多数类的优势效应；
- Learning Imbalanced Datasets with Label-Distribution-Aware Margin Loss [Code] (NIPS 2019, 10+ 引用) ，一种理论上有原则的标签分布感知边际损失(LDAM)，其动机是最小化基于边际的泛化边界。
- Gradient harmonized single-stage detector [Code] (AAAI 2019, 40+ 引用) ，相比 Focal loss 只会降低”容易“的负样本的权重，GHM 还可以降低一些可能是异常值的”困难“样本的权重。
???? 有趣的想法：根据梯度分布来协调样本的贡献
- Class-Balanced Loss Based on Effective Number of Samples (CVPR 2019, 70+ 引用) ，一种简单而通用的基于有效样本数量的类权重调整机制。
元学习
- Learning to model the tail (NIPS 2017, 70+ citations) ，将元知识从分布头部的数据丰富的类转移到尾部的数据贫乏的类；
- Learning to reweight examples for robust deep learning [Code] (ICML 2018, 150+ citations) ，在深度神经网络的梯度更新中隐式学习一个权重函数对样本进行权重的调整。
  ???? 通过元学习解决类别不平衡问题的代表性工作.
- Meta-weight-net: Learning an explicit mapping for sample weighting [Code] (NIPS 2019) ，在深度神经网络的梯度更新中，显式学习一个权重函数（使用多层感知器作为函数逼近器）来对样本的权重进行调整；
- Learning Data Manipulation for Augmentation and Weighting [Code] (NIPS 2019)
Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distribution Tasks [Code] (ICLR 2020)
表示学习
- Learning deep representation for imbalanced classification (CVPR 2016, 220+ 引用)
- Supervised Class Distribution Learning for GANs-Based Imbalanced Classification (ICDM 2019)
- Decoupling Representation and Classifier for Long-tailed Recognition (ICLR 2020)
课程学习
- Dynamic Curriculum Learning for Imbalanced Data Classification (ICCV 2019)
两阶段学习
- Brain tumor segmentation with deep neural networks (2017, 1200+ 引用) ，先在类别平衡的数据集进行预训练，然后在原始的类别不平衡数据集上进行微调网络 softmax 之前的最后一层输出层；
网络结构
- BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition (CVPR 2020)