转载自  训练集样本不平衡问题对CNN的影响

训练集样本不平衡问题对CNN的影响

本文首发于知乎专栏“ai insight”！

卷积神经网络（CNN）可以说是目前处理图像最有力的工具了。

而在机器学习分类问题中，样本不平衡又是一个经常遇到的问题。最近在使用CNN进行图片分类时，发现CNN对训练集样本不平衡问题很敏感。

在网上搜索了一下，发现http://www.diva-portal.org/smash/get/diva2:811111/FULLTEXT01.pdf这篇文章对这个问题已经做了比较细致的探索。于是就把它简单整理了一下，相关的记录如下。

 

1、实验数据与使用的网络

所谓样本不平衡，就是指在分类问题中，每一类对应的样本的个数不同，而且差别较大。

这样的不平衡的样本往往使机器学习算法的表现变得比较差。那么在CNN中又有什么样的影响呢？作者选用了CIFAR-10作为数据源来生成不平衡的样本数据。

CIFAR-10是一个简单的图像分类数据集。共有10类（airplane，automobile，bird，cat，deer，dog， frog，horse，ship，truck），每一类含有5000张训练图片，1000张测试图片。

CIFAR-10样例如图：

训练时，选择的网络是这里的CIFAR-10训练网络和参数（来自Alex Krizhevsky）。这个网络含有3个卷积层，还有10个输出结点。

之所以不选用效果更好的CNN网络，是因为我们的目的是在实验时训练很多次进行比较，而不是获得多么好的性能。

而这个CNN网络因为比较浅，训练速度比较快，比较符合我们的要求。

 

2、类别不平衡数据的生成

直接从原始CIFAR-10采样，通过控制每一类采样的个数，就可以产生类别不平衡的训练数据。如下表所示：

这里的每一行就表示“一份”训练数据。而每个数字就表示这个类别占这“一份”训练数据的百分比。

Dist. 1：类别平衡，每一类都占用10%的数据。

Dist. 2、Dist. 3：一部分类别的数据比另一部分多。

Dist. 4、Dist 5：只有一类数据比较多。

Dist. 6、Dist 7：只有一类数据比较少。

Dist. 8： 数据个数呈线性分布。

Dist. 9：数据个数呈指数级分布。

Dist. 10、Dist. 11：交通工具对应的类别中的样本数都比动物的多

对每一份训练数据都进行训练，测试时用的测试集还是每类1000个的原始测试集，保持不变。

 

3、类别不平衡数据的训练结果

以上数据经过训练后，每一类对应的预测正确率如下：

第一列Total表示总的正确率，下面是每一类分别的正确率。

从实验结果中可以看出：

1. 类别完全平衡时，结果最好。

2. 类别“越不平衡”，效果越差。比如Dist. 3就比Dist. 2更不平衡，效果就更差。同样的对比还有Dist. 4和Dist. 5，Dist. 8和Dist. 9。其中Dist. 5和Dist. 9更是完全训练失败了。

 

4、过采样训练的结果

作者还实验了“过采样”（oversampling）这种平衡数据集的方法。

这里的过采样方法是：对每一份数据集中比较少的类，直接复制其中的图片增大样本数量直至所有类别平衡。

再次训练，进行测试，结果为：

可以发现过采样的效果非常好，基本与平衡时候的表现一样了。

过采样前后效果对比，可以发现过采样效果非常好：

 

5、总结

CNN确实对训练样本中类别不平衡的问题很敏感。

平衡的类别往往能获得最佳的表现，而不平衡的类别往往使模型的效果下降。如果训练样本不平衡，可以使用过采样平衡样本之后再训练。

这确实是一个“经验主义”的结论，但多少给我们平常训练CNN模型带来一些启发和帮助。