【Paddle 经验分享】利用PaddleHub 2.x 完成文本分类训练的坑

CSDN原文链接：https://blog.csdn.net/kinfey/article/details/117254781

基于项目选择了PaddlePaddle 作为文本分类的基础，经过一周多的使用终于有所进展，把文本分类的相关工作做了一个简单模型。

首先说说PaddlePaddle , 现在做深度学习，更多用户使用的是TensorFlow / PyTorch ，但其实还有很多类似的框架，PaddlePaddle就是其中之一。有人会说TensorFlow / PyTorch 已经这么优秀了，为何还用 PaddlePaddle 呢？我这里也想结合一周多的使用说说。当初使用 Paddle Paddle框架我看中的是他在自然语言中文领域有很多现成的模型，举个例子如情感分类，如阅读理解，还有自动问答等，而且在使用上也是非常简单。我就是奔着这个去的，至于其他像内存占用小啊，API易用这些用过就知道其实是一个场景相对的工作。如果我们使用自然语言相关，我是建议使用，但在计算机视觉或者其他的都差不多。PaddlePaddle 在设计初期就兼顾了动态图和静态图，所以还是不错的。

PaddlePaddle 有不少预训练的模型，基于预训练组建了一个PaddleHub , 可以让你快速调用并完成模型的管理，你还可以基于自有的模型做迁移学习，更好地服务应用场景。这里做文本分类，我就直接用了PaddleHub 自有的 ERNIE 进行迁移学习。就这样我就开始了一段神奇之旅。

一.ERNIE

在中文领域，这是一个非常非常棒的自然语言模型，和BERT 比，采用了先知Mask机制，和随机Mask 的BERT比，能更有效对中文常用词进行判断。更多可以参考 https://github.com/PaddlePaddle/ERNIE。

二. 具体使用遇到的一些问题

PaddlePaddle 在网上搜索的例子都是有问题的，因为基于原来的例子基本是按照1.x 版本(https://aistudio.baidu.com/aistudio/projectdetail/186443)改的，只能自己碰。

1.环境问题

我现在的Cuda 环境是11.1 ，但是无论最新的2.1 还是2.0.2 其实都没有支持的，开始我自己也慌了第一步就放弃么？但我认真看了下，其实2.0.2 是支持11.0 也是可以在11.1的CUDA上跑，所以安装环境就变成了：

pip install paddlepaddle-gpu==2.0.2.post110 -f https://paddlepaddle.org.cn/whl/stable.html

2.ERNIE 版本选择

其实我本来想要ERNIE，但最后选择ERNIE-TINY是因为他更小巧，更适应我的场景, 如果你想应用其他也是可以的，他支持多种语义模型。

3.TextClassificationDataset

因为我是做迁移学习的文本分类所以这里就需要去继承原有的TextClassificationDataset，我一直觉得是一个简单活，结果花了我一堆时间，因为这里对数据格式有要求，第一列必须是Label , 而且token是一个Bert+Custom , 并且一定要做好测试集和训练集，这里我真的花了5天去找，但最后还是追看TextClassificationDataset 找到答案，主要是文档太少。