新闻主题分类任务

背景

以一段新闻报道中的文本描述内容为输入，使用模型帮助我们判断它最优可能属于哪一种类型的新闻，这是典型的文本分类问题，这里假定每种类型是互斥的，即文本描述有且只有一种类型

新闻主题分类数据

#通过torchtext获取数据
#导入相关torch工具包
import torch
import torchtext
# from torchtext.datasets import text_classification
#from torchtext.datasets import text_classification
import os
torchtext.datasets.AG_NEWS(root='.data', split=('train', 'test'))#定义数据下载路径，当前路径的data文件夹
load_data_path ='D:/data'
#如果路径不存在，则创建这个路径
if not os.path.isdir(load_data_path):os.mkdir(load_data_path)#选取torchtext中的文本分类数据集'AG_NEWS'即新闻主题分类数据，保存再指定目录瞎
#并将数据映射后的训练和验证数据加载到内存中
#train_dataset,test_dataset = text_classification.DATASETS['AG_NEWS'](root=load_data_path)
train_dataset, test_dataset = torchtext.datasets.AG_NEWS(root='./data/ag_news_csv/', split=('train', 'test'))

整个案例的实现可分为以下五个步骤

• 第一步: 构建带有Embedding层的文本分类模型.
• 第二步: 对数据进行batch处理.
• 第三步: 构建训练与验证函数.
• 第四步: 进行模型训练和验证.
• 第五步: 查看embedding层嵌入的词向量.

小结