打开第12天，前几天打卡完成了入门的学习，后续有时间对入门的内容，再次整理一下。本次学习的内容为基于MindSpore的GPT2文本摘要。记录学习的过程。记录实验系统中的步骤，对一些内容进行记录和归纳。
数据集加载与处理
-
数据集加载
本次实验使用的是nlpcc2017摘要数据，内容为新闻正文及其摘要，总计50000个样本。
-
数据预处理
原始数据格式：
article: [CLS] article_context [SEP] summary: [CLS] summary_context [SEP]预处理后的数据格式：
[CLS] article_context [SEP] summary_context [SEP]
模型构建
- 构建GPT2ForSummarization模型，注意shift right的操作。
- 动态学习率
模型训练
模型推理
数据处理，将向量数据变为中文数据
)
