PET(Pattern-Exploiting Training)
背景:预训练语言模型(比如BERT)知识全面,但是没有针对下游任务做针对训练,所以效果一般,所以需要根据任务做微调。
核心思想:根据先验知识人工定义模版,将目标分类任务转换为与MLM一致的完形填空,然后再去微调MLM任务参数。
项目介绍:一般情况,我们可以直接用bert模型对评论进行分类,这种效果一般,尤其是比较少小众的场景。但如果用少量带标签的评论样本对Bert模型进行Tuning,那模型效果就会大幅提升。
AutoTokenizer
from transformers import AutoModelForMaskedLM, AutoTokenizer
#使用bert-base-chinese模型
tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-chinese")
my_text = '有时候我常常在想,人活着的意义究竟是什么' #19个字+1个标点符号
sb = tokenizer(text=my_text,truncation=True,max_length=15,padding='max_length')#得到sb:
{'input_ids': [101, 3300, 3198, 952, 2769, 2382, 2382, 1762, 2682, 8024, 782, 3833, 4708, 4638, 102], 'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0], 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]}tokenizer.decode(sb['input_ids'])#解码'[CLS] 有 时 候 我 常 常 在 想 , 人 活 着 的 [SEP]'
- bert的tokenizer是字符级别的编码,而不是词,标点符号也会编码。
- 截断15,这15个已经包含了[CLS]和[SEP]。
- Bert是一种MLM(Masked Language Modeling)模型。
- tokenizer在使用训练结构后,也需要保存。(可能训练的过程它会自动新增token?)
ClassEvaluator(验证模型效果)
def __init__(self):self.goldens = []self.predictions = []
- 在计算验证集指标时,只需要记录两个list,一个是模型预测的标签,另一个是真实的标签,例如self.goldens=["体育","财经"]。
-
模型评估:训练集有几十条,测试集有几百条。
-
每10步打印一次loss,每20步用验证集评估一下效果,当f1得分上涨就保存模型。
-
模型评估:要看不同类别的指标表现效果。{'衣服': {'precision': 0.55, 'recall': 0.97, 'f1': 0.7}, '酒店': {'precision': 1.0, 'recall': 0.86, 'f1': 0.93}}
-
全局指标-accuracy准确率:
模型预测:
- verbalizer:有两列第一列主标签(业务需要的分类) 第二列子标签(模型输出分类),模型输出不同分类可能映射到同一个主标签。
- 先把要待分类的数据(评论)放到prompt中,然后用tokenizer编码放入模型,然后将预测得到的logit转换成ids,然后convert_ids_to_tokens转成子类别名称,然后再查询verbalizer,得到主标签。
ClassEvaluator
持续更新中。。