传统的微调因为代价很高,而且一旦权重很大,这种fine 微微的意思是调不动模型的,所以需要这种提示词调 mindnlp直接有 peft config peft_config = PromptTuningConfig(task_type=“SEQ_CLS”, num_virtual_tokens=10) 方便我们进行prompt tuning 就只不过是一种peft 是使用的glue数据集,里面很多丰富种类的数据 看来是用mrpc任务,判断2个句子是不是同一描述。 微调的参数少,这才是peft 用ms设置求导,和模型搭建 开始了微调 最后得到了评估的分数