🔥 下面我只是分析讲解下这些方法的原理以及具体代码是怎么实现的,不对效果进行评价,毕竟不同任务不同数据集效果差别还是挺大的。
文章目录
- 0、hard prompt & soft prompt区别
- 1、Prefix-Tuning
- 2、Prompt-Tuning
- 3、P-tuning
- 4、P-tuning-v2
- 5、来看看adapter,lora,prefix-tuing&p-tuning-v2的结构上的区别:
0、hard prompt & soft prompt区别
- hard prompt (离散):即人类写的自然语言式的prompt。
- soft prompt (连续):可训练的权重,可以理解为伪prompt。【毕竟nn是连续的模型,在连续空间中优化离散的prompt, 难以优化到最佳效果。额也就是说所谓的hard prompt对于人类来说好理解,但模型不一定好理解,所以不妨丢给模型去学习处更好理解的prompt】