一、前言
对于 ChatGLM2-6B 模型基于 PEFT 的特定任务微调实验。
1.1 硬件需求
注:r 为LoRA 维数大小,p 为前缀词表大小,l 为微调层数,ex/s 为每秒训练的样本数。gradient_accumulation_steps 参数设置为 1。上述结果均来自于单个 Tesla V100 GPU,仅供参考。
1.2 微调方法
目前我们实现了针对以下高效微调方法的支持:
- LoRA:仅微调低秩适应器。
- P-Tuning V2:仅微调前缀编码器。
- Freeze :仅微调后几层的全连接层。
1.3 软件依赖
- Python 3.8+, PyTorch 2.0.0
- Transformers, Datasets, Accelerate, TRL, PEFT(最低需要 0.3.0.dev0)
- protobuf, cpm_kernels, sentencepiece
- jieba, rouge_chinese, nltk(用于评估)</