此处非常感谢https://github.com/hiyouga/LLaMA-Factory这个项目。
看到网上的教程很多都是教如何用webui来微调的,这里出一期命令行多卡微调教程~
1. 模型准备
模型下载比较方便的方法:
1. modelscope社区(首选,速度很高,并且很多需要申请的模型都有)注意要选择代码下载,直接用命令行下载模型文件下不下来。
2. huggingface镜像网站(不用梯子,但是该申请的还是需要申请)
3.自行下载网上云盘资源等(上传比较慢,若采取此方法,推荐使用XShell等工具)
2. 数据集准备
数据集主要有两种格式,这里直接参考仓库里面给出的示例数据即可(非常简单)
有以下几点注意:
1. 对于自己的数据集,首先去测试一下instruction+