LlamaFactory 前言
LLaMA Factory
是一个用于微调大型语言模型的强大工具,特别是针对 LLaMA
系列模型。
可以适应不同的模型架构和大小。
支持多种微调技术,如全参数微调、LoRA
( Low-Rank Adaptation
)、QLoRA
( Quantized LoRA
)等。
还给我们提供了简单实用的命令行接口。
支持多 cpu
训练,多任务微调,还有各种内存优化技术,如梯度检查点、梯度累积等。
支持混合精度训练,提高训练效率。
本文不再赘述 LlamaFactory
的安装过程
LlamaFactory参数基本设置
打开我们 LlamaFactory
的 web
运行界面,进入根目录执行下列命令:
llamafactory-cli webui
看到下列界面
在浏览器打开我们开启的 webui
界面 http://127.0.0.1:7860
:
我们依次来解释每个参数的选择:
这里是语言选择
选择 zh
即可。
模型选择
选择适合自己的模型,这里都会从 Hugging Face
里面下载,
这一步是自定义路径
一般就用选择好的默认路径即可。
微调方法:
这里有三种,full全参数微调, Freeze
(冻结部分参数) LoRA
&