文章目录
- 前言
- 一、模型推理公用命令
- 二、模型自带推理命令
- 1、整个文件命令
- 2、模型自带fitune推理
- 3、clip推理
- 三、个人lora训练推理命令
- 1、使用命令推理
- 2、vscode推理
前言
LLAVA模型训练方式有预训练、微调训练，而预训练需要大量算力与数据支持，我们将不在重点考虑。对于微调，也因其计算资源导致成本较高，一般不会采用全量微调方式，而是多采用PEFT方式完成，而PEFT代表的Lora微调模型性价比较高。介于此，Lora微调需要合并权重方可实现，在于我个人摸索下实现了LLAVA模型lora训练的推理。为此，我将LLAVA所有推理方式记录于此。
。
一、模型推理公用命令
我们推理调用模型是需要启动服务，这个命令是所有推理模型启动的前提条
)
, 分布式锁(watch乐观锁, setnx, redission))
