【多模态】swift框架使用qwen2-vl

前言

  前几篇里面学习了常见的一些多模态模型的典型架构和源代码，上一篇里面测试使用了minicpm-v系列模型，在尝试RLHF的时候发现swift特别好用特别全，记录一下对swift的一些使用，欢迎批评指正～
  前一篇里面写了minicpm-v的使用方法，这里主要记录qwen2-vl的使用。

1.swift安装

  • python可以安装3.10版本
  • 就在这几天swift更新了3.0版本，本文使用的是swift的2.6.0版本/2.5.0版本，据群里面说swift的3.0是大更新可能差别挺大的
  • 安装方法(同时在这里安装flash-attention和vllm)
conda create -n swift pyhton==3.10
pip install torch torchvision
pip install flash-attn vllm qwen_vl_utils optimum transformers==4.46.1
pip install 'ms-swift[llm]' -U
  • 如果网络不好，flash-attn先wget https://github.com/Dao-AILab/flash-attention/releases/download/v2.7.2.post1/flash_attn-2.7.2.post1+cu12torch2.5cxx11abiFALSE-cp310-cp310-linux_x86_64.whl，然后在pip install 这个whl【需要在这个仓库里面找符合本机的whl版本】
  • 一定要注意使用的transformer库必须是4.46的不然用qwen会报错 assertion error rope

2.模型微调

2.1 SFT

一定要注意，使用qwen2-vl需要指定MAX_PIXELS，脚本里面是MAX_PIXELS，py里面是max_pixels，602112=7682828，这个值越大模型看图片看得越清楚，显存开销越大，如果不指定，默认是非常大的可能直接爆显存了

NPROC_PER_NODE=1 CUDA_VISIBLE_DEVICES=0 MAX_PIXELS=602112 swift sft \
--model_type qwen2-vl-7b-instruct \
--model_id_or_path 模型路径 \
--dataset data.jsonl \
--sft_ype lora \
--use_flash_attn true \ # 提速
--batch_size 2 \
--lora_target_modules DEFAULT \
--output_dir qwen_lora \
--max_steps 3000 \
--save_total_limit 2 \
--logging_steps 10 \
--gradient_checkpointing false # true的话训练变慢

swift和minivpm-v不一样，使用jsonl格式的数据，类似这样，<image>表示这个位置有一张图，图在后面的images里面指定：

#jsonl格式的数据
{"query": "<image>55555", "response": "66666", "images": ["image_path"]}
{"query": "eeeee<image>eeeee<image>eeeee", "response": "fffff", "history": [], "images": ["image_path1", "image_path2"]}
{"query": "EEEEE", "response": "FFFFF", "history": [["query1", "response2"], ["query2", "response2"]], "images": []}
  • 注意swift里面如果要微调的目标模块使用正则表达式，就要使用target_regex来指定，例如qwen2-vl的指定–target_regex “^(model)(?!.(lm_head|output|emb|wte|shared|mlp|norm)).” \
  • 或者–target_regex "model…*layers.\d+.self_attn.(q_proj|k_proj｜v_proj|o_proj)"类似这样的，可以具体看文档和模型结构

2.2 merge lora

在SFT之后合并文件，输出的结果会在运行完之后显示，默认在lora结果存储路径里面有一个-merge的文件夹

#!/bin/bash
CUDA_VISIBLE_DEVICES=0 swift export \--ckpt_dir lora结果存储路径 \--merge_lora true

2.3 RLHF

支持CPO/DPO/SimPO等，具体参考官方文档

#!/bin/bash
source activate vllmCUDA_VISIBLE_DEVICES=0 \
swift rlhf \--rlhf_type cpo \--model_type  minicpm-v-v2_6-chat \ # 模型类型，可以在官方文档支持的模型里面找，或者报错了在报错信息里面找哈哈哈--model_id_or_path 模型存储路径/ \--beta 0.1 \--rpo_alpha 0.1 \--sft_type  lora \--dataset dataset_dpo.jsonl \--lora_target_modules  DEFAULT  \--max_steps 500 \--save_steps 250 \--batch_size  2  \--learning_rate  5e-5  \--gradient_checkpointing false \--warmup_ratio  0.03  \--save_total_limit  2 \--output_dir output \--logging_steps 10

注意RHLF的数据集格式：

{"system": "123", "query": "11111", "response": "22222", "rejected_response": "33333", "images": ["image_path"], "history": [["query1", "response1"], ["query2", "response2"]]}
{"system": "123", "query": "aaaaa", "response": "bbbbb", "rejected_response": "ccccc", "images": ["image_path"], "history": [["query1", "response1"], ["query2", "response2"]]}
{"system": "123", "query": "AAAAA", "response": "BBBBB", "rejected_response": "CCCCC", "images": ["image_path"], "history": [["query1", "response1"], ["query2", "response2"]]}

3. 模型量化和推理

3.1 qwen2-vl量化

  • qwen2-vl的int4的模型qlora微调后不支持merge并且推理很慢，官方推荐先lora在merge再量化
  • 原始模型微调后，不支持autoawq量化，支持gptq量化，同样需要指定最大像素，否则爆显存
  • gptq量化时load_dataset_config为true使用训练时候的数据集来进行量化
  • gptq量化后准确率损失不大

CUDA_VISIBLE_DEVICES=0 MAX_PIXELS=1003520 swift export \--ckpt_dir '训练好的模型路径' \--merge_lora true --quant_bits 4 \--load_dataset_config true --quant_method gptq

3.2 模型推理

  • 这里可以参考前面一篇minicpm-v使用里面的介绍【多模态】MiniCPM-V多模态大模型使用学习，注意用上加速推理节约时间
  • 注意设置最大像素例如os.environ[‘MAX_PIXELS’]=‘1003520’
-----flash-attn用于swift推理
kwargs = {}
# kwargs['use_flash_attn'] = True  # use flash_attn
model_id_or_path = None
model, tokenizer = get_model_tokenizer(model_type, model_id_or_path=model_id_or_path,model_kwargs={'device_map': 'auto'}, **kwargs)----flash-attn用于qwen2-vl
model_name = "。。。。。。"
model = Qwen2VLForConditionalGeneration.from_pretrained(model_name, torch_dtype="auto", device_map="auto",attn_implementation="flash_attention_2")
model.eval()-----minicpm-v的推理也flash-attention-2加速
model = AutoModel.from_pretrained('。。。。。。', trust_remote_code=True,attn_implementation='flash_attention_2')

3.3 CLI推理

数据集格式和训练集一样

{"query": "<image>55555", "response": "66666", "images": ["image_path"]}
{"query": "eeeee<image>eeeee<image>eeeee", "response": "fffff", "history": [], "images": ["image_path1", "image_path2"]}
{"query": "EEEEE", "response": "FFFFF", "history": [["query1", "response2"], ["query2", "response2"]], "images": []}

推理脚本，里面的val_dataset是待推理的数据集，result_dir是输出的结果保存的地址，输出的是一个jsonl文件

CUDA_VISIBLE_DEVICES=0 MAX_PIXELS=602112 swift infer --ckpt_dir 模型地址 --use_flash_attn true --val_dataset data_need_infer.jsonl --save_result true --result_dir result_output

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/64087.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

python爬虫--小白篇【爬取B站视频】

python爬虫--小白篇【爬取B站视频】

目录 一、任务分析 二、网页分析 三、任务实现 一、任务分析 将B站视频爬取并保存到本地&#xff0c;经过分析可知可以分为四个步骤&#xff0c;分别是&#xff1a; 爬取视频页的网页源代码&#xff1b;提取视频和音频的播放地址&#xff1b;下载并保存视频和音频&#x…
阅读更多...
基于ArqMATH 数据集探索大语言模型在数学问题推理解答中的能力

基于ArqMATH 数据集探索大语言模型在数学问题推理解答中的能力

概述 论文地址&#xff1a;https://arxiv.org/pdf/2404.00344 源码地址&#xff1a;https://github.com/gipplab/llm-investig-mathstackexchange 大规模语言模型&#xff08;LLMs&#xff09;因其解决自然语言任务的能力而备受关注&#xff0c;在某些任务中&#xff0c;其准…
阅读更多...
x2go远程控制

x2go远程控制

X2Go 优点&#xff1a;专为远程桌面和图形界面优化。性能优越&#xff0c;特别是在网络带宽较低的情况下&#xff0c;采用了高效的压缩和缓存技术。支持多用户、会话恢复功能&#xff0c;适合企业使用。使用 SSH 连接&#xff0c;具有较好的安全性。 安装与配置&#xff1a;需…
阅读更多...
[SV]如何在UVM环境中使用C Model

[SV]如何在UVM环境中使用C Model

在UVM环境中使用C Memory 一、C语言实现Memory 1.1 代码说明 Memory 初始化： memory_init() 函数将内存空间初始化为 0，并初始化互斥锁。AXI 写操作 (axi_write)： 检查地址范围是否合法。使用 memcpy 将数据从输入缓冲区写入模拟内存。使用互斥锁保证线程安全。AXI 读操作 …
阅读更多...
基于ZYNQ 7z010开发板 oled点亮的实现

基于ZYNQ 7z010开发板 oled点亮的实现

dc拉高的时候就是发送128字节数据的时候 发送指令dc拉低 模式是00 sck先置低再置高 复位是与开发板上的按键一样都是低有效 25位字节指令 加 3字节的 页地址加起始结束 b0,00,10, timescale 1ns / 1ps module top0(input wire clk ,input wire rst_n,// out…
阅读更多...
被裁20240927 --- YOLO 算法

被裁20240927 --- YOLO 算法

背景 在云端部署ViSP&#xff0c;ViSP实现视觉伺服、yolo实现视觉跟踪。 开源的2d视觉跟踪算法有哪些&#xff1f; 开源的2D视觉跟踪算法有很多呢&#xff0c;这里给你推荐一些比较知名和常用的吧。 ByteTrackV2&#xff1a;这是一个通用2D跟踪算法&#xff0c;提出了分层的…
阅读更多...
360极速浏览器不支持看PDF

360极速浏览器不支持看PDF

360安全浏览器采用的是基于IE内核和Chrome内核的双核浏览器。360极速浏览器是源自Chromium开源项目的浏览器&#xff0c;不但完美融合了IE内核引擎&#xff0c;而且实现了双核引擎的无缝切换。因此在速度上&#xff0c;360极速浏览器的极速体验感更佳。 展示自己的时候要在有优…
阅读更多...
基于SpringBoot和PostGIS的全球城市信息管理实践

基于SpringBoot和PostGIS的全球城市信息管理实践

目录 前言 一、业务需求介绍 1、功能思维导图 二、业务系统后台实现 1、Model层实现 2、业务层的实现 3、控制层的实现 三、前端管理业务的实现 1、全球城市列表的实现 2、详情页面实现 3、实际城市定位 四、总结 前言 在全球化和信息化时代背景下&#xff0c;城市作…
阅读更多...
k8s的ConfigMap是什么, 为什么设计ConfigMap, 如何使用ConfigMap

k8s的ConfigMap是什么, 为什么设计ConfigMap, 如何使用ConfigMap

ConfigMap简介, 为什么设计ConfigMap 在k8s中, ConfigMap是一种API对象, 用于将非机密的配置数据存储到键值对中。 Configmap作用是, 把配置数据从应用代码中分隔开, 让镜像和配置文件解耦&#xff0c;实现了镜像的可移植性。 举例&#xff1a; 我有一个Squid(正向代理)的Pod…
阅读更多...
《饕餮记》精彩片段（一）

《饕餮记》精彩片段（一）

也是无意中看到鲛人脍单元集片段&#xff0c;才去看了这个剧 整体略架空和部分逻辑不是很连贯和完美 精彩点不在于整体和走向和故事线 也不在于大牌明星撑场&#xff0c;因为全场只有安悦溪一个脸熟明星撑场子 而在于每个单元间离奇小故事 和华胥引差不多&#xff0c;属于逻…
阅读更多...
如何在 ASP.NET Core 3.1 应用程序中使用 Log4Net

如何在 ASP.NET Core 3.1 应用程序中使用 Log4Net

介绍 日志记录是应用程序的核心。它对于调试和故障排除以及应用程序的流畅性非常重要。 借助日志记录&#xff0c;我们可以对本地系统进行端到端的可视性&#xff0c;而对于基于云的系统&#xff0c;我们只能提供一小部分可视性。您可以将日志写入磁盘或数据库中的文件&#xf…
阅读更多...
计算机毕业设计PySpark+PyFlink+Hive地震预测系统 地震数据分析可视化 地震爬虫 大数据毕业设计 Hadoop 机器学习 深度学习

计算机毕业设计PySpark+PyFlink+Hive地震预测系统 地震数据分析可视化 地震爬虫 大数据毕业设计 Hadoop 机器学习 深度学习

温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 作者简介&#xff1a;Java领…
阅读更多...
基于注意力的几何感知的深度学习对接模型 GAABind - 评测

基于注意力的几何感知的深度学习对接模型 GAABind - 评测

GAABind 作者是苏州大学的生物基础与医学院， 期刊是 Briefings in Bioinformatics, 2024， 25(1)， 1–14。GAABind 是一个基于注意力的几何感知蛋白-小分子结合模式与亲和力预测模型，可以捕捉小分子和蛋白的几何、拓扑结构特征以及相互作用。使用 PDBBind2020 和 CASF2016 作…
阅读更多...
前缀和与差分算法详解

前缀和与差分算法详解

定义 前缀和是一种数据预处理技术&#xff0c;它指的是从数组的第一个元素开始&#xff0c;到当前元素为止的所有元素的和。这种技术可以快速计算任意区间内元素的和&#xff0c;而不需要每次都从头开始累加。 差分则是前缀和的逆运算&#xff0c;它主要用于处理对数组某个区…
阅读更多...
远程桌面防护的几种方式及优缺点分析

远程桌面防护的几种方式及优缺点分析

远程桌面登录是管理服务器最主要的方式&#xff0c;于是很多不法分子打起了远程桌面的歪心思。他们采用暴力破解或撞库的方式破解系统密码&#xff0c;悄悄潜入服务器而管理员不自知。 同时远程桌面服务中的远程代码执行漏洞也严重威胁着服务器的安全&#xff0c;攻击者可以利…
阅读更多...
Python高性能web框架-FastApi教程：(2)路径操作装饰器方法

Python高性能web框架-FastApi教程：(2)路径操作装饰器方法

路径操作装饰器方法 1. fastapi支持的各种请求方式 app.get() app.post() app.put() app.patch() app.delete() app.options() app.head() app.trace()2. 定义不同请求方式的路由 # 定义GET请求的路由 app.get(/get) def get_test():return {method: get方法} app.get(/get)…
阅读更多...
Mysql体系架构剖析——岁月云实战笔记

Mysql体系架构剖析——岁月云实战笔记

1 体系架构 理论内容阅读了mysql体系架构剖析&#xff0c;其他的根据岁月云的实战进行记录。 1.1 连接层 mysql最上层为连接服务&#xff0c;引入线程池&#xff0c;允许多台客户端连接&#xff0c;主要工作&#xff1a;连接处理、授权认证、安全防护、管理连接等。 连接处理&a…
阅读更多...
【Pandas】pandas infer_freq

【Pandas】pandas infer_freq

Pandas2.2 General Top-level dealing with datetimelike data 方法描述to_datetime(arg[, errors, dayfirst, …])用于将对象数据&#xff08;如字符串&#xff09;转换为日期时间类型to_timedelta(arg[, unit, errors])用于将对象数据&#xff08;如字符串&#xff09;转换…
阅读更多...
FPGA 16 ，Verilog中的位宽：深入理解与应用

FPGA 16 ，Verilog中的位宽：深入理解与应用

目录 前言 一. 位宽的基本概念 二. 位宽的定义方法 1. 使用向量变量定义位宽 ① 向量类型及位宽指定 ② 位宽范围及位索引含义 ③ 存储数据与字节数据 2. 使用常量参数定义位宽 3. 使用宏定义位宽 4. 使用[:][-:]操作符定义位宽 1. 详细解释 : 操作符 -: 操作符 …
阅读更多...
在数字孪生开发领域threejs现在的最新版本已经更新到多少了？

在数字孪生开发领域threejs现在的最新版本已经更新到多少了？

在数字孪生开发领域three.js现在的最新版本已经更新到多少了&#xff1f; 在数字孪生开发领域&#xff0c;three.js作为一款强大的JavaScript 3D库&#xff0c;广泛应用于Web3D可视化、智慧城市、智慧园区、数字孪生等多个领域。随着技术的不断进步和需求的日益增长&#xff0…
阅读更多...
最新文章

Copyright @ 2022~2023