InternLM Xtuner Qlora 微调

Xtuner 简介

在这里插入图片描述

XTuner 是由上海人工智能实验室开发的一款低成本大模型训练工具箱。它以高效、灵活和全能的特性，成为轻量化大模型微调的理想选择。借助 XTuner，用户仅需 8GB 显存即可对 InternLM2-7B 模型进行微调，从而定制出独一无二的 AI 助手。这一创新工具极大地降低了微调大型模型的门槛，使得更多研究者和开发者能够轻松地进行个性化 AI 应用的开发。

仓库地址：https://github.com/InternLM/xtuner

Xtuner 特点概览

高效性能

  • 大模型支持：Xtuner 能够在仅 8GB 显存的环境下微调 7B 模型，同时支持跨多节点的更大规模模型（70B+）微调。
  • 算子加速：自动集成高性能算子，如 FlashAttention 和 Triton kernels，显著提升训练效率。
  • 深度优化：与 DeepSpeed 兼容，利用 ZeRO 优化策略，进一步提高训练性能。

灵活适应

  • 模型多样性：支持多种大语言模型，包括 InternLM、Mixtral-8x7B、Llama2、ChatGLM、Qwen 和 Baichuan 等。
  • 多模态能力：支持 LLaVA 等多模态图文模型的预训练与微调，如表现出色的 LLaVA-InternLM2-20B 模型。
  • 数据管道：设计灵活的数据管道，兼容各种数据格式，无论是开源数据还是自定义数据，都能快速适应。
  • 微调算法：提供 QLoRA、LoRA 及全量参数微调等多种微调算法，满足不同需求。

全能应用

  • 训练模式：支持增量预训练、指令微调及 Agent 微调，适应多种训练场景。
  • 对话模板：预设丰富的开源对话模板，便于与各类模型进行交互。
  • 无缝集成：训练后的模型可直接部署于 LMDeploy，或通过 OpenCompass 和 VLMEvalKit 进行大规模评测。

环境准备

创建工作目录

创建本次微调实践的工作目录 /root/autodl-tmp/ft-learn

# 创建微调工作目录
mkdir -p /root/autodl-tmp/ft-learn# 创建微调数据集存放目录
mkdir -p /root/autodl-tmp/ft-learn/dataset# 创建微调配置文件存放目录
mkdir -p /root/autodl-tmp/ft-learn/config

安装

  • 推荐使用 conda 先构建一个 Python-3.10 的虚拟环境

    conda create --name xtuner-env python=3.10 -y
conda activate xtuner-env

  • 通过 pip 安装 XTuner：

    pip install -U xtuner

    亦可集成 DeepSpeed 安装：

    pip install -U 'xtuner[deepspeed]'

  • 从源码安装 XTuner：

    git clone https://github.com/InternLM/xtuner.git
cd xtuner
pip install -e '.[all]'

安装依赖

# 升级pip
python -m pip install --upgrade pip
# 安装python依赖
pip install modelscope==1.9.5
pip install transformers==4.36.2
pip install streamlit==1.24.0
pip install sentencepiece==0.1.99
pip install accelerate==0.24.1
pip install transformers_stream_generator==0.0.4
pip install einops ujson
pip install protobuf

使用 modelscope 下载模型

使用 modelscope 中的 snapshot_download 函数下载模型，第一个参数为模型名称，参数 cache_dir 为模型的下载路径。

在 Internlm2-7b-chat-web.ipynb 文件中新建一个代码块，运行下载 internlm2-chat-7b 模型。模型下载需要时间，我们直接往下看

from modelscope import snapshot_downloadmodel_dir = snapshot_download('Shanghai_AI_Laboratory/internlm2-chat-7b', cache_dir='/root/autodl-tmp', revision='master')

数据集处理

我自己整理的 心理大模型-职场焦虑语料.xlsx, 通过 gen_qa_json.py 文件生成一个 career_coach.jsonl 文件

运行 python /root/autodl-tmp/ft-learn/dataset/gen_qa_json.py 生成文件，你们也可以按照我的数据语料格式，自定义你们自己的数据集。gen_qa_json.py 文件代码如下：

import pandas as pd
import json# 读取Excel文件
excel_file = './Healthcare.xlsx'  # 替换成实际的Excel文件路径
df = pd.read_excel(excel_file)# 设置system的值
system_value = "你是一个专业的，经验丰富的有健康检测的助手。你总是根据有健康焦虑的病人的问题提供准确、全面和详细的答案。"# 将数据整理成jsonL格式
json_data = []
for index, row in df.iterrows():conversation = [{"system": system_value,"input": str(row['q']),"output": str(row['a'])}]json_data.append({"conversation": conversation})# 将json数据写入文件
output_json_file = 'career_coach.jsonl'  # 替换成实际的输出文件路径
with open(output_json_file, 'w', encoding='utf-8') as f:json.dump(json_data, f, ensure_ascii=False)print("JSONL文件生成成功！")

配置文件准备

Xtuner 已经内置了许多的配置文件。可以通过 Xtuner 查看可配置文件

xtuner list-cfg

由于我们本次的基座微调模型为 internLM2-chat-7b，所以我们可以查看 Xtuner 现在在 InternLM2 下已经支持了哪些配置文件

xtuner list-cfg |grep internlm2

# 复制配置文件
xtuner copy-cfg internlm2_chat_7b_qlora_oasst1_e3 /root/autodl-tmp/ft-learn/config
# 修改配置文件名
mv /root/autodl-tmp/ft-learn/config/internlm2_chat_7b_qlora_oasst1_e3_copy.py  /root/autodl-tmp/ft-learn/config/internlm2_chat_7b_qlora_oasst1_e3_career_coach.py

复制完成之后要修改配置文件的几处参数

# PART 1 中
# 预训练模型存放的位置
pretrained_model_name_or_path = '/root/autodl-tmp/Shanghai_AI_Laboratory/internlm2-chat-7b'# 微调数据存放的位置
data_path = '/root/autodl-tmp/ft-learn/dataset/career_coach.jsonl'# 训练中最大的文本长度
max_length = 512# 每一批训练样本的大小
batch_size = 2# 最大训练轮数
max_epochs = 3# 验证的频率
evaluation_freq = 500# 用于评估输出内容的问题（用于评估的问题尽量与数据集的question保持一致）
evaluation_inputs = [
'我感到在职场中压力很大，总是全身无力、掉头发，我该怎么办？',
'我在生活中总是失眠、头痛，怎样治疗？',
]# PART 3 中
# 如果这里的
无法直接读取json文件
dataset=dict(type=load_dataset, path='json', data_files=dict(train=data_path))
# 这里也得改成None，否则会报错KeyError
dataset_map_fn=None

模型微调

微调启动

xtuner train /root/autodl-tmp/ft-learn/config/internlm2_chat_7b_qlora_oasst1_e3_career_coach.py  --deepspeed deepspeed_zero2

训练完成之后，参数模型存放在 /root/work_dirs/internlm2_chat_7b_qlora_oasst1_e3_career_coach/ 目录下

模型转换成HF

# 新建模型存放的文件夹
mkdir -p /root/work_dirs/internlm2_chat_7b_qlora_oasst1_e3_career_coach/hf
# 添加环境变量
export MKL_SERVICE_FORCE_INTEL=1
# 模型转换
xtuner convert pth_to_hf /root/autodl-tmp/ft-learn/config/internlm2_chat_7b_qlora_oasst1_e3_career_coach.py /root/work_dirs/internlm2_chat_7b_qlora_oasst1_e3_career_coach/iter_51.pth/ /root/work_dirs/internlm2_chat_7b_qlora_oasst1_e3_career_coach/hf

合并HF adapter 到LLM

mkdir -p /root/autodl-tmp/ft-learn/mergedexport MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER='GNU'# 原始模型参数存放的位置
export NAME_OR_PATH_TO_LLM=/root/autodl-tmp/Shanghai_AI_Laboratory/internlm2-chat-7b# Hugging Face格式参数存放的位置
export NAME_OR_PATH_TO_ADAPTER=/root/work_dirs/internlm2_chat_7b_qlora_oasst1_e3_career_coach/hf# 最终Merge后的参数存放的位置
mkdir -p /root/autodl-tmp/ft-learn/merged/internlm2_cc_hf_merge
export SAVE_PATH=/root/autodl-tmp/ft-learn/merged/internlm2_cc_hf_merge# 执行参数Merge
xtuner convert merge \$NAME_OR_PATH_TO_LLM \$NAME_OR_PATH_TO_ADAPTER \$SAVE_PATH \--max-shard-size 2GB

Xtuner多轮对话介绍

XTuner 训练多轮对话模型时，采取了一种更加充分高效的方法。将多轮对话进行拼接，之后输入模型，并行计算每个位置的 loss，而只有 Output 部分的 loss 参与回传。

XTuner 中多轮对话数据集格式如下所示：

[{"conversation":[{"system": "You are an AI assistant.""input": "Hello?","output": "Hello! How can I help you?"},{"input": "What's the date today?","output": "Today is Monday, August 14, 2023."},{"input": "Thank you!","output": "You are welcome."}]
},
{"conversation":[{"system": "You are an AI assistant.""input": "Hello?","output": "Hello! How can I help you?"},{"input": "How's the weather today in Rosso?","output": "The weather in Rosso on Wednesday, August 16th, is going to be cloudy for most of the day, together with moderate rain around noon."},{"input": "Thank you!","output": "You are welcome."}]
}]

数据集中的 “conversation” 键对应的值是一个列表，用于保存每一轮对话的指令和实际回答（GroundTruth）。为了保持格式统一，增量预训练数据集和单轮对话数据集中的 “conversation” 键也对应一个列表，只不过该列表的长度为 1。而在多轮对话数据集中，“conversation” 列表的长度为 n，以容纳 n 轮的对话内容。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/25776.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

C++~~期末复习题目讲解---lijiajia版本

C++~~期末复习题目讲解---lijiajia版本

目录 1.类和对象 （3）创建对象的个数 （3）全局变量，局部变量 （4）构造函数的执行次数 （5）静态动态析构和构造顺序 （6）初始化顺序和声明顺序 &a…
阅读更多...
安装systemd-bootchart

安装systemd-bootchart

要安装systemd-bootchart，你可以按照以下步骤进行： 步骤一：更新软件包列表 首先，打开终端并更新你的软件包列表，以确保你拥有最新的可用软件包信息。运行以下命令： sudo apt update步骤二：安…
阅读更多...
Git使用总结（git使用，git实操，git命令和常用指令）

Git使用总结（git使用，git实操，git命令和常用指令）

简介：Git是一款代码版本管理工具，可以记录每次提交的代码，防止代码丢失，可实现版本迭代，解决代码冲突，常用的远程Git仓库：Gitee（国内）、GitHub（国外&#xff…
阅读更多...
接口请求的六种常见方式详解（get、post、head等）

接口请求的六种常见方式详解（get、post、head等）

一．接口请求的六种常见方式： 1、Get 向特定资源发出请求（请求指定页面信息，并返回实体主体） 2、Post 向指定资源提交数据进行处理请求（提交表单、上传文件），又可能导致新的资源的建…
阅读更多...
封装console

封装console

目的 1. 封装console.log , 使得打印更美观方便 2. 同时希望上线后不在打印消耗资源 例图： export const prettyLog () > {const isProduction import.meta.REACT_APP_ENV "prod";const isEmpty (value) > {return value null || val…
阅读更多...
Flutter 实现dispose探测控件

Flutter 实现dispose探测控件

文章目录 前言一、什么是dispose探测控件？1、通常情况2、使用dispose探测控件 二、如何实现1、继承StatefulWidget2、定义dipose回调3、定义child4、重载Dispose方法5、build child 三、完整代码四、使用示例1、基本用法2、设置定义数据 总结 前言 开发flutter一般…
阅读更多...
Java 期末复习 习题集

Java 期末复习 习题集

💖 单选题 💖 填空题 💖 判断题 💖 程序阅读题 1. 读代码写结果 class A {int m 5;void zengA(int x){m m x;}int jianA(int y){return m - y;} }class B extends A {int m 3;int jianA(int z){return super.jianA(z) m;} …
阅读更多...
Chapter 6 Frequency Response of Amplifiers

Chapter 6 Frequency Response of Amplifiers

Chapter 6 Frequency Response of Amplifiers 这一节我们学习单极和差分运放的频率响应. 6.1 General Considerations 我们关心magnitude vs 频率, 因此有低通, 带通, 高通滤波器 6.1.1 Miller Effect Miller’s Theorem 考虑impedance Z1和Z2, X和Y之间增益为Av. Z1 Z/(…
阅读更多...
spring 启动顺序

spring 启动顺序

BeanFactoryAware 可在Bean 中获取 BeanFactory 实例 ApplicationContextAware 可在Bean 中获取 ApplicationContext 实例 BeanNameAware 可以在Bean中得到它在IOC容器中的Bean的实例的名字。 ApplicationListener 可监听 ContextRefreshedEvent等。 CommandLineRunner 整…
阅读更多...
数据结构与算法笔记：基础篇 - 二叉树基础（下）：有了如此高效的散列表，为什么还需要二叉树？

数据结构与算法笔记：基础篇 - 二叉树基础（下）：有了如此高效的散列表，为什么还需要二叉树？

概述 上篇文章，我们学习了树、二叉树及二叉树的遍历，本章来学习一种特殊的二叉树，二叉查找树。二叉查找树最大的特点就是，支持动态数据集合的快速插入、删除、查找操作。 之前说过，散列表也是支持这些操作的&#xf…
阅读更多...
盘点2024年5月Sui生态发展，了解Sui近期成长历程！

盘点2024年5月Sui生态发展，了解Sui近期成长历程！

2024年5月是Sui的第一个生日月，Sui迎来了它的上线一周年纪念日。在过去的一年中Sui在技术进步与创新、生态系统的扩展、社区发展与合作伙伴关系以及重大项目和应用推出方面取得重要进展，展示了其作为下一代区块链平台的潜力。 以下是Sui的近期成长历程集…
阅读更多...
QT 信号和槽 通过自定义信号和槽沟通 如何自定义槽和信号的业务，让它们自动关联 自定义信号功能

QT 信号和槽 通过自定义信号和槽沟通 如何自定义槽和信号的业务，让它们自动关联 自定义信号功能

通过信号和槽机制通信，通信的源头和接收端之间是松耦合的： 源头只需要顾自己发信号就行，不用管谁会接收信号；接收端只需要关联自己感兴趣的信号，其他的信号都不管；只要源头发了信号，关联该信号…
阅读更多...
STM32 | 独立看门狗 | RTC(实时时钟)

STM32 | 独立看门狗 | RTC(实时时钟)

01、独立看门狗概述 在由单片机构成的微型计算机系统中，由于单片机的工作常常会受到来自外界电磁场的干扰，造成程序的跑飞，而陷入死循环，程序的正常运行被打断，由单片机控制的系统无法继续工作，会造成整个系统的陷入停滞状态，发生不可预料的后果，所以出于对单片机运行状…
阅读更多...
QQ号码采集器-QQ邮箱采集器

QQ号码采集器-QQ邮箱采集器

寅甲QQ邮箱采集器或QQ号码采集软件, 一款采集QQ号、QQ邮件地址，采集QQ群成员、QQ好友的软件。可以按关键词采集，如可以按地区、年龄、血型、生日、职业等采集。采集速度非常快且操作很简单。
阅读更多...
BoardLight - hackthebox

BoardLight - hackthebox

简介 靶机名称：BoardLight 难度：简单 靶场地址：https://app.hackthebox.com/machines/603 本地环境 靶机IP ：10.10.11.11 ubuntu渗透机IP(ubuntu 22.04)：10.10.16.17 windows渗透机IP（windows11&…
阅读更多...
从欧盟弹性法案看软件物料清单（SBOM）

从欧盟弹性法案看软件物料清单（SBOM）

随着网络安全意识的提升和相关法规的推动，SBOM在国际上网络安全实践中的重要性日益凸显。 例如：美国国土安全部（DHS）的 “软件供应链评估工具包”（SCAT）就鼓励软件供应商提供SBOM，以帮助买方评…
阅读更多...
重新认识Word —— 制作简历

重新认识Word —— 制作简历

重新认识Word —— 制作简历 PPT的图形减除功能word中的设置调整页边距进行排版表格使用 我们之前把word长排版文本梳理了一遍，其实word还有另外的功能，比如说——制作简历。 在这之前，我们先讲一个小技巧： PPT的图形减除功能 …
阅读更多...
【数据结构】栈和队列--＞理解和实现（赋源码)

【数据结构】栈和队列--＞理解和实现（赋源码)

Toc 欢迎光临我的Blog，喜欢就点歌关注吧♥ 前面介绍了顺序表、单链表、双向循环链表，基本上已经结束了链表的讲解，今天谈一下栈、队列。可以简单的说是前面学习的一特殊化实现，但是总体是相似的。 前言 栈是一种特殊的线性表&…
阅读更多...
VISIO安装教程+安装包

VISIO安装教程+安装包

文章目录 01、什么是VISIO？02、安装教程03、常见安装问题解析 01、什么是VISIO？ Visio是由微软开发的流程图和图表绘制软件，它是Microsoft Office套件的一部分。Visio提供了各种模板和工具，使用户能够轻松创建和编辑各种类型的图…
阅读更多...
【微信小程序开发（从零到一）】——个人中心页面的实战项目（二）

【微信小程序开发（从零到一）】——个人中心页面的实战项目（二）

👨‍💻个人主页：开发者-曼亿点 👨‍💻 hallo 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍💻 本文由 曼亿点 原创 👨‍💻 收录于专栏&#xff1a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023