书生·浦语大模型实战营第四节课笔记及作业

XTuner 大模型单卡低成本微调实战

1 Finetune简介

大语言模型LLM是在海量的文本内容基础上，以无监督或半监督方式进行训练的。海量的文本内容赋予了大模型各种各样的行业知识。但是如果直接把大模型的知识用于生产实践，会发现回答不大满意。微调的目的就是让LLM在具体的场景或领域中能够得到更好的回答。
在这里插入图片描述

1.1 指令跟随微调

如下图所示，海量的预训练数据训练出来的模型是Base模型。在没有进行指令微调之前，输入一些专业知识，它可能不知道这是一个问题，只是在拟合数据的分布。而通过指令微调，我们获得了Instructed LLM，它就能很好的解释这方面的专业知识。
在这里插入图片描述
指令微调的实现过程：首先要对训练数据进行角色指定来完成对话模板的构建。
在这里插入图片描述
每个开源模型对应的对话模板都不尽相同：
在这里插入图片描述
在实际预测阶段，用户是无需做上述角色指定的。用户输入内容被放入了User部分，System部分是由模板自动添加的，在启动预测的时候可以自定义相关的模板。由Xtuner工具自动完成预测部分的模板组装。
在这里插入图片描述
在完成了对话模板的构建之后，将这些数据输入给模型，并只对答案的部分计算损失Loss。

1.2 增量预训练微调

在这里插入图片描述
增量预训练的数据不存在问答，只有陈述句。在增量预训练过程中，只有output部分，其他部分都留空。

1.3 LoRA和QLoRA

在这里插入图片描述
在这里插入图片描述

2 XTuner微调框架

在这里插入图片描述

2.1 XTuner快速上手

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.2 XTuner数据引擎

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3 8GB显存玩转LLM

在这里插入图片描述
在这里插入图片描述

4 动手实战环节

详细过程XTuner 大模型单卡低成本微调实战文档记录的很清楚了，跟着文档一步步来就行！

5 基础作业

XTuner InternLM-Chat 个人小助手认知微调实践
要求：构建数据集，使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手！

5.1 微调环境准备

# InternStudio 平台中，从本地 clone 一个已有 pytorch 2.0.1 的环境（后续均在该环境执行，若为其他环境可作为参考）
# 进入环境后首先 bash
bash
conda create --name personal_assistant --clone=/root/share/conda_envs/internlm-base
# 如果在其他平台：
# conda create --name personal_assistant python=3.10 -y# 激活环境
conda activate personal_assistant
# 进入家目录 （~的意思是 “当前用户的home路径”）
cd ~
# 创建版本文件夹并进入，以跟随本教程
# personal_assistant用于存放本教程所使用的东西
mkdir /root/personal_assistant && cd /root/personal_assistant
mkdir /root/personal_assistant/xtuner019 && cd /root/personal_assistant/xtuner019# 拉取 0.1.9 的版本源码
git clone -b v0.1.9  https://github.com/InternLM/xtuner
# 无法访问github的用户请从 gitee 拉取:
# git clone -b v0.1.9 https://gitee.com/Internlm/xtuner# 进入源码目录
cd xtuner# 从源码安装 XTuner
pip install -e '.[all]'

5.2 数据准备

创建data文件夹用于存放用于训练的数据集：

mkdir -p /root/personal_assistant/data && cd /root/personal_assistant/data

在data目录下创建一个json文件personal_assistant.json作为本次微调所使用的数据集。json中内容可参考下方(复制粘贴n次做数据增广，数据量小无法有效微调，下面仅用于展示格式，下面也有生成脚本)，其中conversation表示一次对话的内容，input为输入，即用户会问的问题，output为输出，即想要模型回答的答案：

[{"conversation": [{"input": "请介绍一下你自己","output": "我是zpc的小助手，内在是上海AI实验室书生·浦语的7B大模型哦"}]},{"conversation": [{"input": "请做一下自我介绍","output": "我是zpc的小助手，内在是上海AI实验室书生·浦语的7B大模型哦"}]}
]

以下是一个python脚本，用于生成数据集。在data目录下新建一个generate_data.py文件，将以下代码复制进去，然后运行该脚本即可生成数据集：

import json# 输入你的名字
name = 'zpc'
# 重复次数
n = 10000data = [{"conversation": [{"input": "请做一下自我介绍","output": "我是{}的小助手，内在是上海AI实验室书生·浦语的7B大模型哦".format(name)}]}
]for i in range(n):data.append(data[0])with open('personal_assistant.json', 'w', encoding='utf-8') as f:json.dump(data, f, ensure_ascii=False, indent=4)

5.3 配置准备

下载模型InternLM-chat-7B
InternStudio 平台的 share 目录下已经为我们准备了全系列的 InternLM 模型，可以使用如下命令复制InternLM-chat-7B：

mkdir -p /root/personal_assistant/model/Shanghai_AI_Laboratory
cp -r /root/share/temp/model_repos/internlm-chat-7b /root/personal_assistant/model/Shanghai_AI_Laboratory

XTuner 提供多个开箱即用的配置文件，用户可以通过下列命令查看：

# 列出所有内置配置
xtuner list-cfg

#创建用于存放配置的文件夹config并进入
mkdir /root/personal_assistant/config && cd /root/personal_assistant/config

拷贝一个配置文件到当前目录：xtuner copy-cfg ${CONFIG_NAME} ${SAVE_PATH} 在本例中：（注意最后有个英文句号，代表复制到当前路径）

xtuner copy-cfg internlm_chat_7b_qlora_oasst1_e3 .

修改拷贝后的文件internlm_chat_7b_qlora_oasst1_e3_copy.py，修改下述位置：

在这里插入图片描述

红框为配置文件中PART 1需要修改的内容

在这里插入图片描述

红框为配置文件中PART 3需要修改的内容

即：

# PART 1 中
# 预训练模型存放的位置
pretrained_model_name_or_path = '/root/personal_assistant/model/Shanghai_AI_Laboratory/internlm-chat-7b'# 微调数据存放的位置
data_path = '/root/personal_assistant/data/personal_assistant.json'# 训练中最大的文本长度
max_length = 512# 每一批训练样本的大小
batch_size = 2# 最大训练轮数
max_epochs = 3# 验证的频率
evaluation_freq = 90# 用于评估输出内容的问题（用于评估的问题尽量与数据集的question保持一致）
evaluation_inputs = [ '请介绍一下你自己', '请做一下自我介绍' ]# PART 3 中
dataset=dict(type=load_dataset, path='json', data_files=dict(train=data_path))
dataset_map_fn=None

5.4 微调启动

用xtuner train命令启动训练：

xtuner train /root/personal_assistant/config/internlm_chat_7b_qlora_oasst1_e3_copy.py

在这里插入图片描述

会在训练完成后，输出用于验证的Sample output

5.5 微调后参数转换/合并

训练后的pth格式参数转Hugging Face格式：

# 创建用于存放Hugging Face格式参数的hf文件夹
mkdir /root/personal_assistant/config/work_dirs/hfexport MKL_SERVICE_FORCE_INTEL=1# 配置文件存放的位置
export CONFIG_NAME_OR_PATH=/root/personal_assistant/config/internlm_chat_7b_qlora_oasst1_e3_copy.py# 模型训练后得到的pth格式参数存放的位置
export PTH=/root/personal_assistant/config/work_dirs/internlm_chat_7b_qlora_oasst1_e3_copy/epoch_3.pth# pth文件转换为Hugging Face格式后参数存放的位置
export SAVE_PATH=/root/personal_assistant/config/work_dirs/hf# 执行参数转换
xtuner convert pth_to_hf $CONFIG_NAME_OR_PATH $PTH $SAVE_PATH

Merge模型参数：

export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER='GNU'# 原始模型参数存放的位置
export NAME_OR_PATH_TO_LLM=/root/personal_assistant/model/Shanghai_AI_Laboratory/internlm-chat-7b# Hugging Face格式参数存放的位置
export NAME_OR_PATH_TO_ADAPTER=/root/personal_assistant/config/work_dirs/hf# 最终Merge后的参数存放的位置
mkdir /root/personal_assistant/config/work_dirs/hf_merge
export SAVE_PATH=/root/personal_assistant/config/work_dirs/hf_merge# 执行参数Merge
xtuner convert merge \$NAME_OR_PATH_TO_LLM \$NAME_OR_PATH_TO_ADAPTER \$SAVE_PATH \--max-shard-size 2GB

5.6 网页DEMO

安装网页Demo所需依赖：

pip install streamlit==1.24.0

下载InternLM项目代码：

# 创建code文件夹用于存放InternLM项目代码
mkdir /root/personal_assistant/code && cd /root/personal_assistant/code
git clone https://github.com/InternLM/InternLM.git

将 /root/personal_assistant/code/InternLM/web_demo.py 中 29 行和 33 行的模型路径更换为Merge后存放参数的路径 /root/personal_assistant/config/work_dirs/hf_merge：
在这里插入图片描述
然后运行 /root/personal_assistant/code/InternLM 目录下的 web_demo.py 文件，输入以下命令后：

cd /root/personal_assistant/code/InternLM/
streamlit run web_demo.py --server.address 127.0.0.1 --server.port 6006

根据教程5.2节配置本地端口，将端口映射到本地。最后，在本地浏览器输入 http://127.0.0.1:6006 ，模型开始加载，在加载完模型之后，就可以与微调后的 InternLM-Chat-7B 进行对话了，如下图所示：
在这里插入图片描述

参考文献：

1、文档：XTuner 大模型单卡低成本微调实战
2、视频：XTuner 大模型单卡低成本微调实战
3、作业参考答案

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/627229.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

adb wifi 远程调试 安卓手机 命令

adb wifi 远程调试 安卓手机 命令

使用adb wifi 模式调试需要满足以下前提条件： 手机 和 PC 需要在同一局域网下。手机需要开启开发者模式，然后打开 USB 调试模式。 具体操作步骤如下： 将安卓手机通过 USB 线连接到 PC。（连接的时候，会弹出请求&#x…
阅读更多...
零花钱也能设计精美网页！推荐几个免费设计素材站点！

零花钱也能设计精美网页！推荐几个免费设计素材站点！

UI设计师最怕什么？ 没有创意，没有灵感，没有思路！ 在哪里可以得到idea？别担心，往下看！ 你知道网络有多大，你想要什么吗？今天，我想和大家分享一些宝藏网页设…
阅读更多...
解决flask中jinja2插值变量变成字符串的办法

解决flask中jinja2插值变量变成字符串的办法

今天在通过使用{{ variable_name }}这种方式插入html内容时，发现变量内容到了页面中全部变成了字符串， python代码： return render_template(FilePath.file_path_to_page,md_contenthtml_content # 返回html内容 )html代码中插入&#xff1…
阅读更多...
最简单爱心的解析

最简单爱心的解析

首先你需要了解爱心代码在直角坐标系的方程 数学知识&#xff1a;x 属于 -1.5 ~ 1.5 y 属于 -1 ~ 1.5 和 高中所学的线性规划 请看代码 #include <math.h> #include <stdlib.h> #include <Windows.h> #include <stdio.h> int main() { …
阅读更多...
【REST2SQL】10 REST2SQL操作指南

【REST2SQL】10 REST2SQL操作指南

【REST2SQL】01RDB关系型数据库REST初设计 【REST2SQL】02 GO连接Oracle数据库 【REST2SQL】03 GO读取JSON文件 【REST2SQL】04 REST2SQL第一版Oracle版实现 【REST2SQL】05 GO 操作 达梦 数据库 【REST2SQL】06 GO 跨包接口重构代码 【REST2SQL】07 GO 操作 Mysql 数据库 【RE…
阅读更多...
谭浩强C语言程序设计习题-循环结构程序设计

谭浩强C语言程序设计习题-循环结构程序设计

最大公约数与最小公倍数 //辗转相除法求公约公倍 #include <stdio.h>int gcd(int a, int b) {return (a % b 0) ? b : gcd(b, a % b); }int main() {int m, n;scanf("%d %d", &m, &n); int ans gcd(m, n);printf("%d %d\n", ans, m * n…
阅读更多...
ESP系列入门教程(四)——之MQTT通信实现设备反控【分别附上 ESP32 + ESP8266 的具体代码】

ESP系列入门教程(四)——之MQTT通信实现设备反控【分别附上 ESP32 + ESP8266 的具体代码】

ESP系列入门教程<四> 概要技术名词简介● ESP系列简介● MQTT简介 硬件连接实现&#xff08;同教程2&#xff0c;没有变化&#xff09;代码实现●Demo&#xff1a;通过MQTT进行开关灯反控○ ESP8266代码○ ESP32代码 特别鸣谢 概要 最近在跟着几个大佬的教学视频做项目。…
阅读更多...
02--数据定义语言DDL

02--数据定义语言DDL

1、数据定义语言DDL 1.1 操作数据库-DDL 创建数据库 create database 数据库名称; 创建数据库&#xff0c;并指定字符集 create database 数据库名称 character set 字符集名; 查询所有数据库的名称 show databases; 查询某个数据库的字符集:查询某个数据库的创建语句及字…
阅读更多...
微服务介绍

微服务介绍

背景 微服务是什么?杜克大学教授DanAriely说过一段非常出名的话&#xff0c;用来表述Big Data的发展现状。我觉得把这句话放到微服务身上也极其贴切。 Micro-services is like teenage sex: Everyone talks about it, nobody really knows how to do it, everyo ne thinks ev…
阅读更多...
excel(vab)删除空行

excel(vab)删除空行

删除第一、二、三列位空的所有行&#xff08;8000)行范围以内 代码如下&#xff1a; Sub Macro1()Dim hang As Integer For hang 8000 To 1 Step -1If Sheet1.Cells(hang, 1) "" And Sheet1.Cells(hang, 2) "" And Sheet1.Cells(hang, 3) "&quo…
阅读更多...
系统性学习vue-vue中的ajax

系统性学习vue-vue中的ajax

vue中的ajax 配置代理常用发送Ajax请求方式跨域方式一方式二 vue-resource插槽默认插槽具名插槽作用域插槽 配置代理 常用发送Ajax请求方式 xhr new XMLHttpRequest() 在真正开发中不常用&#xff0c;比较麻烦jQuery 封装了xhraxios 封装了xhr 与jQuery相比优势是&#xff1a…
阅读更多...
怎样才能找到合适的产品说明书模板 方法献上

怎样才能找到合适的产品说明书模板 方法献上

制作一份专业而吸引人的产品手册对于企业来说至关重要。然而&#xff0c;对于许多企业和个人而言&#xff0c;制作产品手册可能是一个挑战&#xff0c;因为需要一定的设计和排版能力。为了帮助大家更轻松地制作出优质的产品手册&#xff0c;下面将向大家推荐三款优秀的产品手册…
阅读更多...
Ovtio不同版本下载

Ovtio不同版本下载

关注 M r . m a t e r i a l , \color{Violet} \rm Mr.material\ , Mr.material , 更 \color{red}{更} 更 多 \color{blue}{多} 多 精 \color{orange}{精} 精 彩 \color{green}{彩} 彩&#xff01; 主要专栏内容包括&#xff1a; †《LAMMPS小技巧》&#xff1a; ‾ \textbf…
阅读更多...
2024年汉字小达人区级选拔备考——附加题：汉字和国学常识

2024年汉字小达人区级选拔备考——附加题：汉字和国学常识

上海的孩子们已经率先开启了悠长的寒假生活。在寒假期间&#xff0c;除了完成寒假生活、学校安排和要求外&#xff0c;还可以做些什么呢&#xff1f;不妨来为2024年汉字小达人做些准备吧&#xff01;每天花个15分钟左右&#xff0c;背一背、做一做&#xff0c;轻松掌握汉字小达…
阅读更多...
翻译: Streamlit从入门到精通 构建一个机器学习应用程序 三

翻译: Streamlit从入门到精通 构建一个机器学习应用程序 三

Streamlit从入门到精通 系列&#xff1a; 翻译: Streamlit从入门到精通 基础控件 一翻译: Streamlit从入门到精通 显示图表Graphs 地图Map 主题Themes 二 1. 构建一个机器学习应用程序 在这一部分&#xff0c;我将带你了解我做的一个关于贷款预测的项目。 贷款的主要利润直…
阅读更多...
“15个必备的自动化测试工具，助你构建2024年的自动化策略！“

“15个必备的自动化测试工具，助你构建2024年的自动化策略！“

以下为作者观点&#xff1a; 如何选择正确的自动化测试工具&#xff1f;自动化测试工具是旨在通过自动化测试脚本验证功能或非功能软件需求的应用程序&#xff0c;帮助加快发布速度、提高项目质量并强化成果。 自动化测试工具可以帮助开发测试人员轻松创建、运行和维护测试&a…
阅读更多...
PlatformIO中ESP8266使用GxEPD库和U8G2库驱动 2.9寸黑白墨水屏显示中文

PlatformIO中ESP8266使用GxEPD库和U8G2库驱动 2.9寸黑白墨水屏显示中文

Content 0. 前言1. 安装platformIO环境2. 新建工程3. 添加外部库4. 修改U8g2_for_Adafruit_GFX库5. 代码和烧录 0. 前言 墨水屏是黄鱼淘的&#xff0c;效果还不错。 U8G2库一直编译不进去&#xff0c;显示汉字始终不太美观&#xff0c;个人一直不太喜欢汉字取模的方法&#x…
阅读更多...
【RabbitMQ】RabbitMQ高级：死信队列和延迟队列

【RabbitMQ】RabbitMQ高级：死信队列和延迟队列

目录 设置TTL&#xff08;过期时间&#xff09;概述RabbitMQ使用TTL原生API案例springboot案例 死信队列概述原生API案例springboot案例 延迟队列概述插件实现延迟队列安装插件代码 TTL实现延迟队列实现延迟队列优化 设置TTL&#xff08;过期时间&#xff09; 概述 在电商平台…
阅读更多...
Komodor：Kubernetes 监控工具全面指南

Komodor：Kubernetes 监控工具全面指南

为了方便起见&#xff0c;Komodor 提供了一个简单的 Web 界面&#xff0c;以帮助您监控 Kubernetes 集群的状态。它拥有付费和免费增值计划&#xff0c;除了在出现问题时通知用户外&#xff0c;还拥有一系列方便的工具&#xff0c;用于跟踪和管理集群中部署的资源的状态。让我们…
阅读更多...
计算机网络 应用层

计算机网络 应用层

文章目录 应用层域名系统 DNS域名系统概述互联网的域名结构域名服务器 文件传送协议FTP 概述FTP 的基本工作原理简单文件传送协议 TFTP 远程终端协议 TELNET万维网 WWW统一资源定位符 URL超文本传送协议 HTTP万维网的信息检索系统 电子邮件电子邮件概述简单邮件传送协议 SMTP邮…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023