书生·浦语大模型实战营第四节课笔记及作业

XTuner 大模型单卡低成本微调实战

1 Finetune简介

大语言模型LLM是在海量的文本内容基础上，以无监督或半监督方式进行训练的。海量的文本内容赋予了大模型各种各样的行业知识。但是如果直接把大模型的知识用于生产实践，会发现回答不大满意。微调的目的就是让LLM在具体的场景或领域中能够得到更好的回答。
在这里插入图片描述

1.1 指令跟随微调

如下图所示，海量的预训练数据训练出来的模型是Base模型。在没有进行指令微调之前，输入一些专业知识，它可能不知道这是一个问题，只是在拟合数据的分布。而通过指令微调，我们获得了Instructed LLM，它就能很好的解释这方面的专业知识。
在这里插入图片描述
指令微调的实现过程：首先要对训练数据进行角色指定来完成对话模板的构建。
在这里插入图片描述
每个开源模型对应的对话模板都不尽相同：
在这里插入图片描述
在实际预测阶段，用户是无需做上述角色指定的。用户输入内容被放入了User部分，System部分是由模板自动添加的，在启动预测的时候可以自定义相关的模板。由Xtuner工具自动完成预测部分的模板组装。
在这里插入图片描述
在完成了对话模板的构建之后，将这些数据输入给模型，并只对答案的部分计算损失Loss。

1.2 增量预训练微调

在这里插入图片描述
增量预训练的数据不存在问答，只有陈述句。在增量预训练过程中，只有output部分，其他部分都留空。

1.3 LoRA和QLoRA

在这里插入图片描述
在这里插入图片描述

2 XTuner微调框架

在这里插入图片描述

2.1 XTuner快速上手

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.2 XTuner数据引擎

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3 8GB显存玩转LLM

在这里插入图片描述
在这里插入图片描述

4 动手实战环节

详细过程XTuner 大模型单卡低成本微调实战文档记录的很清楚了，跟着文档一步步来就行！

5 基础作业

XTuner InternLM-Chat 个人小助手认知微调实践
要求：构建数据集，使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手！

5.1 微调环境准备

# InternStudio 平台中，从本地 clone 一个已有 pytorch 2.0.1 的环境（后续均在该环境执行，若为其他环境可作为参考）
# 进入环境后首先 bash
bash
conda create --name personal_assistant --clone=/root/share/conda_envs/internlm-base
# 如果在其他平台：
# conda create --name personal_assistant python=3.10 -y# 激活环境
conda activate personal_assistant
# 进入家目录 （~的意思是 “当前用户的home路径”）
cd ~
# 创建版本文件夹并进入，以跟随本教程
# personal_assistant用于存放本教程所使用的东西
mkdir /root/personal_assistant && cd /root/personal_assistant
mkdir /root/personal_assistant/xtuner019 && cd /root/personal_assistant/xtuner019# 拉取 0.1.9 的版本源码
git clone -b v0.1.9  https://github.com/InternLM/xtuner
# 无法访问github的用户请从 gitee 拉取:
# git clone -b v0.1.9 https://gitee.com/Internlm/xtuner# 进入源码目录
cd xtuner# 从源码安装 XTuner
pip install -e '.[all]'

5.2 数据准备

创建data文件夹用于存放用于训练的数据集：

mkdir -p /root/personal_assistant/data && cd /root/personal_assistant/data

在data目录下创建一个json文件personal_assistant.json作为本次微调所使用的数据集。json中内容可参考下方(复制粘贴n次做数据增广，数据量小无法有效微调，下面仅用于展示格式，下面也有生成脚本)，其中conversation表示一次对话的内容，input为输入，即用户会问的问题，output为输出，即想要模型回答的答案：

[{"conversation": [{"input": "请介绍一下你自己","output": "我是zpc的小助手，内在是上海AI实验室书生·浦语的7B大模型哦"}]},{"conversation": [{"input": "请做一下自我介绍","output": "我是zpc的小助手，内在是上海AI实验室书生·浦语的7B大模型哦"}]}
]

以下是一个python脚本，用于生成数据集。在data目录下新建一个generate_data.py文件，将以下代码复制进去，然后运行该脚本即可生成数据集：

import json# 输入你的名字
name = 'zpc'
# 重复次数
n = 10000data = [{"conversation": [{"input": "请做一下自我介绍","output": "我是{}的小助手，内在是上海AI实验室书生·浦语的7B大模型哦".format(name)}]}
]for i in range(n):data.append(data[0])with open('personal_assistant.json', 'w', encoding='utf-8') as f:json.dump(data, f, ensure_ascii=False, indent=4)

5.3 配置准备

下载模型InternLM-chat-7B
InternStudio 平台的 share 目录下已经为我们准备了全系列的 InternLM 模型，可以使用如下命令复制InternLM-chat-7B：

mkdir -p /root/personal_assistant/model/Shanghai_AI_Laboratory
cp -r /root/share/temp/model_repos/internlm-chat-7b /root/personal_assistant/model/Shanghai_AI_Laboratory

XTuner 提供多个开箱即用的配置文件，用户可以通过下列命令查看：

# 列出所有内置配置
xtuner list-cfg

#创建用于存放配置的文件夹config并进入
mkdir /root/personal_assistant/config && cd /root/personal_assistant/config

拷贝一个配置文件到当前目录：xtuner copy-cfg ${CONFIG_NAME} ${SAVE_PATH} 在本例中：（注意最后有个英文句号，代表复制到当前路径）

xtuner copy-cfg internlm_chat_7b_qlora_oasst1_e3 .

修改拷贝后的文件internlm_chat_7b_qlora_oasst1_e3_copy.py，修改下述位置：

在这里插入图片描述

红框为配置文件中PART 1需要修改的内容

在这里插入图片描述

红框为配置文件中PART 3需要修改的内容

即：

# PART 1 中
# 预训练模型存放的位置
pretrained_model_name_or_path = '/root/personal_assistant/model/Shanghai_AI_Laboratory/internlm-chat-7b'# 微调数据存放的位置
data_path = '/root/personal_assistant/data/personal_assistant.json'# 训练中最大的文本长度
max_length = 512# 每一批训练样本的大小
batch_size = 2# 最大训练轮数
max_epochs = 3# 验证的频率
evaluation_freq = 90# 用于评估输出内容的问题（用于评估的问题尽量与数据集的question保持一致）
evaluation_inputs = [ '请介绍一下你自己', '请做一下自我介绍' ]# PART 3 中
dataset=dict(type=load_dataset, path='json', data_files=dict(train=data_path))
dataset_map_fn=None

5.4 微调启动

用xtuner train命令启动训练：

xtuner train /root/personal_assistant/config/internlm_chat_7b_qlora_oasst1_e3_copy.py

在这里插入图片描述

会在训练完成后，输出用于验证的Sample output

5.5 微调后参数转换/合并

训练后的pth格式参数转Hugging Face格式：

# 创建用于存放Hugging Face格式参数的hf文件夹
mkdir /root/personal_assistant/config/work_dirs/hfexport MKL_SERVICE_FORCE_INTEL=1# 配置文件存放的位置
export CONFIG_NAME_OR_PATH=/root/personal_assistant/config/internlm_chat_7b_qlora_oasst1_e3_copy.py# 模型训练后得到的pth格式参数存放的位置
export PTH=/root/personal_assistant/config/work_dirs/internlm_chat_7b_qlora_oasst1_e3_copy/epoch_3.pth# pth文件转换为Hugging Face格式后参数存放的位置
export SAVE_PATH=/root/personal_assistant/config/work_dirs/hf# 执行参数转换
xtuner convert pth_to_hf $CONFIG_NAME_OR_PATH $PTH $SAVE_PATH

Merge模型参数：

export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER='GNU'# 原始模型参数存放的位置
export NAME_OR_PATH_TO_LLM=/root/personal_assistant/model/Shanghai_AI_Laboratory/internlm-chat-7b# Hugging Face格式参数存放的位置
export NAME_OR_PATH_TO_ADAPTER=/root/personal_assistant/config/work_dirs/hf# 最终Merge后的参数存放的位置
mkdir /root/personal_assistant/config/work_dirs/hf_merge
export SAVE_PATH=/root/personal_assistant/config/work_dirs/hf_merge# 执行参数Merge
xtuner convert merge \$NAME_OR_PATH_TO_LLM \$NAME_OR_PATH_TO_ADAPTER \$SAVE_PATH \--max-shard-size 2GB

5.6 网页DEMO

安装网页Demo所需依赖：

pip install streamlit==1.24.0

下载InternLM项目代码：

# 创建code文件夹用于存放InternLM项目代码
mkdir /root/personal_assistant/code && cd /root/personal_assistant/code
git clone https://github.com/InternLM/InternLM.git

将 /root/personal_assistant/code/InternLM/web_demo.py 中 29 行和 33 行的模型路径更换为Merge后存放参数的路径 /root/personal_assistant/config/work_dirs/hf_merge：
在这里插入图片描述
然后运行 /root/personal_assistant/code/InternLM 目录下的 web_demo.py 文件，输入以下命令后：

cd /root/personal_assistant/code/InternLM/
streamlit run web_demo.py --server.address 127.0.0.1 --server.port 6006

根据教程5.2节配置本地端口，将端口映射到本地。最后，在本地浏览器输入 http://127.0.0.1:6006 ，模型开始加载，在加载完模型之后，就可以与微调后的 InternLM-Chat-7B 进行对话了，如下图所示：
在这里插入图片描述

参考文献：

1、文档：XTuner 大模型单卡低成本微调实战
2、视频：XTuner 大模型单卡低成本微调实战
3、作业参考答案

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/627229.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

2、NumPy ndarray：多维数组对象基础

2、NumPy ndarray：多维数组对象基础

目录 1. ndarray 对象简介 2. 创建 ndarray 从现有数据创建 使用内置函数创建 使用范围和间隔创建数组 使用随机函数创建数组 3. 数组属性和数据类型 常用属性 数据类型转换 1. ndarray 对象简介 NumPy 的 ndarray 是一个多维数组对象，它支持快速的、向量化…
阅读更多...
adb wifi 远程调试 安卓手机 命令

adb wifi 远程调试 安卓手机 命令

使用adb wifi 模式调试需要满足以下前提条件： 手机 和 PC 需要在同一局域网下。手机需要开启开发者模式，然后打开 USB 调试模式。 具体操作步骤如下： 将安卓手机通过 USB 线连接到 PC。（连接的时候，会弹出请求&#x…
阅读更多...
零花钱也能设计精美网页！推荐几个免费设计素材站点！

零花钱也能设计精美网页！推荐几个免费设计素材站点！

UI设计师最怕什么？ 没有创意，没有灵感，没有思路！ 在哪里可以得到idea？别担心，往下看！ 你知道网络有多大，你想要什么吗？今天，我想和大家分享一些宝藏网页设…
阅读更多...
解决flask中jinja2插值变量变成字符串的办法

解决flask中jinja2插值变量变成字符串的办法

今天在通过使用{{ variable_name }}这种方式插入html内容时，发现变量内容到了页面中全部变成了字符串， python代码： return render_template(FilePath.file_path_to_page,md_contenthtml_content # 返回html内容 )html代码中插入&#xff1…
阅读更多...
【IAP】FreeRTOS多线程环境下调用NVIC_SystemReset()系统复位函数出现问题

【IAP】FreeRTOS多线程环境下调用NVIC_SystemReset()系统复位函数出现问题

衔接 上篇 调好写入Flash失败后，又出现新问题： 由BOOT跳APP再跳APP,在升级接受升级文件过程中，突然出现系统复位，而且出现位置和时间都是随机的。 定位问题 尝试改RTOS空间大小 本以为是FreeRTOS空间给小了，尝试加大还…
阅读更多...
最简单爱心的解析

最简单爱心的解析

首先你需要了解爱心代码在直角坐标系的方程 数学知识&#xff1a;x 属于 -1.5 ~ 1.5 y 属于 -1 ~ 1.5 和 高中所学的线性规划 请看代码 #include <math.h> #include <stdlib.h> #include <Windows.h> #include <stdio.h> int main() { …
阅读更多...
MySQL中varchar(100)和Oracle 中varchar2(100)

MySQL中varchar(100)和Oracle 中varchar2(100)

MySQL中的VARCHAR(100)和Oracle中的VARCHAR2(100)虽然在概念上相似&#xff0c;但是在细节上存在差异&#xff0c;这些差异体现在存储方式、性能优化、字符集处理等方面。 MySQL中VARCHAR(100)和Oracle中的VARCHAR2(100) MySQL中的VARCHAR(100) 在MySQL中&#xff0c;VARCH…
阅读更多...
【REST2SQL】10 REST2SQL操作指南

【REST2SQL】10 REST2SQL操作指南

【REST2SQL】01RDB关系型数据库REST初设计 【REST2SQL】02 GO连接Oracle数据库 【REST2SQL】03 GO读取JSON文件 【REST2SQL】04 REST2SQL第一版Oracle版实现 【REST2SQL】05 GO 操作 达梦 数据库 【REST2SQL】06 GO 跨包接口重构代码 【REST2SQL】07 GO 操作 Mysql 数据库 【RE…
阅读更多...
谭浩强C语言程序设计习题-循环结构程序设计

谭浩强C语言程序设计习题-循环结构程序设计

最大公约数与最小公倍数 //辗转相除法求公约公倍 #include <stdio.h>int gcd(int a, int b) {return (a % b 0) ? b : gcd(b, a % b); }int main() {int m, n;scanf("%d %d", &m, &n); int ans gcd(m, n);printf("%d %d\n", ans, m * n…
阅读更多...
ESP系列入门教程(四)——之MQTT通信实现设备反控【分别附上 ESP32 + ESP8266 的具体代码】

ESP系列入门教程(四)——之MQTT通信实现设备反控【分别附上 ESP32 + ESP8266 的具体代码】

ESP系列入门教程<四> 概要技术名词简介● ESP系列简介● MQTT简介 硬件连接实现&#xff08;同教程2&#xff0c;没有变化&#xff09;代码实现●Demo&#xff1a;通过MQTT进行开关灯反控○ ESP8266代码○ ESP32代码 特别鸣谢 概要 最近在跟着几个大佬的教学视频做项目。…
阅读更多...
02--数据定义语言DDL

02--数据定义语言DDL

1、数据定义语言DDL 1.1 操作数据库-DDL 创建数据库 create database 数据库名称; 创建数据库&#xff0c;并指定字符集 create database 数据库名称 character set 字符集名; 查询所有数据库的名称 show databases; 查询某个数据库的字符集:查询某个数据库的创建语句及字…
阅读更多...
Raft算法

Raft算法

内容出自 : https://www.bilibili.com/video/BV1eL411578r/?spm_id_from333.337.search-card.all.click raft具备良好的容错能力&#xff0c;能够在系统出现复杂的故障时依旧能够保证数据的一致性 能够继续对外提供服务 在raft协议中&#xff0c;分布式系统的每个节点有三个…
阅读更多...
Qemu 之安装（源码安装）

Qemu 之安装（源码安装）

Qemu 之安装 Qemu 有两种安装方式&#xff1a; apt 下载二进制文件&#xff0c;可以直接用&#xff0c;但是换版本、卸载等比较麻烦源码编译安装&#xff0c;需要一定的配置&#xff0c;但是自由度比较高 这里主要介绍源码编译安装的方式&#xff1a; 0、安装依赖 这部分参…
阅读更多...
AboutAndroid 多语种适配框架，兼容高版本，适配第三方库语种

AboutAndroid 多语种适配框架，兼容高版本，适配第三方库语种

语种切换框架 项目地址&#xff1a;Github 可以扫码下载 Demo 进行演示或者测试&#xff0c;如果扫码下载不了的&#xff0c;点击此处可直接下载 集成步骤 如果你的项目 Gradle 配置是在 7.0 以下&#xff0c;需要在 build.gradle 文件中加入 allprojects {repositories {…
阅读更多...
微服务介绍

微服务介绍

背景 微服务是什么?杜克大学教授DanAriely说过一段非常出名的话&#xff0c;用来表述Big Data的发展现状。我觉得把这句话放到微服务身上也极其贴切。 Micro-services is like teenage sex: Everyone talks about it, nobody really knows how to do it, everyo ne thinks ev…
阅读更多...
excel(vab)删除空行

excel(vab)删除空行

删除第一、二、三列位空的所有行&#xff08;8000)行范围以内 代码如下&#xff1a; Sub Macro1()Dim hang As Integer For hang 8000 To 1 Step -1If Sheet1.Cells(hang, 1) "" And Sheet1.Cells(hang, 2) "" And Sheet1.Cells(hang, 3) "&quo…
阅读更多...
系统性学习vue-vue中的ajax

系统性学习vue-vue中的ajax

vue中的ajax 配置代理常用发送Ajax请求方式跨域方式一方式二 vue-resource插槽默认插槽具名插槽作用域插槽 配置代理 常用发送Ajax请求方式 xhr new XMLHttpRequest() 在真正开发中不常用&#xff0c;比较麻烦jQuery 封装了xhraxios 封装了xhr 与jQuery相比优势是&#xff1a…
阅读更多...
怎样才能找到合适的产品说明书模板 方法献上

怎样才能找到合适的产品说明书模板 方法献上

制作一份专业而吸引人的产品手册对于企业来说至关重要。然而&#xff0c;对于许多企业和个人而言&#xff0c;制作产品手册可能是一个挑战&#xff0c;因为需要一定的设计和排版能力。为了帮助大家更轻松地制作出优质的产品手册&#xff0c;下面将向大家推荐三款优秀的产品手册…
阅读更多...
大物小练-判断题题解

大物小练-判断题题解

一、判断题 1.检验电荷受到的电场力F方向就是电场强度E的方向。&#xff08; B&#xff09; A对 B错 解释&#xff1a;场强E的切线方向才和受力F的方向相同 2.电容器电容的大小与导体的形状、相对位置、其间的电介质有关&#xff0c;与其所带的电荷量无关。A A对 B错 解释…
阅读更多...
Ovtio不同版本下载

Ovtio不同版本下载

关注 M r . m a t e r i a l , \color{Violet} \rm Mr.material\ , Mr.material , 更 \color{red}{更} 更 多 \color{blue}{多} 多 精 \color{orange}{精} 精 彩 \color{green}{彩} 彩&#xff01; 主要专栏内容包括&#xff1a; †《LAMMPS小技巧》&#xff1a; ‾ \textbf…
阅读更多...
最新文章

Copyright @ 2022~2023