XTuner 大模型单卡低成本微调实战

XTuner 大模型单卡低成本微调实战

  • Finetune简介
    • 增量预训练微调
    • 指令跟随微调
    • LoRA
  • XTuner介绍
    • 功能亮点
  • 8GB显存玩转LLM
    • Flash Attention
    • DeepSpeed ZeRO
  • 上手操作
    • 平台
    • 激活环境
    • 微调

参考教程:XTuner

Finetune简介

LLM的下游应用任务中,增量预训练指令跟随是经常会用到的两种微调模式

增量预训练微调

使用场景:让基座模型学习到一些新知识,如某个垂直领域的常识
训练数据:文章、代码、书籍等

指令跟随微调

使用场景:让模型学会对话模版,根据人类指令进行对话
训练数据:高质量的对话、问答数据
在这里插入图片描述

在这里插入图片描述
在实际对话时,经常有三种角色

  • system 给定一些上下文信息 比如:你是一个xxx
  • user 实际用户 给提出一些问题
  • Assistant 根据user的输入,结合system的上下文信息 作出回答
    在这里插入图片描述
    在这里插入图片描述

LoRA

LoRA是通过在原本的Linear旁,新增一个支路,包含两个连续的小Linear 新增的这个支路通常叫做Adapter
Adapter参数远小于原本的Linear 能大幅减低训练的显存消耗。
在这里插入图片描述
在这里插入图片描述

XTuner介绍

功能亮点

适配多种生态

  • 多种微调算法
  • 适配多种开源生态
  • 自动优化加速
    在这里插入图片描述

8GB显存玩转LLM

Flash Attention 和 DeepSpeed ZeRO是XTuner最重要的两个优化技巧

Flash Attention

将Attention计算并行化 避免了计算过程中Attention Score NxN的显存占用

DeepSpeed ZeRO

通过将训练过程中的参数、梯度和优化器状态切片保存,能够在多GPU训练时使用FP16的权重,相较于Pytorch的AMP训练,在单GPU上也能大幅节省显存

在这里插入图片描述

上手操作

平台

Ubuntu + Anaconda + CUDA/CUDNN + 8GB nvidia显卡

激活环境

conda create --name xtuner0.1.9 python=3.10 -y
mkdir xtuner019 && cd xtuner019
git clone -b v0.1.9  https://github.com/InternLM/xtuner
# 进入源码目录
cd xtuner# 从源码安装 XTuner
pip install -e '.[all]'

准备在 oasst1 数据集上微调 internlm-7b-chat

# 创建一个微调 oasst1 数据集的工作路径,进入
mkdir ~/ft-oasst1 && cd ~/ft-oasst1

微调

准备配置文件

XTuner 提供多个开箱即用的配置文件,用户可以通过下列命令查看:
# 列出所有内置配置
xtuner list-cfg

在这里插入图片描述

假如显示bash: xtuner: command not found的话可以考虑在终端输入 export PATH=$PATH:‘/root/.local/bin’
拷贝一个配置文件到当前目录: # xtuner copy-cfg ${CONFIG_NAME} ${SAVE_PATH}

cd ~/ft-oasst1
xtuner copy-cfg internlm_chat_7b_qlora_oasst1_e3 .

配置文件名的解释:
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/624458.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

卓越协同,数字化运维:智能工单系统助力企业解决派单难题-亿发

不少企业的I运维部门在管理制度上存在架构混乱、分工不明、流程不透明等问题,导致部门内部和合作服务商之间的协作常常呈现出“踢皮球”的状态。因此,有效的企业运维协同管理显得尤为关键。然而,如果内部的协同流程设计不合理,过多…

软件测试|使用Python打印五子棋棋盘

简介 五子棋是我们传统的益智类游戏,在制作五子棋时,我们需要先将棋盘打印出来,本文就来介绍一下使用Python打印五子棋棋盘。 步骤一:打印空棋盘 首先,我们需要在Python中定义一个棋盘函数,该函数将打印…

Python语法进阶学习--进程和线程

后续很快就要进入Spark的学习,在学习之前也是要铺垫一个知识点:进程是什么?线程是什么?两者有什么区别?又有什么关系? 一. 并发与并行 并发:在一段时间内快速交替去执行多个任务(多…

DHCP自动获取实验和DNS正向解析实验

一、服务程序 1.1DHCP定义 DHCP(动态主机配置协议)是一个局域网的网络协议。指的是由服务器控制一段IP地址范围,客户机登录服务器时就可以自动获得服务器分配的IP地址和子网掩码。默认情况下,DHCP作为Windows Server的一个服务组…

flex布局 子元素无限撑大元素问题解决

flex 布局下,使用flex:xx 的子项无限撑大容器 祖先容器使用flex布局,父容器使用flex:xx的时候,此时如果父容器下的子项使用宽高100%,子项将会无限撑大容器。 解决办法: 祖先容器使用flex定位时…

基于JavaWeb+BS架构+SpringBoot+Vue电影订票系统系统的设计和实现

基于JavaWebBS架构SpringBootVue电影订票系统系统的设计和实现 文末获取源码Lun文目录前言主要技术系统设计功能截图订阅经典源码专栏Java项目精品实战案例《500套》 源码获取 文末获取源码 Lun文目录 1 绪 论 3 1.1研究背景和意义 3 1.2拟解决的问题及特性 3 1.3论文的结构 …

目标检测中的数据增强

整个代码参考:bubbliiiing/object-detection-augmentation。 random_data.py import cv2 import numpy as np from PIL import Image, ImageDrawdef rand(a=0, b=1):return np.random.rand()*(b-a) + adef get_random_data(annotation_line, input_shape, jitter=.3, hue=.1…

【蓝桥杯/DFS】路径之谜 (Java)

路径之谜小明冒充X星球的骑士,进入了一个奇怪的城堡。 城堡里边什么都没有,只有方形石头铺成的地面。假设城堡地面是 n x n 个方格。【如图1.png】所示。按习俗,骑士要从西北角走到东南角。 可以横向或纵向移动,但不能斜着走&…

vue本地运行开发,为什么要配置changeOrigin: true

changeOrigin: true是在配置反向代理时常见的一个选项,通常用于解决跨域请求的问题。Vue本地运行时,可能会涉及到前端应用与后端服务不在同一个域的情况,这就会触发浏览器的同源策略,阻止跨域请求。 使用Vue CLI(或其…

下一代 Vue3 Devtools 正式开源

什么是 Vue DevTools Vue DevTools 是一个旨在增强 Vue 开发人员体验的工具,它提供了一些功能来帮助开发者更好地了解 Vue 应用程序。 Vue DevTools:Unleash Vue Developer Experience. Enhance your Vue development journey with an amazing experience! 典型的功能特征包…

50天精通Golang(第14天)

一、数据库 1.1 数据库 基本知识 DB: DBMS: 数据库,数据表,表的结构。。 DB:是指datebase(数据库) 数据库是存储数据的一个集合,数据库中通常使用数据表等组成,而数…

3d云渲染用什么显卡比较好?3d云渲染显卡推荐

3D云渲染能加快渲染速度,是众多公司的首选方案,作为公司负责人,选择哪个平台值得思考,今天我就说下我的选择吧。 首先我们要了解云渲染的渲染方式,云渲染的渲染方式分两种,一种是CPU渲染,一种是…

linux下编译ffmpeg 以及交叉编译并引入Android

linux下编译ffmpeg 下载: http://ffmpeg.org/download.html 支持mp3编码:ffmpeg自身只支持mp3的解码但是不支持mp3的编码,如果希望格式转换为mp3,我们可以先安装支持库lame:(使用时: ffmpeg -i audio.wav -acodec libmp3lame audio.mp3) #…

openssl3.2 - 官方demo学习 - keyexch - x25519.c

文章目录 openssl3.2 - 官方demo学习 - keyexch - x25519.c概述笔记END openssl3.2 - 官方demo学习 - keyexch - x25519.c 概述 官方程序中演示了私钥2种key交换的情况: 产生X25519的key对(私钥/公钥), 并交换公钥给对方, 并分别产生会话密钥, 使双方都能持有相同的会话密钥 …

PHP AES加解密示例

以下是一个使用PHP的openssl扩展进行AES加密和解密的示例代码&#xff1a; php复制代码 <?php // 密钥和初始向量 $key your_secret_key; $iv your_initial_vector; // 加密函数 function encryptAES($data, $key, $iv) { $encrypted openssl_encrypt($data, AES-256-C…

解读Vue的原型及原型链

在 JavaScript 中&#xff0c;每个对象都有一个关联的原型&#xff08;prototype&#xff09;。原型是一个对象&#xff0c;其他对象可以通过原型实现属性和方法的继承。原型链是一种由对象组成的链式结构&#xff0c;它通过原型的引用连接了一系列对象&#xff0c;形成了一种继…

克服大模型(LLM)部署障碍,全面理解LLM当前状态

近日&#xff0c;CMU Catalyst 团队推出了一篇关于高效 LLM 推理的综述&#xff0c;覆盖了 300 余篇相关论文&#xff0c;从 MLSys 的研究视角介绍了算法创新和系统优化两个方面的相关进展。 在人工智能&#xff08;AI&#xff09;的快速发展背景下&#xff0c;大语言模型&…

从文本文件或 csv 文件读取信息的示例

如下表格说明文本文件或 csv 文件中的信息如何在 WinCC (TIA Portal) 中显示。 IO 域用作于显示&#xff0c;只有最有一个条目被输出。 注意 在此例中由于最后一条条目被搜索&#xff0c;脚本的运行系统会随着文件的尺寸增长而增长。先前示例中的配置在该示例中不是必须的。但是…

Linux 系统上,你可以使用 cron 定时任务来定期备份 MySQL 数据库

在 Linux 系统上&#xff0c;你可以使用 cron 定时任务来定期备份 MySQL 数据库。以下是一个基本的步骤&#xff0c;假设你已经安装了 MySQL 数据库和使用了 mysqldump 工具来进行备份。 步骤&#xff1a; 创建备份脚本&#xff1a; 创建一个包含备份命令的脚本。在这个例子中…

leetcode 1两数之和

题目 给定一个整数数组 nums 和一个整数目标值 target&#xff0c;请你在该数组中找出 和为目标值 target 的那 两个 整数&#xff0c;并返回它们的数组下标。 你可以假设每种输入只会对应一个答案。但是&#xff0c;数组中同一个元素在答案里不能重复出现。 你可以按任意顺…