XTuner 微调 课程学习

大语言模型于海量的文本内容上,以无监督和半监督的方式进行训练的
模型微调的目的:使其在具体的使用场景或领域中输出更好的回答
在这里插入图片描述
增量预训练——给模型喂新的领域知识;
指令跟随或指令微调——
在这里插入图片描述
基于海量的预训练数据训练出来的模型通常叫做——base模型或预训练模型,在没有进行指令微调的模型上进行测试,模型只是单纯的对给定的输入进行在训练数据集上的拟合,而不能意识到在对模型进行提问,为了让模型在测试过程中有更好的表现,需要对基座模型进行指令微调。

指令微调

在这里插入图片描述
在对基座模型进行指令微调时,首先需要对训练数据进行角色指定
在给模型投喂的一条数据中,数据由一问一答的形式构成,问题和结果分别指定为user和assistant两个角色,system部分的数据按照自己微调的目标领域来书写,如果想微调一个医疗的ai助手,那system的内容可以为:你是一个专业的医生,你总能输出专业且正确的细致且耐心的这种回答。
在同一次微调,同一个数据集中,system的内容往往由于目标的唯一性,是确定的
以上的内容为 对话模板的构建

在这里插入图片描述
在与模型进行对话的过程中(部署的阶段),用户不需要进行角色的分配,用户输入的内容被默认放入user的部分,system部分由模板自动添加,具体的模板在启动预测的时候可以进行自定义,计算损失时,只需要进行assistant部分的损失

指令微调的原理

在这里插入图片描述

增量预训练微调

在这里插入图片描述
进行指令微调的过程中,每条数据都由一问一答的形式构成,但增量训练的数据不需要问题,只需要回答,或者说增量训练的数据,都是一个一个的陈述句,所以每一条训练的数据中system和user的部分只需要留空,增量训练的数据放入到assistant中即可,计算损失时也只需要计算assistant的部分的损失

X Turner中使用的原理——LoRA和QLoRA

在这里插入图片描述
使用LoRA的理由——如果对整个模型的所有参数进行调整,需要非常大的显存才能训练,而LoRA不需要非常大的显存开销
LoRA是一种在原有的模型的线路旁,新增一个旁路分支Adapter,该分支包含两个小的部分(LoRA模型文件 指的就是旁路分支Adapter文件)
QLoRA是对LoRA的一种改进
全参数微调,LoRA和QLoRA的对比
在这里插入图片描述
全参数微调和LoRA微调,模型的参数都需要先加载到显存中,但对LoRA,其参数优化器只需要保存LoRA部分的参数优化器即可;而QLoRA,在加载模型时,就使用4比特量化的方式加载,其优化器也可以在cpu和gpu之间进行调度,即若显存满了,就自动在内存中跑

XTuner

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
一些trick的训练策略

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/624922.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SD-WAN解决跨国公司海外工厂网络安全问题

在跨境业务蓬勃发展的今天,越来越多的大型企业出于人力成本的考虑,在人力成本较低的发展中国家建立工厂。然而,传统基于路由器的网络架构已无法为这些跨国企业提供可靠的安全网络。那么,如何解决跨国企业海外工厂的网络难题呢&…

关于Python —— Python教程

开始 Python 是一个易于学习、使用和高效阅读的编程语言。它具有简洁的英文语法,编写更少的代码,让程序员专注于业务逻辑而不是语言本身。 本教程将从深度、专注细节上去理解 Python 这门语言。初学者可以参考此教程理解相应的内容,本教程将…

选中图层为什么不能建立3D模型---模大狮模型网

在Photoshop CC 2021(也就是PS6)中,要将选中的图层转换为3D模型,需要满足以下几个条件: 图层类型支持:只有特定类型的图层可以被转换为3D模型。通常,普通的像素图层、矢量图层和形状图层都可以进行转换。但是&#xff…

软件测试|Python数据可视化神器——pyecharts教程(十二)

使用pyecharts绘制关系网图 简介 关系网图是一种可视化工具,用于展示各个元素之间的关联关系。在数据分析和可视化中,关系网图通常用于展示网络、社交关系、知识图谱等方面的数据。Pyecharts 是一个功能强大的 Python 数据可视化库,可以轻松…

x-cmd pkg | howdoi - 用于替代浏览器搜索编程问题的命令行工具

目录 简介首次用户技术特点竞品和相关作品进一步阅读 简介 howdoi 一个在终端中查找编程问题的命令行工具和 python 库,可用于从堆栈溯源(Stack Overflow)等编程社区获取搜索问题的答案,并将它们以代码片段的形式显示在命令行中。…

使用记事本修复DBC文件问题V2.0

没想过这种文章也能出第二篇,有个信号没解析出来。 问题现象 回放报文的时候发现需要的信号没有解析出来,报文一共有10个信号,只出来9个。 问题分析 首先就是排查DBC文件,在对应的报文里面有没有这个信号。发现是有的&#xff…

POI-tl 知识整理:整理5 -> 开发一个插件

实现一个插件就是要告诉我们在模板的某个地方用某些数据做某些事情,我们可以通过实现RenderPolicy接口开发自己的插件 模板 1 写一个将标签替换为Hello, world的插件 import com.deepoove.poi.XWPFTemplate; import com.deepoove.poi.policy.RenderPolicy; import…

pandas进行数据计算时如何处理空值的问题?

目录 1.数据预览: 2.解决方法 (1)问题示例 (2)方法 A.方法一 B.方法二 1.数据预览: 2.解决方法 (1)问题示例 如下图如果不理睬这些空值的话,计算总分便也会是空值…

如何部署Wagtail CMS并结合cpolar内网穿透实现远程访问管理界面

文章目录 前言1. 安装并运行Wagtail1.1 创建并激活虚拟环境 2. 安装cpolar内网穿透工具3. 实现Wagtail公网访问4. 固定的Wagtail公网地址 前言 Wagtail是一个用Python编写的开源CMS,建立在Django Web框架上。Wagtail 是一个基于 Django 的开源内容管理系统&#xf…

树莓派4B +Ubuntu20.04+ROS1的使用(2)

首先确定一下主机与从机的ip地址(非常重要) 在这次实验中,主机是一台Ubuntu20.04.03系统的台式机,我们间通过这台准备来远程遥控树莓派上的ros1系统,它的ip地址是192.168.230.181 从机是一台搭载Ubuntu20.04桌面版ro…

pom文件冲突引起的Excel无法下载

问题一:之前生产环境上可以进行下载Excel的功能突然不能用了 报错提示信息: NoClassDefFoundError: Could not initialize class org.apache.poi.xssf.usermodel.XSSFWorkbook, 在最开始初始化的时候找不到对应的类,虽然我的Libr…

力扣 | 49. 字母异位词分组

这里使用HashMap Java package _49;import java.util.*;public class Problem_49_GroupAnagrams {public List<List<String>> groupAngrams(String [] strs){Map<String,List<String>> map new HashMap<>(); // int [] arr new int[]{}…

十三、Three场景物体增加发光特效

物体发光效果非常炫酷,本期来讲three场景内物体自带发光效果怎么来实现。本次使用的是threejs138版本,在vue3+vite+ant的项目中使用。 下面来看看实现的效果。绿色罐体有了明显的发光效果。 实现步骤 增加composer.js import { UnrealBloomPass } from three/examples/jsm/po…

vue前端开发自学,子组件传递数据给父组件,使用$emit

vue前端开发自学,子组件传递数据给父组件,使用$emit 父子组件之间互相传递数据的情况非常常见&#xff0c;下面为大家介绍的是&#xff0c;来自子组件&#xff0c;给父组件传递数据的情况。 <template><h3>组件事件demo</h3><Child someEvent"getI…

第08章_面向对象编程(高级)拓展练习(关键字:static,代码块,关键字:final,抽象类和抽象方法,接口,内部类,枚举类,注解,包装类)

文章目录 第08章_面向对象编程&#xff08;高级&#xff09;拓展练习01-关键字&#xff1a;static1、银行账户类2、图形类3、数组工具类4、二分查找5、二分查找6、素数7、阅读代码&#xff0c;分析运行结果8、阅读代码&#xff0c;分析运行结果 02-代码块9、阅读代码&#xff0…

rocketmq实现延迟队列思路探讨

大家好&#xff0c;我是了不起&#xff0c;专为小白解决痛点的了不起。 一、非任意时间 1、修改 在服务器端&#xff08;rocketmq-broker端&#xff09;的属性配置文件中加入以下行&#xff1a; messageDelayLevel1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h …

Vue高级(二)

3.搭建vuex环境 创建文件&#xff1a;src/store/index.js //引入Vue核心库import Vue from vue//引入Vueximport Vuex from vuex//应用Vuex插件Vue.use(Vuex)//准备actions对象——响应组件中用户的动作const actions {}//准备mutations对象——修改state中的数据const mutat…

Mantle: A Programmable Metadata Load Balancer for the Ceph File System——论文泛读

SC 2015 Paper 元数据论文阅读汇总 问题 优化Ceph的元数据局部性和负载平衡。 现有方法 提高元数据服务性能的最常见技术是在专用的元数据服务器&#xff08;MDS&#xff09;节点之间平衡负载 [16, 25, 26, 21, 28]。常见的方法是鼓励独立增长并减少通信&#xff0c;使用诸…

中文 DarkVoxel Wiki | CSDN

DarkVoxel Wiki 游戏DarkVoxel的中文百科~ 欢迎来到DarkVoxel Wiki&#xff01; 本wiki于 2024/1/15 迁自 Fandom Wiki&#xff08;因为 Fandom 实在是太烂了&#xff09;以后wiki在这里更新&#xff0c;B站专栏只会发布每个版本的更新内容之类的简单资讯&#xff1b;相关视…

【物以类聚】给el-image预览多张图片增加提示文字,让每张图片有所分类

【物以类聚】给el-image预览多张图片增加提示文字&#xff0c;让每张图片有所分类 一、需求二、el-image三、实施步骤3.1 导包3.2 改造3.3 引入 三、效果 一、需求 点击地图上的一张图片&#xff0c;弹出所有相关的图片资源&#xff0c;图片资源上显示每个图片的所属类型。 二…