参数高效微调(PEFT)技术概览

参数高效微调(PEFT)技术概览

在大型语言模型(LLMs)的世界里,参数量庞大,通常在70亿至700亿之间。这些模型的自监着训练成本高昂,对公司可能意味着高达1亿美元的支出。而对于资源相对有限的研究者和公司来说,如何以较低的成本改进这些模型成为了一个关键问题。参数效率微调(PEFT)技术因此应运而生,通过对模型的小部分进行精细调整,实现对特定任务的优化。

Sean Smith在其文章中综合介绍了Hugging Face、谷歌Vertex AI和OpenAI等机构使用的PEFT技术。通过这篇文章,读者能够基本了解PEFT技术的概念,并区分它们之间的不同。

PEFT技术回顾与方法对比:

  • 添加法(Additive Methods):最直接的方法,通过添加额外参数或网络层来增强模型。

    • 适配器(Adapters):在Transformer子层后添加小型全连接网络。
    • (IA)³法:通过新参数增强Transformer块以改善注意力机制。
  • 软提示(Soft-Prompts):避免硬编码数据集的创建,采用连续表示法。

    • 提示调整(Prompt-Tuning):通过可学习的张量优化软提示。
    • 前缀调整(Prefix Tuning):与提示调整相似,但适用于模型的所有层。
    • P调整(P-Tuning):使用LSTM编码提示,增强软提示之间的依赖关系。
  • 重参数化方法(Reparameterization-Based Methods):寻找低维表示的权重矩阵。

    • LoRa:通过学习较小维度矩阵来更新权重矩阵,减少需要学习的参数量。
  • 选择性方法(Selective Methods):选择某些参数进行更新,不更新其他参数。

    • AdaLoRa:结合重参数化和选择性方法的混合方法,通过重要性评分来动态分配参数预算。

文章最后,Smith鼓励读者通过Hugging Face等平台进行PEFT技术实践,旨在帮助读者实现成本效益较高的模型微调。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/753014.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

rlwrap安装

引言 我们在使用sqlplus对oracle数据库进行操作的时候,难免会出现这样一种情况:写完一长串命令后发现中间有书写错误的地方,这个时候如果我们想移动光标去修正错误的地方,会出现类似如下的现象: SQL> select name…

python的封装应用

封装在Python中有许多应用场景,其中一些主要的应用包括: 隐藏实现细节: 通过将数据和实现细节封装在类内部,可以隐藏对象的内部状态和实现细节,从而提高代码的安全性和可维护性。 class BankAccount: def __init…

Codeforces Round 934 (Div. 2) --- C. MEX Game 1 --- 题解

C. MEX Game 1: 题目大意: 思路解析: 重要的是那种只有一个的数字,因为如果这个数字有两个及以上,那么我可以再鲍勃删除之后,再拿,也一定能拿得到,所以瓶颈是只有一个的数字&#x…

爬虫3_爬取翻页URL不变的网站

之前实现了对大学排数据爬取:爬虫2_2019年549所中国大学排名. 近期复现代码,发现原网站升级,在翻页时,发现URL不改变,修改代码,使用网页自动化工具selenium实现对该类网站数据获取。 #-*- coding: UTF-8 -…

活动图高阶讲解-06

31 00:01:52,300 --> 00:02:04,300 刚才讲了,活动里面是动作 32 00:02:04,300 --> 00:02:06,300 这个动作 33 00:02:06,300 --> 00:02:09,300 就可以看作活动的一个 34 00:02:09,300 --> 00:02:13,300 里面的实现的一个行为了 35 00:02:16,300 --&g…

复制word文档,合并word文档

背景 现在有一个需求,需要将多个word文档合并为一个文档,并使用poi-el渲染模板生成一个新的文档。 在网上找了很多,没找到合适的,最后摸索出一个可行方案,基于XWPFDocument.getBodyElements方法的。 其实一开始考虑过…

vue项目跳转html页面

1. 把html页面以及相关文件放到public文件夹下(目的和index.html同级) 2.在vue项目中正常写跳转事件,只是路径写法需要注意

【理解指针(三)】

文章目录 一、数组名的理解(1)数组的地址与数组首元素地址的区别 二、使用指针访问数组(1)一维数组传参的本质 三、冒泡排序(1)什么是冒泡排序(2)写冒泡排序 四、结束语 一、数组名的…

堆排序(向下调整法,向上调整法详解)

目录 一、 二叉树的顺序结构 二、 堆的概念及结构 三、数组存储、顺序存储的规律 此处可能会有疑问,左右孩子的父节点计算为什么可以归纳为一个结论了? 四、大小堆解释 五、大小堆的实现(向上和向下调整法) 5.11向上调整法…

Unity Timeline学习笔记(1) - 创建TL和添加动画片段

Timeline在刚出的时候学习了一下,但是因为一些原因一直都没用在工作中使用。 版本也迭代了很久不用都不会用了,抽时间回顾和复习一下,做一个笔记后面可以翻出来看。 创建Timeline 首先我们创建一个场景,放入一个Plane地板&#…

Linux操作系统-08-常用的网络相关命令

1、ping命令 在linux下ping的话会一直ping下去,在windows下的话它会只ping四次就结束, [rootbastion ~]# ping 192.168.0.102 PING 192.168.0.102 (192.168.0.102) 56(84) bytes of data. 64 bytes from 192.168.0.102: icmp_seq1 ttl64 time0.571 ms…

Linux - 线程互斥和互斥锁

文章目录 前言一、为什么要线程互斥原子性 二、互斥锁互斥锁的创建与销毁互斥锁进行互斥 前言 前几节课,我们学习了多线程的基础概念,这节课,我们来对线程互斥和互斥锁的内容进行学习。 一、为什么要线程互斥 首先我们要明白,对…

悲观锁(Pessimistic Locking)是一种数据库锁定机制

悲观锁(Pessimistic Locking)是一种数据库锁定机制,用于防止多个事务同时修改同一数据记录。以下是关于悲观锁的一些详细信息: 锁定数据:当事务对一条记录进行操作时,悲观锁会阻止其他事务对这条记录进行修…

Matplotlib数据可视化实战-1数据可视化Matplotlib基础

1.1绘图的一般过程: 1.导入相关库 2.生成、读入或计算得到数据; 3.根据需要绘制折线图、散点图、柱状图、饼状图、雷达图、箱线图、三维曲线/曲面以及极坐标系图形; 4.根据需要设置图形属性; 5.显示或保存绘图结果。 例如&…

为什么JDK1.9要允许接口定义私有方法呢?

为什么JDK1.9要允许接口定义私有方法呢? 因为我们说接口是规范,规范是需要公开让大家遵守的。** 私有方法:因为有了默认方法和静态方法这样具有具体实现的方法,那么就可能出现多个方法有共同的代码可以抽取,而这些共…

c语言大小写字母的转换

通过ascll码表我们可以知道大写字母与小写字母相差32个数&#xff08;小写字母比大写字母大&#xff09;。因此&#xff0c;通过相加减32即可转换大小写字母。 #include <stdio.h>int main() {char ch c;char CH A;printf("%c\n", ch - 32);printf("%c…

计算机网络实验——学习记录

1. tun/tap模块&#xff1a;为Linux系统提供网络虚拟功能&#xff0c;tun位于网络OSI模型的三层&#xff08;网络层&#xff09;&#xff0c;tap位于网络的二层&#xff08;数据链路层&#xff09;。 1.1 验证是否包含tun/tap模块&#xff1a;modinfo tun&#xff1b; 1.2 验…

每日学习总结20240313

每日总结 20240313 1. 正则表达式 当使用C语言编写正则表达式的程序时&#xff0c;通常会用到以下四个函数来编译、匹配、释放正则表达式以及处理可能的错误&#xff1a; int regcomp(regex_t *preg, const char *regex, int cflags)int regexec(const regex_t *preg, cons…

Python进程与线程开发

目录 multiprocessing模块 线程的开发 threading模块 setDaemon 死锁 线程间的通信 multiprocessing模块 运行python的时候&#xff0c;我们都是在创建并运行一个进程&#xff0c;(linux中一个进程可以fork一个子进程&#xff0c;并让这个子进程exec另外一个程序)。在pyt…

java高频面试题-高级篇

1&#xff0c;TCP可靠传输除了三次握手&#xff0c;还有其他方式保证可靠性吗&#xff1f; 序列号和确认应答&#xff1a;TCP通过序列号和确认应答机制来确保数据包的有序传输和可靠接收。数据校验和&#xff1a;TCP在每个数据包中都包含一个校验和字段&#xff0c;用于检测数…