大模型微调常见方法

0, prefix tuning 

prefix-tuning 跟 soft prompt tuning 类似,只不过,soft prompt tuning 仅仅针对 transformer模型的输入进行,而prefixt-tuning 是针对 每一个 transformer block进行

soft prompt tuning 跟 hard prompt tuning区别在于 后者的拼接的 话术 是固定的(离散的,不能沟通过梯度下降进行训练),而soft那个是可变的,两者都是 transformer模型的 输入进行的。

1, lora

2, adapter 

3, prompt-tuning(soft prompt, hard prompt)

adapter 和 soft prompt区别是啥,如下图,

  •          adapter 本质上是在ffn之后,增加了一些层(一般也是ffn,可能是ffn+激活+ffn这样搞起来),改变了模型的结构,adapter网络结构可以自定义
  •         soft prompt 是对于 输入 x 后,多头自注意力之前进行了操作,soft promt 经过ffn 之后 再和 x进行相加,从代码上体现来看,两者区别如下图

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/20770.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

PDF流前端如何接收:深度解析与实用策略

PDF流前端如何接收:深度解析与实用策略 在数字化时代,PDF作为一种常见的文件格式,广泛应用于各种场景。然而,如何在前端接收并处理PDF流,对于许多开发者来说仍是一个挑战。本文将从四个方面、五个方面、六个方面和七个…

c++ string模拟实现

模拟实现string类,里面包含四个成员变量,第一个是指向字符数组的指针,第二个变量是目前存放了多少个字符,第三个变量为这个字符数组的容量的大小。最后一个为静态成员变量npos。 注意:一个const 修饰的整型&#xff0…

项目更换服务器时间少8小时

时区错误 输入 date 查看当前的linux系统时间 hwclock --show 查看当前linux硬件时间 如果发现系统时间和硬件时间不同步,而且硬件时间是正确的,可以用以下命令:hwclock --hctosys 把硬件时间同步到系统时间 mysql时区错误可以参考这位大…

云服务器重启后无法访问phpMyAdmin的解决方案

一、背景 我在解决另一问题的时候,重启了云服务器。当我想再次访问phpMyAdmin时,出现了如下报错。 HTTPConnectionPool(host127.0.0.1, port888): Max retries exceeded with url: /phpmyadmin_609a02b02423214c/index.php?langzh_cn (Caused by Ne…

嵌入式知识学习分享~~

欢迎关注小徐的个人微信公众号,感觉微信的文章排版不错,后续会继续分享一些新的学习记录以及和大家共同进步~

如何利用unicloud阿里云云函数实现文件包括图片或文件上传,unicloud云函数写法一览

这里以一个单文件上传为例子,多图多文件同理,循环单图处理逻辑即可。 背景 前端vue上传图片文件(base64格式)到服务器,并获取返回的服务器资源存储路径 传入参数 { ”queryStringParameters“:{ "file":&qu…

Flutter 中的 CustomMultiChildLayout 小部件:全面指南

Flutter 中的 CustomMultiChildLayout 小部件:全面指南 Flutter 是一个由 Google 开发的开源移动 UI 框架,它允许开发者使用 Dart 语言来构建高性能、美观的移动应用。在 Flutter 的丰富组件库中,CustomMultiChildLayout 是一个强大的布局小…

基于广义极大极小凹惩罚的心电信号降噪方法(MATLAB R2021B)

凸优化是数学最优化的一个子领域,研究定义于凸集中的凸函数最小化问题。由于心电信号降噪的过程可以理解为求信号的稀疏近似解,因此基于凸优化和稀疏性表达的去噪方法可用于心电信号处理。在凸优化的数学模型中,惩罚项的选取对最终结果会产生…

如何在测试/线上环境页面访问本地接口?

文章目录 一、前言二、分析三、搭建1、搭建nginx,监听http请求转发2、监听https请求转发 四、总结 一、前言 在工作中,开发完的接口,一般测试的话,基本是使用Postman,如果要到页面测试,就要发版进行测试&a…

年中汇报季?——一文教会你如何进行数据分析

一、常见的数据分析报告类型 数据分析报告通常可以分为三类:日常分析报告、专题型分析报告和综合性分析报告。前两者是以数据结论建议的格式去撰写,综合性分析报告则是:行业环境调研(竞品类产品数据分析)自身产品数据…

面向对象编程的三大特性是什么?

面向对象编程(Object-Oriented Programming,简称OOP)是软件开发中一种重要的编程范式,它通过对象来组织代码和数据,使得代码更加模块化、可重用和易于维护。在面向对象编程中,有三大核心特性:封…

Java:使用Opencv进行大图找小图

本文将介绍使用Java操作Opencv进行行大图找小图测试! 1、OpenCV简介 OpenCV是一个开源计算机视觉库,提供了丰富的图像处理和计算机规觉算法。它支持多种编程语言,包括Java本文将介绍如何在Java中使用OpenCV进行图像处理和计算机视觉任务。 …

自然语言处理(NLP)—— 信息提取与文档分类

1. 初识信息提取 1.1 信息提取的基本知识 1.1.1 信息提取的概念 信息提取(IE, Information Extraction)是自然语言处理(NLP)领域的一个重要分支,它专注于从文档或语料库中提取结构化信息。这与信息检索(I…

TypeScript高级类型技巧:泛型、联合与交叉类型

泛型 在TypeScript中,泛型是一种强大的工具,它允许我们编写可重用的组件,这些组件可以适应多种类型。 1. 泛型约束(Generic Constraints) 泛型可以被约束在一个特定的类型或类型接口上,确保传递给泛型的…

RabbitMQ怎么保证可靠性

RabbitMQ怎么保证可靠性 前言生产端问题解决方案代码验证 RabbitMQ问题消费端问题解决方案代码验证 总结 前言 RabbitMQ相信大家都非常熟悉了,今天咱们来聊聊怎么保证RabbitMQ的可靠性。 那什么时候会出现问题呢? 第一种是生产端出现的问题。我们向队…

第五十天 进入子序列问题 | 300.最长递增子序列 674.最长连续递增序列 718.最长重复子数组

题目:300.最长递增子序列 1.dp数组的定义: 以nums[i]为结尾的最长递增子序列的长度 为什么一定表示 “以nums[i]结尾的最长递增子序” ,因为我们在 做 递增比较的时候,如果比较 nums[j] 和 nums[i] 的大小,那么两个递…

MySQL-事务日志

事务的隔离性由 锁机制 实现 事务的原子性、一致性、隔离性 由事务的 redo日志 和 undo 日志来保证 redo log 称为 重做日志,提供再写入操作,恢复提交事务修改的页操作,用来保证事务的持久性。undo log 称为 回滚日志,回滚行记录…

selenium自动化介绍

文章目录 一、selenium原理 安装二、selenium使用1.创建浏览器对象,访问网址2.消除警告提示3.不显示浏览器中受控制字样4.防检测5.设置延时5.1强制延时5.2隐式延时 6.设置浏览器窗口大小 三、案例实战:百度搜索四、iframe标签五、案例实战:Q…

第一周 数据结构与算法以及复杂度分析

数据结构与算法 算法定义 算法(algorithm)是在有限时间内解决特定问题的一组指令或操作步骤,它具有以下特性。 1.问题是明确的,包含清晰的输入和输出定义。 2.具有可行性,能够在有限步骤、时间和内存空间下完成。 3.…

【第五节】C++的多态性与虚函数

目录 前言 一、子类型 二、静态联编和动态联编 三、虚函数 四、纯虚函数和抽象类 五、虚析构函数 六、重载,重定义与重写的异同 前言 面向对象程序设计语言的三大核心特性是封装性、继承性和多态性。封装性奠定了基础,继承性是实现代码重用和扩展…