第十五章:基于BERT模型的LoRA训练与resume方法(huggingface)

文章目录

  • 前言
  • 一、LoRA训练与Resume方法Demo
    • 1、LoraConfig配置文件介绍
    • 2、PEFT的LoRA训练的完整Demo
    • 3、LoRA训练与LoRA的resume训练
      • 1、LoRA训练
      • 2、LoRA的resume训练
    • 4、PEFT的LoRA训练方法
  • 二、权重载入
    • 1、参数
    • 2、文件路径获取
    • 3、config加载更新
    • 4、权重文件加载
      • 1、不同条件权重载入
      • 2、os.path.isfile(weights_file) or os.path.isfile(safe_weights_file)条件载入权重
      • 3、is_peft_available() and isinstance(model, PeftModel)条件载入权重
      • 4、else条件载入权重
    • 5、特定文件重点解释
  • 三、LoRA权重载入(def load_adapter(self, model_id: str, adapter_name: str, is_trainable: bool = False, **kwargs: Any))
    • 1、load_adapter完整源码
    • 2、adapter的config参数处理
    • 3、LoRA权重文件获取(file_name)
    • 4、LoRA权重文件加载
    • 5、载入LoRA权重
      • 1、完整源码(set_peft_model_state_dict)
      • 2、获取config值
      • 3、获得Lora权重值
      • 4、模型加工为模型能加载Lora权重变量
      • 5、模型加载LoRA权重
      • 6、set_peft_model_state_dict返回值
    • 6、load_adapter返回值
  • 四、optimizer、scheduler与状态_load_rng_state载入
  • 五、LoRA训练推理合并模型方法
    • 1、LoRA权重合并Demo
    • 2、LoRA权重合模型变量变化
  • 六、LoRA权重合于模型权重保存
    • 1、保存合并lora权重Demo
    • 2、保存合并权重说明

前言

在huggingface中,很多情况是使用LoRA方法来训练模型。有关LoRA训练获得权重与加载,以及如何LoRA继续resume训练等问题,尚未有一个较好文章说明。因此,本文将详细说明LoRA相关内容。首先介绍了LoRA(Low-Rank Adaptation)的原理及相关内容;其次也对训练相关各种模型权重、LoRA权重、配置文件、优化器、调度器以及训练器状态和随机状态保存方法;接着给出了关于LoRA训练与恢复方法Demo与介绍,包括LoraConfig配置文件介绍和PEFT的LoRA训练;并进一步解读huggingface训练期间的LoRA权重等内容加载源码解读;最后,给出训练完后LoRA权重如何与原始模型合并Demo,以此实现模型推理。而本文是给出LoRA训练Demo与LoRA的resume的Demo及LoRA合并推理和保存内容。

一、LoRA训练与Resume方法Demo

1、LoraConfig配置文件介绍

在训练之前,我们有必要解读下相关Lora的config文件配置,其源码如下:

@dataclass
class LoraConfig(PeftConfig)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/853484.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

一款不写代码的开源爬虫工具!!【送源码】

爬虫,也被称为网络爬虫或网络蜘蛛,是一种自动化的网络机器人,其主要功能是按照一定的规则,自动浏览互联网并从网页中提取信息。 作为一个开发人员,相信大家都尝试过写一些爬虫,合理的利用一些爬虫工具&…

金融行业的等保测评要求

金融行业的等保(网络安全等级保护)测评要求是确保金融机构的信息系统达到一定的安全保护水平,以保护客户信息和金融交易的安全。等保测评在金融行业中的具体要求和流程主要包括以下几个方面: 等保级别 金融行业信息系统依据其重…

深入理解并打败C语言难关之一————指针(4)

前言: 我们在前面的几讲中已经讲了指针的很多内容了,现在我们开始层层递进,要探寻更多的指针喽,不多废话了,直接进入正题,开始今天的指针之旅喽! 目录: 1.字符指针变量 1.1常量字符…

k8s pv使用nfs挂载券需要授权

以下是一个/etc/exports文件的示例,它设置了一个名为/shared的目录,允许192.168.1.0/24网段的所有客户端以读写权限访问该目录: 首选创建/shared目录 mkdir -p /shared ​​​​​​​ /shared 192.168.1.0/24(rw,sync,no_root_squash) …

MEGALODON:突破传统,实现高效无限上下文长度的大规模语言模型预训练和推理

在人工智能领域,尤其是在自然语言处理(NLP)中,大模型(LLMs)的预训练和推理效率一直是研究的热点。最近,一项突破性的研究提出了一种新型神经网络架构——MEGALODON,旨在解决传统Tran…

python怎么连接以太坊,python实现数据上传以太坊

目录 python怎么连接以太坊 python实现数据上传以太坊 python怎么连接以太坊 要在Python中连接以太坊网络,通常你需要使用以太坊的客户端(如Geth或Parity)以及一个Python库来与这些客户端进行交互。最常用的Python库之一是web3.py,它提供了与以太坊网络交互的功能。 以…

PyTorch 索引与切片-Tensor基本操作

以如下 tensor a 为例,展示常用的 indxing, slicing 及其他高阶操作 >>> a torch.rand(4,3,28,28) >>> a.shape torch.Size([4, 3, 28, 28])Indexing: 使用索引获取目标对象,[x,x,x,....] >>> a[0].shape torch.Size([3, 2…

认识与学习JSP

JSP核心技术 什么是JSP JSP全称是Java Server Pages,它和servle技术一样,都是SUN公司定义的一种用于开发动态web资源的技术。JSP/Servlet规范。JSP实际上就是Servlet JSP这门技术的最大的特点在于,写jsp就像在写html,但它相比htm…

阿里新发布的UniAnimate现高效人像动画生成;在ComfyUI中使用Stable 3模型;音频版的gpt2o;将 PDF 文档转换为音频播客

✨ 1: UniAnimate 阿里新发布的UniAnimate通过统一的视频扩散模型,实现高效人像动画生成,支持长视频生成 UniAnimate 是一种专注于一致性人像动画生成的统一视频扩散模型。该模型通过映射参考图像、姿势指导和噪声视频到一个共同特征空间,实…

ZED双目相机环境配置

官方资料:stereolabs/zed-python-api: Python API for the ZED SDK (github.com) 1,配置ZED相机环境 1.安装CUDA 查看电脑是否安装CUDA,安装过程可参考以下博文: 如何选择匹配的CUDA版本:https://blog.csdn.net/iam…

MoCo v3(ICCV 2021)

paper:An Empirical Study of Training Self-Supervised Vision Transformers official implementation:https://github.com/facebookresearch/moco-v3 出发点 本文并没有提出一种新的方法,而是对计算机视觉领域最近进展中的一个重要且基础…

C++杂记

文章目录 前言cin1. getline(cin, str)2. cin.getline(arr, number)3. cin.get()4. cin >> variable_name5. cin.clear(); 动态内存1. 可以在动态声名数组的同时进行初始化。 数组1. &arr[0]2. &arr3. 数组输入指定长度和非数字时,停止 前言 在写《C…

C++中的组合模式

目录 组合模式(Composite Pattern) 实际应用 文件系统 组织结构 图形对象 总结 组合模式(Composite Pattern) 组合模式是一种结构型设计模式,它将对象组合成树形结构以表示“部分-整体”的层次结构。组合模式使…

沃尔玛自养号测评:优势与技术要求解析

沃尔玛自养号测评是一种卖家在沃尔玛平台上提升店铺权重和排名的营销手段。传统运营策略的局限性日益显现,如营销手段单一、难以应对市场竞争等。因此,许多卖家为了提升店铺权重和排名,选择了自养号测评这一技术手段。 以下是对沃尔玛自养号…

关于BERT和embedding

embedding到一个低维向量,但是需要回到onehot高维表示,所以大部分填词游戏最后都需要加上一个MLP接头。 word2vec如此简单的结构,学习到的是embedding 基于计数的统计方法和word2vec融合就形成了glove词嵌入模型 总结:通过各种…

消费者消费数据时报错:INVALID_REPLICATION_FACTOR

今天部署了kafka集群,三台服务器,启动后,生产者发送数据,消费者接收数据的时候报错,INVALID_REPLICATION_FACTOR。 查了很多资料,说是要改kafka下config目录的server.properties,可能是副本数太小&#xff…

WPS中XLS表格使用的技巧记录

我遇到一个问题,xls表格中有一列数据的格式是会计专用,金额前面有货币符号,但是我想复制这列数据为普通的文本,并且在后面添加.00,有什么方法可以做到。 TEXT(B2, “0”) & “.00”

【第5章】Stable Diffusion大模型(简介/两种版本/安装/模型推荐/使用方式)ComfyUI基础入门教程

🍩 大模型简介 大模型,又称为Stable Diffusion模型,所有Stable Diffusion的绘图都是以该模型能力为基础上进行的。 发展到现在,大模型已经更新了很多个版本,大家听说过的可能有Stable Diffusion 1.4(简称SD1.4),Stable Diffusion 1.5(简称SD1.5),Stable Diffusion 2.0…

【react】如何合理使用useEffect

useEffect 是 React Hooks API 的一部分,它允许你在函数组件中执行副作用操作,比如数据获取、订阅或者手动更改 DOM。合理使用 useEffect 可以帮助你管理组件的生命周期行为,同时避免不必要的渲染和性能问题。以下是一些关于如何合理使用 useEffect 的建议: 明确依赖项: 当…

【计算机视觉】人脸算法之图像处理基础知识(四)

图像的几何变换 图像的几何变换是指在不改变图像内容的前提下对图像的像素进行空间几何变换。主要包括图像的平移变换、镜像变换、缩放和旋转等。 1.插值算法 插值通常用来放缩图像大小,在图像处理中常见的插值算法有最邻近插值法、双线性插值法、二次立方、三次…