LLaMA Factory多卡微调的实战教程(持续更新)

  大家好,我是herosunly。985院校硕士毕业,现担任算法研究员一职,热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名,CCF比赛第二名,科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。

  本文主要介绍了LLaMA Factory多卡微调的实战教程(持续更新),希望对学习大语言模型的同学们有所帮助。需要说明的是,本篇是LLaMA Factory发生重大更新后的迭代版本,所以会持续进行更新。

文章目录

  • 1. 前言
  • 2. 配置环境
    • 2.1 安装虚拟环境
    • 2.2 安装依赖库
    • 2.3 模型选型与下载
    • 2.4 配置多卡环境
  • 3. 运行代码
    • 3.1 构建训练数据
    • 3.2 修改配置文件
    • 3.3 微调
      • 3.3.1 zero3微调
      • 3.3.2 启动API
      • 3.3.3 模型测试

1. 前言

  在之前博客中介绍了LLaMA Factory单机微调的实战教程,但模型参数量大了以后,必须就要使用多卡进行微调和训练了。尤其最近新出了几个效果很不错的开源大模型,比如Qwen 2-72B-Chat、Qwen1.5-72B-Chat、Command R+(104B),所以即使是A100 80G,也需要多卡进行微调。

  一般来说,是使用deepspeed进行多卡微调的。但是配置环境却并不是那么一帆风顺的。为了帮助同学们加快多卡微调的进度,最终将逐步的操作过程总结如下。希望能对遇到同样需求的同学们有所帮助。

在这里插入图片描述

2. 配置环境

  需要说明的是以下两点:

  1. 本文是在Centos 7+C

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/26954.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Apache HttpClient总览

一、重大版本 Apache HttpClient 4.x 系列 • HttpClient 4.0(发布于2008年左右):这是一个重要的里程碑,标志着HttpClient从Jakarta Commons项目转移到Apache HttpComponents项目。4.0版进行了大量的重构,引入了新…

【OpenVINO™】使用 OpenVINO™ C++ 异步推理接口部署YOLOv8 ——在Intel IGPU 上实现80+FPS视频推理

​ OpenVINO Runtime支持同步或异步模式下的推理。Async API的主要优点是,当设备忙于推理时,应用程序可以并行执行其他任务(例如,填充输入或调度其他请求),而不是等待当前推理首先完成。 当我们使用异步API…

ubuntu20.04设置共享文件夹

ubuntu20.04设置共享文件夹 一,简介二,操作步骤1,设置Windows下的共享目录2,挂载共享文件夹3,测试是否挂载成功 一,简介 在公司电脑上,使用samba设置共享文件夹,IT安全部门权限不通…

PythonWeb项目-Django+vue宾馆管理系统功能介绍

本项目源码:基于Python的Django-vue宾馆管理系统源码-参考文档资源-CSDN文库 项目关键技术 开发工具:Pycharm 编程语言: Python 数据库: MySQL5.7 框架:Django、vue 前端:Vue、ElementUI 关键技术:Django、vue、MYSQL…

【网络安全】【深度学习】【入侵检测】SDN模拟网络入侵攻击并检测,实时检测,深度学习【二】

文章目录 1. 习惯终端2. 启动攻击3. 接受攻击4. 宿主机查看h2机器 1. 习惯终端 上次把ubuntu 22自带的终端玩没了,治好用xterm: 以通过 AltF2 然后输入 xterm 尝试打开xterm 。 然后输入这个切换默认的终端: sudo update-alternatives --co…

全新取图系统搭建,广泛应用,轻松解决找图难问题!

前言 在数字化高速发展的时代,图片已成为人们日常交流不可或缺的一部分。每个社交平台我们都需要头像、背景等去打造属于我们自己的一张名片。为了满足大众日益增长的需求,并创造更多的收益机会,搭建一款先进的取图系统真的很必要。 一、这款…

Android FirebaseApp.initializeApp(this)无法初始化

记录一个奇葩问题 昨天把Android studio升级,迁移项目之后,爆出FirebaseApp.initializeApp(this)无法初始化的错误 在清楚缓存重启,重构项目,升级com.google.firebase:firebase-bom版本,修改初始化位置都失败后,把相关依赖从bom改为单独依赖 implementation("com.googl…

RabbitMQ概述

RabbitMQ RabbitMQ概述 RabbitMQ是一个开源的消息代理(message broker)系统,最初由Rabbit Technologies Ltd开发,并在开源社区的支持下不断发展和完善。它提供了强大的消息传递机制,被广泛应用于构建分布式系统和应用…

1058 选择题(测试点1)

solution 把题目设置为结构体,记录题目的总分,做错该题的人数,题目编号(从1开始),正确答案。对于输入的学生答案提取每道题的回答,与答案对比是否相等,若相等则该同学的分数加上这一…

私域流量转化不济的原因

你是不是也曾感到私域流量的转化一直不如意?让我来告诉你,这六大问题是为什么,以及如何轻松解决它们,提升你的私域流量转化率! 1. 问题:目标不明确 你是否常常感到茫然,不知道私域流量应该有何目…

算法笔记 图论和优先级队列的笔记

图论 DFS stack O(h) 不具有最短性 BFS queue O(2^h) 最短路 迪杰斯特拉算法 Dijkstra算法 初始化: 将起始节点 A 的距离设为 0。将其他所有节点的距离设为无穷大。创建一个优先队列,并将起始节点 A 加入优先队列。 处理队列…

易保全网络赋强公证系统,“公证赋强+科技赋能”双重增信

网络赋强公证系统是一种创新的法律服务模式,旨在通过线上方式赋予债权文书强制执行效力。具体来说,该系统结合了互联网技术与公证业务,允许公证机构根据当事人的申请,利用互联网公证技术手段对互联网上的债权文书进行公证&#xf…

算法训练营day06--242.有效的字母异位词+349. 两个数组的交集+202. 快乐数+1. 两数之和

一、242.有效的字母异位词 题目链接:https://leetcode.cn/problems/valid-anagram/description/ 文章讲解:https://programmercarl.com/0242.%E6%9C%89%E6%95%88%E7%9A%84%E5%AD%97%E6%AF%8D%E5%BC%82%E4%BD%8D%E8%AF%8D.html 视频讲解:http…

知识图谱存在的挑战---基础知识库相关和开发工具相关

文章目录 基础知识库相关开发工具相关 基础知识库相关 基础知识库是构建知识图谱的主要数据来源,包括维基百科、Freebase、YAGO、及国内的Zhishi.me、CN-Dbpedia、X-lore等。但在构建大规模知识图谱时将涉及不同基础知识库数据,而且在不同基础知识库的融…

是否可以购买外链?

答案是可以,但要看你买什么外链,有价值的自然外链价格肯定也高,随便到某些平台发的外链,哪怕是相关的高权重平台,作用也有限,当然,你要大批量购买,说不定也能出一点效果,…

基于Java的诊所医院管理系统,springboot+html,MySQL数据库,用户+医生+管理员三种身份,完美运行,有一万一千字论文

演示视频 基本介绍 基于Java的诊所医院管理系统,springboothtml,MySQL数据库,用户医生管理员三种身份,完美运行,有一万一千字论文。 用户:个人信息管理、预约医生、查看病例、查看公告、充值、支付费用...…

【CT】LeetCode手撕—53. 最大子数组和

目录 题目1-思路2- 实现⭐53. 最大子数组和——题解思路 3- ACM 实现 题目 原题连接:53. 最大子数组和 1-思路 动规五部曲 1. 定义 dp 数组 dp[i] 含义为:下标为 i 的数组的最大子数组和 2. 递推公式 因为所求的是最大子数组的和,即当前 n…

快速掌握JUnit等测试框架的使用,进行Java单元测试

1. 单元测试简介 单元测试(Unit Testing)是一种软件测试方法,通过对软件中的最小可测试单元进行验证,确保它们按预期工作。单元测试通常用于测试一个类的单个方法,以确保其逻辑正确、边界情况处理妥当、异常处理合适。…

【HarmonyOS - UIAbility组件和UI的数据同步】

简述 基于HarmonyOS的应用模型,可以通过以下几种方式来实现UIAbility组件与UI之间的数据同步。 使用EventHub进行数据通信:基于发布订阅模式来实现,事件需要先订阅后发布,订阅者收到消息后进行处理。使用globalThis进行数据同步…

unity 打包PC安装包中常见文件的功能

目录 前言 一、打包好的文件 二、常用文件 1.文件夹XXX_Data 2.文件夹MonoBleedingEdge 3.文件夹XXX_Data内部 三、文件的应用 1.如果你替换了一个图片 2.如果你新增了或减少了图片和资源 3.场景中有变动 4.resources代码加载的资源改了 5.如果你代码替换了 四、作…