大模型微调实战指南:从零开始手把手教你微调大模型

文末有福利!

今天分享一篇技术文章,你可能听说过很多大模型的知识,但却从未亲自使用或微调过大模型。

今天这篇文章,就手把手带你从零微调一个大模型。

大模型微调本身是一件非常复杂且技术难度很高的任务,因此本篇文章仅从零开始,手把手带你走一遍微调大模型的过程,并不会涉及过多技术细节。

希望通过本文,你可以了解微调大模型的流程。

在这里插入图片描述

微调大模型需要非常高的电脑配置,比如GPU环境,相当于你在已经预训练好的基础上再对大模型进行一次小的训练。

但是不用担心,本篇文章会使用阿里魔塔社区提供的集成环境来进行,无需使用你自己的电脑配置环境。

你只需要有浏览器就可以完成。

本次微调的大模型是零一万物的 Yi 开源大语言模型,当然微调其他大模型的过程和原理也有差不多。

这里说明一下,阿里魔塔社区对于新用户提供了几十小时的免费GPU资源进行使用,正好可以来薅一波羊毛,学习一下大模型的微调

话不多说,直接开始。

图片

1. 账号和环境准备

首先你需要注册和登录魔搭的账号:https://modelscope.cn/home

注册完成后,登录这个模型网址:

https://www.modelscope.cn/models/01ai/Yi-1.5-6B**.**

然后按照下面的箭头操作。

图片

图片

选择完方式二:GPU环境后,点击“启动”。

启动大概需要2分钟,等GPU环境启动好以后点击"查看NoteBook"进入。

魔塔社区内置了JupyterLab的功能,你进入之后,可以找到 Notebook 标签,新建一个Notebook(当然你在terminal 里执行也没问题)。

如下箭头所示,点击即可创建一个新的 Notebook 页面。

图片

增添一个代码块,并且执行以下命令(点击左侧的运行按钮运行该代码块,下同,这一步是安装依赖库)。

!pip3 install --upgrade pip
!pip3 install bitsandbytes>=0.39.0

拉取 LLaMA-Factory,过程大约需要几分钟

!git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

图片

接下来需要去 Launcher > Terminal 执行(按照图片剪头指示操作)。

安装依赖的软件,这步需要的时间比较长。

图片

# ⚠️下面两行命令在刚启动的Terminal中执行⚠️
cd LLaMA-Factory
pip3 install -e ".[torch,metrics]"

图片

等以上所有步骤完成后,再进行下面的操作。

2. 下载模型

零一万物的 Yi 开源大语言模型的权重可以在HuggingFace和ModelScope上找到,这里我选择从ModelScope上下载。

零一万物的所有开源模型链接在这里:

https://www.modelscope.cn/organization/01ai/

模型下载需要一定的时间,这里选择了最小的Yi-1.5-6B-chat模型进行实验。

模型的说明在这里:

https://www.modelscope.cn/models/01ai/Yi-1.5-6B-Chat/summary

在这里插入图片描述

Yi-1.5-6B-chat模型大小大约12G,下载大约需要10分钟(取决于网速)。

接下来,你通过下面的命令就可以在 notebook 里执行下载(在 terminal也一样,如果需要在terminal执行需要去掉前面的!)。

!git clone https://www.modelscope.cn/01ai/Yi-1.5-6B-Chat.git

图片

这一步,耐心等待下载完成即可。

3. 微调Yi模型实战

等以上所有步骤完成后,准备工作就做好了,现在可以开始准备微调了。

⚠️注意:虽然本篇文章仅仅是简单的过一遍微调的流程,但是不要低估他的难度。微调跑起来很容易,但是跑出很好的结果非常的难。

开源社区有许多非常优秀的专门用于微调代码库具体的你可以参考这里:

https://github.com/01-ai/Yi-1.5?tab=readme-ov-file#fine-tuning

站在巨人的肩膀上开始这次实战,这里选择llama_factory。

LLaMA Factory是一款开源低代码大模型微调框架,集成了业界广泛使用的微调技术。llama_factory 的介绍可以在这里查看:

https://github.com/hiyouga/LLaMA-Factory

4. 开始微调

a. 创建微调训练相关的配置文件

在左侧的文件列表,Llama-Factory的文件夹里,打开examples\train_qlora(注意不是 train_lora)下提供的llama3_lora_sft_awq.yaml,复制一份并重命名为yi_lora_sft_bitsandbytes.yaml。

图片

图片

这个文件里面写着和微调相关的关键参数。

打开这个文件,将第一行model_name_or_path更改为你下载模型的位置。

### model
model_name_or_path: <你下载的模型位置,不要带括号,比如我写了../Yi-1.5-6B-Chat>

同样修改其他行的内容,下面是我的修改,你可以逐行对比一下,有不一致或缺少的就添加一下。

在这里插入图片描述

从上面的配置文件中可以看到,本次微调的数据集是 identity。

那这个文件里面写着什么呢?

你可以打开这个文件看一下:https://github.com/hiyouga/LLaMA-Factory/blob/main/data/identity.json。

图片

微调数据集是“自我认知”,也就是说当你问模型“你好你是谁”的时候,模型会告诉你我叫name由author开发。

如果你把数据集更改成你自己的名字,那你就可以微调一个属于你自己的大模型。

这一步,你可以将 identity.json 中的 {{name}} 字段替换为你的名字来微调一个属于自己的大模型。

保存刚才对于 yi_lora_sft_bitsandbytes.yaml 文件的更改,回到终端terminal。

在 LLaMA-Factory 目录下,输入以下命令启动微调脚本(大概需要10分钟)

llamafactory-cli train examples/train_qlora/yi_lora_sft_bitsandbytes.yaml

图片

看到进度条就是开始微调了。

图片

运行过程大概需要10分钟,当你看到下面这个界面的时候,微调过程就结束了。

图片

5. 推理测试

微调后的模型有什么不同的地方呢?

这里加载微调后模型进行推理,测试微调前后变化。

参考Llama-Factory文件夹中,examples\inference下提供的llama3_lora_sft.yaml,复制一份,并重命名为 yi_lora_sft.yaml

图片

将内容更改为,并且保存*(一定记得保存)*

在这里插入图片描述

回到刚刚结束微调的终端Terminal,运行下面的推理命令(同样在Llama-Factory目录下运行)。

llamafactory-cli chat examples/inference/yi_lora_sft.yaml

稍微等待一下模型加载,然后就可以聊天了。

可以看到模型的自我身份认知被成功的更改了。

自我身份认知更改成为数据集规定的样子了,同时也保持了通用对话能力。

那么,和没有经过微调之前的模型对比有什么差别呢?

重复上面的步骤,将llama3.yaml复制并重命名为yi.yaml,将内容更改为以下的内容,并保存(一定记得保存)

model_name_or_path: ../Yi-1.5-6B-Chat
template: chatml

回到终端Terminal,运行下面的推理命令:

llamafactory-cli chat examples/inference/yi.yaml

可以提问和刚才同样的问题,看到模型的原始回答。

图片

基于本实验,你就完成了一个简单的微调,完整的走了一遍模型的微调过程,是不是还挺简单的?

如何学习大模型 AI ?

在这里插入图片描述

大模型&AI产品经理如何学习

求大家的点赞和收藏,我花2万买的大模型学习资料免费共享给你们,来看看有哪些东西。

1.学习路线图

在这里插入图片描述

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己整理的大模型视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。

在这里插入图片描述

在这里插入图片描述

(都打包成一块的了,不能一一展开,总共300多集)

因篇幅有限,仅展示部分资料,需要点击下方图片前往获取

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档,有几百本,都是目前行业最新的。
在这里插入图片描述

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
在这里插入图片描述

👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/56564.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

为什么在Anaconda中会报错‘chcp‘ 不是内部或外部命令,也不是可运行的程序 或批处理文件?

首先&#xff0c;我们需要知道,这意味着chcp 命令在系统路径中找不到。chcp&#xff08;Change Code Page&#xff09;是一个Windows命令行工具&#xff0c;用于查看或设置活动控制台窗口的代码页。 经过统计整合了一些原因如下: 1.系统环境变量被错误地修改 可能导致系统命…

LeetCode 每日一题 最小元素和最大元素的最小平均值

最小元素和最大元素的最小平均值 你有一个初始为空的浮点数数组 averages。另给你一个包含 n 个整数的数组 nums&#xff0c;其中 n 为偶数。 你需要重复以下步骤 n / 2 次&#xff1a; 从 nums 中移除 最小 的元素 minElement 和 最大 的元素 maxElement。 将 (minElement ma…

什么政府网站一定要安装SSL证书吗?应该选择哪种SSL证书?

根据最新数据显示&#xff0c;我国31个省市自治区政府网站中申请的有效SSL证书数量达到1801张&#xff0c;比上一季度增加了 1.87%&#xff0c;实现三个季度的连续增长&#xff0c;SSL证书已经成为我国政府网站提升信息安全防护能力的重要手段。 为什么政府网站一定要安装SSL证…

nerd bug:VPG多次计算vnetloss的计算图报错的解决

待更 Reference https://www.cnblogs.com/StarZhai/p/15495292.htmlhttps://github.com/huggingface/transformers/issues/12613https://discuss.pytorch.org/t/inplace-operation-errors-when-implementing-a2c-algorithm/145406/6

【closerAI ComfyUI】真人秒变卡通,相似度爆表!炫酷工作流,让你的卡通写真秒变朋友圈焦点!快来试试吧!

【closerAI ComfyUI】真人卡通化&#xff0c;超像&#xff01;这个工作流真棒&#xff01;用个人写真照片转卡通风格去轰炸你的朋友圈吧&#xff01; 这期我们主要讨论如何使用stable diffusion comfyUI 制作定制写真卡通照片工作流。也就是真人照片转卡通形象。 closerAI工作…

AI赋能网络安全:十大专业场景深度解析与实战应用

引言 随着信息技术的飞速发展&#xff0c;网络安全已成为企业运营和个人隐私保护的重中之重。面对日益复杂多变的网络威胁&#xff0c;传统的人工防御手段已难以满足当前的安全需求。在此背景下&#xff0c;人工智能&#xff08;AI&#xff09;技术的引入为网络安全领域带来了革…

什么是乐观锁、悲观锁?

什么是乐观锁、悲观锁&#xff1f; 乐观锁&#xff1a;乐观锁和悲观锁是并发控制的两种方式&#xff0c;用来确保在多线程或多用户访问共享资源时&#xff0c;数据的一致性和完整性。 悲观锁&#xff08;Pessimistic Lock&#xff09; 悲观锁假设并发操作会经常发生&#xf…

GitLab CVE-2024-6678、CVE-2024-8640 漏洞解决方案

极狐GitLab 近日发布安全补丁版本17.3.2, 17.2.5, 17.1.7&#xff0c;修复了17个安全漏洞&#xff0c;本分分享 CVE-2024-6678、CVE-2024-8640 两个漏洞详情。 极狐GitLab 正式推出面向 GitLab 老旧版本免费用户的专业升级服务&#xff0c;为 GitLab 老旧版本进行专业升级&…

【漏洞复现】SpringBlade menu/list SQL注入漏洞

》》》产品描述《《《 致远互联智能协同是一个信息窗口与工作界面,进行所有信息的分类组合和聚合推送呈现。通过面向角色化、业务化、多终端的多维信息空间设计,为不同组织提供协同门户,打破组织内信息壁垒,构建统一协同沟通的平台。 》》》漏洞描述《《《 致远互联 FE协作办公…

【PyTorch】DataLoader 设置 num_workers > 0 时,出现 CUDA with multiprocessing 相关报错

【PyTorch】DataLoader 设置 num_workers > 0 时&#xff0c;出现 CUDA with multiprocessing 相关报错 1 报错信息2 报错分析2.1 原因2.2 结论 3 解决方法 1 报错信息 RuntimeError: Caught RuntimeError in DataLoader worker process 0.RuntimeError: Cannot re-initial…

mac安装homebrew和git

简介 由于把自己的新mac拿来撸代码&#xff0c;开始环境搭建&#xff0c;安装各种工具和依赖&#xff0c;安装 git 需要先安装 homebrew&#xff0c;然后就遇到了 homebrew 安装失败的问题。 curl: (7) Failed to connect to raw.githubusercontent.com port 443: Connection…

bat弹出提示对话框

::多种提示框样式自己按需选择 mshta vbscript:msgbox("提示内容1",1,"提示窗口1")(window.close) mshta vbscript:msgbox("提示内容2",2,"提示窗口2")(window.close) mshta vbscript:msgbox("提示内容3",3,"提示窗口3…

linux 中lsof 命令详解

目录 简介输出信息含义输出示例 常用参数示例命令 使用实例查找文件系统使用情况安全审计与其他工具结合使用性能考虑 实用命令总结 简介 lsof&#xff08;List Open Files&#xff09;是一个用于列出当前系统打开文件的强大工具。在 Linux 环境下&#xff0c;几乎所有事物都以…

基于SpringBoot+Vue+uniapp的C语言在线评测系统的详细设计和实现

详细视频演示 请联系我获取更详细的演示视频 项目运行截图 技术框架 后端采用SpringBoot框架 Spring Boot 是一个用于快速开发基于 Spring 框架的应用程序的开源框架。它采用约定大于配置的理念&#xff0c;提供了一套默认的配置&#xff0c;让开发者可以更专注于业务逻辑而不…

NewStarCTF2024-Week2-Web-WP

目录 1、复读机 2、你能在一秒内打出八句英文吗 3、遗失的拉链 4、谢谢皮蛋 plus 5、PangBai 过家家&#xff08;2&#xff09; 1、复读机 测了下存在 ssti 没什么说的 fenjing 秒了 2、你能在一秒内打出八句英文吗 每次出来的需要提交的内容都不一样 exp&#xff1a; …

【漏洞复现】畅捷通T+ FileUploadHandler.ashx 任意文件上传漏洞

免责声明: 本文旨在提供有关特定漏洞的信息,以帮助用户了解潜在风险。发布此信息旨在促进网络安全意识和技术进步,并非出于恶意。读者应理解,利用本文提到的漏洞或进行相关测试可能违反法律或服务协议。未经授权访问系统、网络或应用程序可能导致法律责任或严重后果…

如何从头训练大语言模型: A simple technical report

写在前面 自8月底训好自己的1.5B的LLM后&#xff0c;一直都没有发布一个完整的技术报告&#xff0c;不少小伙伴私信我催更&#xff0c;千呼万唤始出来。其实也没有太大动力去做&#xff0c;原因有三&#xff1a; 豁然开朗&#xff1a;搞定全流程之后&#xff0c;对LLM确实豁然…

静止的秘密

在未来的某一天&#xff0c;科技已经发展到了令人难以置信的地步。在这个时代&#xff0c;视频不再是简单的记录工具&#xff0c;而是成为了连接现实与虚拟世界的桥梁。在这个背景下&#xff0c;一位名叫陈欣的年轻女程序员&#xff0c;发明了一种名为“时间镜像”的技术&#…

智能去毛刺:2D视觉引导机器人如何重塑制造业未来

机器人技术已经深入到各个工业领域中&#xff0c;为制造业带来了前所未有的变革。其中&#xff0c;2D视觉引导机器人技术以其精准、高效的特点&#xff0c;在去毛刺工艺中发挥着越来越重要的作用。本文将为您介绍2D视觉引导机器人技术的基本原理及其在去毛刺工艺中的应用&#…

第2节 如何学习鸿蒙技术

以下是学习鸿蒙技术的一些途径&#xff1a; 一、官方文档与资源 1. 华为开发者官网 • 这是最权威的学习资源平台。官网提供了详细的鸿蒙操作系统的文档&#xff0c;包括架构介绍、开发指南、API参考等内容。例如&#xff0c;对于初学者来说&#xff0c;可以从入门教程开始&am…