【LLM】基于ColossalAI-0.3.6对llama2-7B-Chat做全参数微调

文章目录

  • 环境
  • 准备工作
    • 下载llama2-7B
    • 下载ColossalAI
    • 数据集准备
      • 准备原始数据集
      • 数据集处理
  • 开始训练
    • 准备训练脚本
    • 运行脚本
  • 推理验证
    • 加载模型
    • 推理

环境

操作系统:

  • ubuntu22.04

机器规格:

  • CPU:96c;
  • 内存:736 GiB;
  • GPU:8 * NVIDIA V100 (32GB)

软件信息:

  • Python 3.11.5;
  • ColossalAI 0.3.6;
  • cuda_11.8;
  • pytorch 2.1.0+cu118
  • transformers 4.34.1

准备工作

下载llama2-7B

国内用户使用ModelScope下载会友好些,模型下载地址为:

https://modelscope.cn/models/modelscope/Llama-2-7b-chat-ms/files

SDK下载

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('modelscope/Llama-2-7b-chat-ms')

Git下载

请确保 lfs 已经被正确安装

git lfs install
git clone https://www.modelscope.cn/modelscope/Llama-2-7b-chat-ms.git

下载ColossalAI

Colossal-AI 是一个集成的大规模深度学习系统,具有高效的并行化技术。该系统可以通过应用并行化技术在具有多个 GPU 的分布式系统上加速模型训练。该系统也可以在只有一个 GPU 的系统上运行。

关于ColossalAI的更多介绍:https://colossalai.org/zh-Hans/

Git地址:https://github.com/hpcaitech/ColossalAI

img

下载后上传至服务器解压,进入根目录,执行:

pip install .

进入applications/ColossalChat目录下,执行:

pip install .

至此,所有依赖已准备完毕。

接下来会基于ColossalAI项目中的applications/ColossalChat下的实例做模型的训练。

img

数据集准备

准备原始数据集

训练数据集为JSONL格式,每行是一个独立的JSON,示例如下:

{"messages": [{"from": "human", "content": "问题1"}, {"from": "assistant", "content": "回答1"}]}
{"messages": [{"from": "human", "content": "问题2"}, {"from": "assistant"

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/47866.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

在 Navicat BI 创建自定义字段:类型更改字段

早在 Navicat 17 的预览版中,我们就已经介绍了一些新的商业智能(BI)功能,即图表互动和计算字段。需要说明的是,计算字段不是 Navicat BI 中唯一可用的自定义字段类型。事实上,有五种:类型改变、…

【笔记-软考】软件架构概念

Author:赵志乾 Date:2024-07-18 Declaration:All Right Reserved!!! 1. 架构定义 架构是指系统的一个或多个结构,结构中包括构件、构件的外部可见属性以及构件之间的相互关系。 故架构是一种表…

自定义View(8)View的绘制流程

安卓UI的重点之一就是View的绘制流程,经常出现在面试题中。熟悉View的绘制流程,不仅能轻松通过View相关的面试,也可以让我们更加方便的使用自定义View以及官方View。此篇先以常见面试题为切入点,说明自定义View的重要性&#xff0…

modulepreload 对性能的影响

一、正面影响 减少加载时间: modulepreload 可以让浏览器提前下载模块脚本,减少页面加载时间,特别是对于依赖较多的复杂应用。这种预加载可以让浏览器在遇到 modulepreload 链接时立即开始下载,而不是等到实际需要时才下载提升用…

基于深度学习的股票预测

基于深度学习的股票预测是一项复杂且具有挑战性的任务,涉及金融数据的分析和预测。其目的是利用深度学习模型来预测股票价格的走势,从而帮助投资者做出更为准确的投资决策。以下是对这一领域的系统介绍: 1. 任务和目标 股票预测的主要任务和…

LLM大模型实战项目--基于Stable Diffusion的电商平台虚拟试衣

本文详细讲解LLM大模型实战项目,基于Stable Diffusion的电商平台虚拟试衣 一、项目介绍 二、阿里PAI平台介绍 三、阿里云注册及开通PAI 四、PAI_DSW环境搭建 五、SDLORA模型微调 一、项目介绍 AI虚拟试衣是一种创新的技术,利用人工智能和计算机视觉技…

【2024最新华为OD-C/D卷试题汇总】[支持在线评测] 卢小姐的生日礼物(200分) - 三语言AC题解(Python/Java/Cpp)

🍭 大家好这里是清隆学长 ,一枚热爱算法的程序员 ✨ 本系列打算持续跟新华为OD-C/D卷的三语言AC题解 💻 ACM银牌🥈| 多次AK大厂笔试 | 编程一对一辅导 👏 感谢大家的订阅➕ 和 喜欢💗 最新华为OD机试D卷目录,全、新、准,题目覆盖率达 95% 以上,支持题目在线评测…

解决网络游戏频繁掉线的策略与实践

网络游戏中的频繁掉线不仅影响玩家体验,也可能揭示网络基础设施、软件架构或外部干扰的问题。本文将探讨导致游戏掉线的常见原因,并提出一系列技术解决方案,帮助开发者和运维团队提升游戏服务的稳定性和可靠性。 掉线原因分析 网络连接不稳…

为什么现在的小家电换了Type-C接口后需要PD诱骗芯片

在当今科技飞速发展的时代,小家电产品正经历着前所未有的变革。随着消费者对于便捷性、高效性和安全性的要求不断提高,小家电产品的接口设计也逐渐向Type-C接口靠拢。然而,这一转变并非简单的接口替换,它背后隐藏着对PD诱骗芯片的…

深度解析:在 React 中实现类似 Vue 的 KeepAlive 组件

在前端开发中,Vue 的 keep-alive 组件是一个非常强大的工具,它可以在组件切换时缓存组件的状态,避免重新渲染,从而提升性能。那么,如何在 React 中实现类似的功能呢?本文将带你深入探讨,并通过代…

【PG】PostgreSQL高可用之repmgr事件通知

目录 描述 结合脚本 占位符 repmgr命令 生成的事件: repmgrd 生成的事件(流复制模式): 描述 每次repmgr或repmgrd执行重大事件时,都会将该事件的记录连同时间戳、失败或成功的标识以及进一步的详细信息&#xff08…

(三)Python3接口自动化测试,请求参数的参数化工具类

(三)Python3接口自动化测试,请求参数的参数化工具类 1.前言: 需求:Web API接口Pyhon3自动化测试中,需要对接口请求接入的数据中参数变量进行替换 Python3替换接口请求参数中的值,用到方法: 对请求参数进行正则表达式匹配,取到需要替换的变量,例如”A”对获取到变量”…

c语言之 *指针与 **指针

*n 一级指针: &nn*n自身地址指向地址指向地址值 **s 二级指针: &ss*s**s自身地址一级指针地址一级指针指向地址一级指针指向地址值 CHILD *walk, *next, *tmp_child, **scan;next walk->next scan &walk->next; while (*scan) { …

ansible——ansible的配置文件

一、ansible的inventory文件 1、什么是inventory文件 inventory文件定义了ansible管理的主机,说白了就是inventory文件中的内容是被管理的主机 inventory文件分为两种,一种是静态的inventory文件,一种是动态inventory文件 静态的inventor…

docker安装好了,但是启动失败

新项目要用docker部署,但是docker安装完后,启动失败,服务器用的是国产化的(之前的服务器非国产化,之前也没任何问题),国产化的使用起来问题一大堆,还是bclinux 安装好后重启一直显示 使用journalctl -xe也没任何报错 使用systemctl status docker查看docker状态是灰…

VScode:前端项目中yarn包的安装和使用

一、首先打开PowerShell-管理员身份运行ISE 输入命令: set-ExecutionPolicy RemoteSigned 选择“全是”,表示允许在本地计算机上运行由本地用户创建的脚本,没有报错就行了 二、接着打开VScode集成终端,安装yarn插件 输入 npm ins…

ELK日志分析系统部署文档

一、ELK说明 ELK是Elasticsearch(ES) Logstash Kibana 这三个开源工具组成,官方网站: The Elastic Search AI Platform — Drive real-time insights | Elastic 简单的ELK架构 ES: 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它…

编程的法则 迪米特法则(Law of Demeter)也称为“最少知识原则(Principle of Least Knowledge)包括如何实践

编程的法则 迪米特法则(Law of Demeter)也称为“最少知识原则(Principle of Least Knowledge)包括如何实践 flyfish 2017-07-25 2024-07-18 迪米特法则(Law of Demeter)也称为“最少知识原则&#xff08…

前端pc和小程序接入快递100(跳转方式和api方式)====实时查询接口

文章目录 跳转方式微信小程序(我以uniapp为例)pc api接入说明关于签名计算成功示例 跳转方式 没有任何开发成本,直接一键接入 可以直接看官方文档 https://www.kuaidi100.com/openapi/api_wxmp.shtml 微信小程序(我以uniapp为例…

Python求均值,方差,标准差

参考链接:变异系数(Coefficient of Variation,COV)和协方差(Covariance, Cov)-CSDN博客 参考链接:pandas中std和numpy的np.std区别_numpy pandas std-CSDN博客 在计算蛋白质谱数据中的每个蛋白对应的变异…