finetuning大模型准备(基于Mac环境)

为finetuning进行的热身准备,涉及周边的软件工具,方法。

问题1:finetuning过程较长,采用系统自带命令行没有后台,前台被杀后,容易造成训练失败。

解决方法: tmux可以开启后台训练

问题2:大模型训练过程会有几个G 的bin等文件,不宜下载频繁

解决方法:Git LFS可以进行git屏蔽和指定文件下载

1. tmux

1.1 安装:

brew install tmux

1.2 启动

启动:tmux

1.3 查看已创建的会话

1.4 分屏

①ctrl + B 松开

②shift + %

2.Git LFS

Git LFS(Large File Storage)是一个用于版本控制系统中管理大文件(如视频、图形或大型数据文件)的扩展

以chatglm3-6b模型为例,如下:

很多1个多G的文件着实很大。每次下载都需要把不同分支的内容下载下来,内容会非常大,浪费时间。lfs是个不错的选择。

2.1 lfs安装

git lfs install

2.2 配置lfs 克隆

GIT_LFS_SKIP_SMUDGE=1 git clone <repository-addr>

即时git pull 也不会把大文件拉下来。

2.3 指定匹配对象

git lfs fetch --include 命令允许你指定要下载的LFS对象的路径模式。这意味着你可以选择只下载与给定模式匹配的LFS对象,而不是下载整个仓库的所有LFS对象。

这个命令会下载与指定模式匹配的所有LFS对象,并将其存储在本地LFS缓存中。

2.4 下载

git lfs checkout用于将 LFS 追踪的大文件从远程存储库下载到本地工作副本

工欲善其事,必先利其器

开始训练:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/17420.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Sql语法3

数据库语言大概可以分为四大类 1、DML&#xff1a;&#xff08;Database Manipulation Language&#xff09;:insert,update,delete 2、DQL&#xff1a;&#xff08;Database Query Language&#xff09;:select 3、DCL&#xff1a;&#xff08;Database Control Langu…

无状态程序设计的本质

无状态程序设计 无状态程序设计是一种软件设计理念&#xff0c;它主要强调的是请求处理的独立性和无记忆性。以下是对无状态程序设计的详细解释&#xff1a; 无状态的含义&#xff1a; 无状态并不意味着系统内没有数据&#xff0c;而是指服务器在处理单次请求时&#xff0c;不…

前端面试问题:子组件的某一个方法调用执行逻辑由父组件的属性状态变化来决定

面试官&#xff1a;请你讲讲你在该项目中遇到的问题是什么&#xff1f;你怎么解决这个问题&#xff1f; 答&#xff1a;我的回答&#xff1a;该项目的实现过程中我确实遇到了问题&#xff1a;【我会给大家整理回答思路和角度&#xff0c;那那么遇到这样的问题也可借鉴这种思路…

【Go专家编程——内存管理——逃逸分析】

逃逸分析 逃逸分析&#xff08;Escape Analysis&#xff09;是指由编译器决定内存分配的位置&#xff0c;不需要程序员决定。 在函数中申请一个新的对象 如果分配在栈上&#xff0c;则函数执行结束后可自动将内存回收如果分配在堆上&#xff0c;则函数执行结束后可交给GC&…

stoi家族函数详解

atoi家族函数详解 1.atoi函数1.1函数原型1.2函数使用1.3函数使用的注意事项1.4atoi函数的模拟实现 2.其它函数 atoi函数家族中包含atof、atol、_atoi64 他们的作用为将字符串转换成double&#xff08;atof&#xff09;、integer&#xff08;atoi、_atoi64&#xff09;、long&am…

kafka连接zookeeper失败导致无法启动

1.背景 Linux服务器磁盘使用率100%导致kafka服务挂掉&#xff0c;推测是别的生产者往kafka服务器不停的塞数据把服务器塞爆了&#xff0c;服务器总空间60g&#xff0c;然后进到服务器查看kafka默认数据存储路径/tmp/kafka_logs就占了37g特别是目标topic&#xff0c;由于这个ka…

vscode+docker搭建迷你开发环境。制作docker镜像,并通过vscode连接后进行开发

制作自己的docker镜像&#xff0c;将docker镜像作为服务器&#xff0c;接受vscode连接 目录 1. 制作开发环境镜像 1.1 选择基础镜像 1.2 编写dockerfile 1.3 构建镜像 2. 启动镜像 3. 添加用户 3.1 查看物理机上用户信息 3.2 登录到docker中 3.3 按照物理机的用户和组…

YOLO训练报错解决:OSError: [WinError 1455] 页面文件太小,无法完成操作

问题&#xff1a;OSError: [WinError 1455] 页面文件太小&#xff0c;无法完成操作。 Error loading "C:\Users\12706.conda\envs\yolov8\lib\site-packages\torch\lib\cudnn_cnn_infer64_8.dll" or one of its dependencies. 解决方法&#xff1a; 降低数据加载的线…

sqlalchemy连接池满了报错

报错信息 sqlalchemy.exc.TimeoutError: QueuePool limit of size 5 overflow 10 reached, connection timed out, timeout 30 (Background on this error at: http://sqlalche.me/e/3o7r) 解决办法 参考&#xff1a;https://docs.sqlalchemy.org/en/20/core/pooling.html 在…

掌握Adobe XD:为自学者准备的软件学习秘籍

相信了解一些设计软件的朋友都听说过这个软件&#xff0c;Adobe XD软件是一款功能强大的原型创建工具。随着Adobe XD软件越来越受到用户的青睐&#xff0c;它几乎涵盖了所有大中小企业和企业的设计&#xff0c;可以说是设计公司最常用的软件之一。Adobe XD软件可以在很多方面满…

Jenkins常用插件与应用详解

&#x1f345; 视频学习&#xff1a;文末有免费的配套视频可观看 &#x1f345; 点击文末小卡片&#xff0c;免费获取软件测试全套资料&#xff0c;资料在手&#xff0c;涨薪更快 Jenkins是一个平台我们通过安装插件来解决我们想要完成的任务 1、Jenkins常用插件 Allure&#…

【Kotlin 二】函数/高阶函数/内联函数 对象/主构造函数/次要构造函数/对象初始化

1.函数 函数声明如下&#xff1a; fun 函数名称([函数参数...]): 返回值类型{// 方法体 }fun sum(num1: Int, num2: Int): Int {return num1 num2 }注意&#xff1a;Kotlin函数返回值为空时为Unit&#xff0c;并非常见的void 函数可以设置默认值&#xff1a; fun printNum…

【量算分析工具-水平距离】GeoServer改造Springboot番外系列四

【量算分析工具-概述】GeoServer改造Springboot番外系列三-CSDN博客 【量算分析工具-水平距离】GeoServer改造Springboot番外系列四-CSDN博客 【量算分析工具-水平面积】GeoServer改造Springboot番外系列五-CSDN博客 【量算分析工具-方位角】GeoServer改造Springboot番外系列…

常用图像分类预训练模型大小及准确度比较

近年来&#xff0c;深度学习技术的发展使得图像分类任务变得越来越容易。预训练模型的出现更是使得图像分类任务变得更加简单和高效。然而&#xff0c;随着预训练模型的数量和大小的增加&#xff0c;我们需要了解每个模型的特点和优缺点&#xff0c;以便更好地选择和使用它们。…

6岁开始学习打字,10岁学懂文字编程

​你们有没有想过打字速度会影响Coding 编程能力&#xff1f; 疫情期间&#xff0c;全国中小学均不定期停止面授课程&#xff0c;改为网上教学。顷刻之间&#xff0c;电脑、智能手机等即时通讯软件成为每日学习的「良师益友」&#xff0c;常伴左右。 同时&#xff0c;学生也由…

实施阶段(2024年5月)

本次探究主要围绕数学问题“斐波拉契数列”项目展开&#xff0c;在一题两解的算法设计过程中&#xff0c;对比经典算法中的迭代和递归&#xff0c;深入解析两者的关系&#xff0c;并在此基础上进行其他数学问题的深入研究。 &#xff08;1&#xff09;迭代法也称为辗转法&…

http和https分别是什么?区别是什么?

HTTP和HTTPS是两种常见的网络协议&#xff0c;用于在Web上进行数据传输。以下是它们的简要解释和主要区别&#xff1a; HTTP&#xff08;Hypertext Transfer Protocol&#xff09; HTTP是一种应用层协议&#xff0c;用于在Web上传输数据。它是互联网上应用最为广泛的一种网络…

20212313 2023-2024-2 《移动平台开发与实践》第5次作业

20212313 2023-2024-2 《移动平台开发与实践》第5次作业 1.实验内容 设计并开发一个地图应用系统。 该实验需提前申请百度API Key&#xff0c;调用接口实现百度地图的定位功能、地图添加覆盖物和显示文本信息。 2.实验过程 2.1 获取SHA1 &#xff08;1&#xff09;打开控制台…

PostgreSQL数据库提权

前面讲述了mysql、SqlServer、Redis数据库相关的提权方式&#xff0c;有兴趣的也可以去看看。 这里讲的postgreSQL数据库提权就是任意命令执行漏洞(CVE-2019-9193)。 目录 数据库简介 漏洞原理 影响版本 漏洞利用 利用前提 漏洞复现 复现准备 复现过程 漏洞修复 数据…

三分钟轻松搞定内容,2024视频号最新AI自动生成影视解说,,百分之百过原创, 月入1万+

在这个数字时代&#xff0c;我们有幸见证了AI技术对创新的推动。现如今&#xff0c;一个崭新的平台出现了&#xff0c;它能让你用AI软件在短短3分钟内制作完成一段影视解说&#xff0c;而且由于这个平台尚属于新兴&#xff0c;竞争者稀少&#xff0c;提供了一个广阔的机遇天地。…