[论文阅读] ZeRo

zero主要用于数据并行

对于大模型来说,内存主要用来保存模型状态,主要有

  1. 模型参数,梯度(梯度和模型大小是一样的),优化器状态(adam中需要保存momentum和variance信息)。
  2. 所有中间值(gpipe使用重算解决这个问题),临时buffer,内存碎片化

半精度训练:
模型某层的w,和层的输入输出,都使用fp16
例如,Wx = y ,这三者都是fp16

但是有一个问题,fp16通常精度不够,加着加着就炸了,或者,太小的情况一直加都是0。
这个情况在累积权重(不断把梯度的东西加进来)的时候会出现,所以如果权重也是fp16的话,可能加半天都加不动。

所以权重更新使用fp32,也即是权重还有一个fp32的copy,作梯度更新的时候使用fp32,然后转成fp16,再参与前向后向计算。

假设模型n个可学习参数,那存fp16的参数和梯度各需要2n和2n个bytes,(一个fp16需要2个byte,1个byte是8bit),还有fp32的内存是权重,momentum,variance,各需要4n,4n,4n,共12n。

所以计算前向和反向只需要4n个bytes,但是为了更新的时候需要存12n个bytes。

zero 1

12ψ / n,n为多少张卡

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/22891.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机图形学入门06:视口变换

在前面的内容中,在MVP变换(模型变换,视图变换,投影变换)完后,所有的物体位置都变换到了[-1, 1]的标准立方体里,下一步要把物体绘制到屏幕(Screen)上。 1.什么是屏幕? 对于图形学来说把屏幕抽象的认为是一个…

flask项目结构心得

flask 项目没有标准的项目结构,合理组织,确保能跑,可配置,可拓展、模型可被发现就行。 一般可以分为两种 按模型(业务)划分 按功能划分,就是api、models、config、db、service等 按模型&…

mac Network: use --host to expose

本地启动无法访问,这个不是权限问题是mac 主机端口安全策略,现在我们只需要开启端口自动检测就可以 npm run dev --host 网络:未暴露 方案一 1、执行 npm run dev -- --host 方案二 1、请在 vite.config.js server: {host: true } 1…

给快高考的儿子的一封信:关于选择计算机专业

亲爱的儿子, 你好! 时间过得真快,转眼间你就要高考了,这不仅是你人生中的一个重要时刻,也是我们全家都非常关注的节点。妈妈告诉我,你对计算机专业很感兴趣,希望我能给你一些建议。我很高兴听…

使用手机小程序给证件照换底色

临时遇到一个需求,需要给证件照换底色。原始图像如下 最终需要换成红底的。 本次使用一款小程序"泰世茂证件照",打开该小程序,如下图所示 单击开始制作,然后选择二寸红底,如下图所示 然后单击相…

逗拍短视频:成都鼎茂宏升文化传媒公司

逗拍短视频:欢乐瞬间的创意呈现 在当下这个快节奏、信息化的时代,逗拍短视频以其独特的魅力,成为了人们生活中不可或缺的一部分。成都鼎茂宏升文化传媒公司它以其简短、有趣、富有创意的特点,迅速俘获了广大网友的心,…

Docker高级篇之安装Redis集群(分布式存储案例)

文章目录 1. 案例场景2. 3主3从redis集群扩缩容配置案例架构说明3. 3主3从redis集群扩缩容配置案例搭建4. 主从容错切换迁移案例5. 主从扩容6. 主从缩容 1. 案例场景 1~2亿条数据需要缓存,如何设计这个存储案例?这种情况下单机存储100%是不可…

社区待就业人员信息管理系统的设计

管理员账户功能包括:系统首页,个人中心,工作岗位管理,基础数据管理,预约面试管理,就业信息管理,公告信息管理 社区工作账户功能包括:系统首页,个人中心,用户…

做自媒体素材哪里找?做自媒体必备的几个高质量素材网站分享

在自媒体的世界里,内容是王道。无论是视频还是文章,优秀的自媒体作品都需要有力的内容和高质量的素材作支撑。今天,我为大家整理了一些优质的素材网站,帮助每一位自媒体创作者,无论新手还是老手,都能找到适…

文件夹如何加密码?这4个文件夹加密方法值得一试!

文件夹如何加密码?在与朋友、家人和同事共享同一电脑计算机时,您可能有一些不希望他们查看的重要或机密文件。那么如何避免这种情况呢?使用密码保护锁定文件和文件夹可以提高你的数字隐私和安全性,因为这意味着你需要输入密码才能…

每天CTF小练一点--ctfshow年CTF

初一 题目: 2023是兔年,密码也是。聪明的小伙伴们,你能破解出下面的密码吗? 感谢大菜鸡师傅出题 flag格式是ctfshow{xxxxxx}.或许密码也有密码。 密文是: U2FsdGVkX1M7duRffUvQgJlESPfOTV2i4TJpc9YybgZ9ONmPk/RJje …

修复Windows上“发生意外错误”问题的5种方法,总有一种适合你

在尝试启动网络适配器的设置菜单时,是否收到“发生意外错误”消息?不用担心,因为在大多数情况下解决这个问题很容易。我们将向你展示在Windows 11或Windows 10计算机上解决此问题的多种方法。 为什么我收到“发生意外错误”的消息 当网络适配器出现问题时,Windows会显示一…

老师评职称三证不一致怎么办

对于老师们来说,职称评定无疑是一个重要环节,不仅关系到教师的个人荣誉,更关系到职业发展和薪酬待遇。然而,当遇到教师资格证、任职资格证上的学科与实际所教学科不一致时,职称评定之路似乎变得崎岖不平。面对这样的困…

顺序执行sql查询数据不一致的原因

原因可能包括但不限于: 脏读:一个事务在另一个事务完成之前读取了未提交的数据。 非重复读:在同一事务中,多次读取同一数据返回不同的结果,因为在此期间其他事务对数据做了修改。 幻读:一个事务在同一个事…

作业-day-240605

思维导图 C编程 设计一个Per类&#xff0c;类中包含私有成员:姓名、年龄、指针成员身高、体重 再设计一个Stu类&#xff0c;类中包含私有成员:成绩、Per类对象p1 设计这两个类的构造函数、析构函数。 #include <iostream>using namespace std;class Per{ private:str…

Science项目文章 | 中国农科院作科所研究团队解析“复粒稻”多粒簇生的机制

2024年3月8日&#xff0c;由中国农业科学院作物科学研究所童红宁研究员领衔的研究团队在Science发表题为“Enhancing rice panicle branching and grain yield through tissue-specific brassinosteroid inhibition”的研究论文。该研究报道了复粒稻多粒簇形成的机制&#xff0…

记一次minio集群搭建及联邦扩容

文章目录 背景一. 服务器准备1. minio集群12. minio集群23. etcd服务 二、etcd 部署三、minio集群部署1、集群12、集群2部署 四、测试 背景 根据公司业务调研引入minio做数据存储&#xff0c;考虑到后期的扩容与维护选择使用docker、etcd实现联邦扩容 一. 服务器准备 1. min…

用单链表实现集合

一、实验题目 &#xff08;1&#xff09;实验题目 用单链表实现集合 &#xff08;2&#xff09;问题描述 用有序单链表实现集合的判等、交、并和差等基本运算。 二、实验内容 &#xff08;1&#xff09;采用有序单链表存储集合&#xff1b; &#xff08;2&#xff09;实现交…

实时监控与报警:人员跌倒检测算法的实践

在全球范围内&#xff0c;跌倒事件对老年人和儿童的健康与安全构成了重大威胁。据统计&#xff0c;跌倒是老年人意外伤害和死亡的主要原因之一。开发人员跌倒检测算法的目的是通过技术手段及时发现和响应跌倒事件&#xff0c;减少因延迟救助而造成的严重后果。这不仅对老年人群…

【FPGA约束】如何对fpga进行io约束

对 FPGA 进行 I/O 输入输出约束是确保设计满足电气和物理要求的重要步骤。以下是在 Vivado 环境中设置 I/O 约束的一般步骤&#xff1a; 1. 确定 I/O 引脚需求 根据电路设计和 FPGA 芯片手册&#xff0c;确定每个 I/O 引脚的物理位置、电气特性&#xff08;如电压标准&#x…