Sora那么牛,他的模型的成本会有多少呢?

5a375a5778c1073d9354ca5173449997.jpegSora的训练需要大量的计算资源,估计需要4211-10528个 Nvidia H100 GPUs运行一个月。

推理成本:一个Nvidia H100 GPU大约每小时能生成5分钟的视频。

初期的Sora成本将非常高,肯定是不适合普通人来使用,所以目前OpenAI都是先找一些艺术和电影工作室或者公司合作。

训练计算估算

  • 从DiT到Sora的推算:Sora的详细信息虽然有限,但可以基于DiT(Diffusion Transformers)论文的数据,将Sora看作是DiT在视频生成方面的扩展。DiT-XL模型有675M参数,使用了大约1021 FLOPS的总计算量,相当于大约0.4 Nvidia H100s运行一个月。
  • 计算乘数: 假设视频以24fps编码,1分钟的视频包含1440帧。考虑到Sora的空间和时间压缩,如果按DiT论文的8倍压缩率,我们得到180帧在潜在空间中的表示。因此,相较于DiT处理图像,处理视频的计算量至少增加了180倍。
  • 模型大小和数据集: 估计Sora的模型参数数量远超675M。如果假设一个20B参数的模型,相对于DiT,计算需求增加了30倍。此外,Sora训练的数据集比DiT大很多倍,增加了数据集规模的乘数4-10倍。
  • 将上述因素综合考虑,得出Sora训练所需的计算量约为4,211 - 10,528 Nvidia H100s运行一个月。


推理计算估算

  • 推理与训练计算比较: 训练计算是一次性的大量计算,而推理计算虽然较小,但随着模型的广泛应用,会被频繁调用。
  • 达到平衡点: 平衡点是指花费在推理上的计算量超过训练所需计算量的时刻。基于DiT到Sora的推算,Sora每生成一段视频的计算成本约为708×10^15 FLOPS,相当于每Nvidia H100 GPU大约能每小时生成5分钟视频。
  • 平衡点达成: 在生成15.3M到38.1M分钟视频后,推理计算将超过训练计算。考虑到YouTube每天上传的视频量约为43M分钟,这个平衡点在实际应用中很快就会达到。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/774918.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

STM32串口收发单字节数据原理及程序实现

线路连接: 显示屏的SCA接在B11,SCL接在B10,串口的RX连接A9,TX连接A10。 程序编写: 在上一个博客中实现了串口的发送代码,这里实现串口的接收代码,在上一个代码的基础上增加程序功能。 Seiral.…

创建AI智能体

前言 灵境矩阵是百度推出的基于文心大模型的智能体(Agent)平台,支持广大开发者根据自身行业领域、应用场景,选取不同类型的开发方式,打造大模型时代的产品能力。开发者可以通过 prompt 编排的方式低成本开发智能体&am…

VMware和Xshell连接

1.开启虚拟机 2.使用管理员账户,点击未列出 3.输入用户名密码 4.点击编辑虚拟网络编辑器 5.记住自己的网关和IP地址 6.打开终端 7.输入命令,vim / etc / sysconfig / network -scripts / ifcfg-ens33 回车 8.修改图中两处按“ I ”键进入编辑 d…

计算机组成原理-6-计算机的运算方法

6. 计算机的运算方法 文章目录 6. 计算机的运算方法6.1 机器数的表示6.1.1 无符号数和有符号数6.1.2 有符号数-原码6.1.3 有符号数-补码6.1.4 有符号数-反码6.1.5 有符号数-移码6.1.6 原码、补码、反码的比较 6.2 数的定点表示和浮点表示6.2.1 定点表示6.2.2 浮点表示6.2.3 ΔI…

python 进程之由浅入深

进程测试 import osimport time while True:time.sleep(0.5)print("hahaha")print("self", os.getpid()) #获取自己的进程idprint("parent",os.getppid()) #parent 获取父进程的id互斥锁 # """ # 当多个进程共享一个数据时…

LeetCode第五天(442. 数组中重复的数据)

给你一个长度为 n 的整数数组 nums ,其中 nums 的所有整数都在范围 [1, n] 内,且每个整数出现 一次 或 两次 。请你找出所有出现 两次 的整数,并以数组形式返回。 你必须设计并实现一个时间复杂度为 O(n) 且仅使用常量额外空间的算法解决此问…

C语言程序编译和链接

翻译环境和运行环境 我们程序员天天要写代码,那我们天天写的代码是什么呢?我们写的其实莫过于是一些test.c文件和test.h这样的文件。都是一些文本信息,这些如果直接交给机器去处理机器是看不懂的,就像我们和外国人语言不通一样&…

vue中src目录下views和components

在Vue项目中,src目录是项目的主要工作目录,其中包含项目的源代码。views和components是src目录下的两个重要子目录: views目录: views目录主要用于存放页面级别的Vue组件。这些组件通常与路由相对应,每个组件代表一个…

【LeetCode】21. 合并两个有序链表(Java自用版)

递归: 以下是使用递归方式实现的完整Java代码,用于将两个升序链表合并为一个新的升序链表: class ListNode {int val;ListNode next;ListNode(int x) { val x; } }class Solution {public ListNode mergeTwoLists(ListNode list1, ListNod…

团体程序设计天梯赛 L2-029 特立独行的幸福

L2-029 特立独行的幸福 分数 25 对一个十进制数的各位数字做一次平方和,称作一次迭代。如果一个十进制数能通过若干次迭代得到 1,就称该数为幸福数。1 是一个幸福数。此外,例如 19 经过 1 次迭代得到 82,2 次迭代后得到 68&…

如何使用ChatGPT准备即将到来的面试How to Use ChatGPT to Prepare for an Upcoming Interview

使用ChatGPT来准备即将到来的面试可以非常有帮助,因为它可以模拟真实的面试场景并提供反馈。以下是一些步骤和提示,说明如何利用ChatGPT进行面试准备: 研究职位和公司:在与ChatGPT对话之前,先对你申请的职位和公司进行…

物联网如何改善医疗保健服务和患者体验

物联网(IoT)在医疗保健领域的应用正在逐渐改变服务和患者体验的方式。通过物联网技术,医疗保健提供者能够实现更高效的患者管理、更精准的诊断以及更个性化的治疗方案。以下是物联网改善医疗保健服务和患者体验的几个方面: 远程监…

【计算机网络教程】(第六版)第2章课后习题答案

第二章 2-012-022-032-042-062-072-082-092-102-112-122-132-142-152-16 2-01 物理层要解决哪些问题?物理层的主要特点是什么? 答: 物理层要解决的主要问题: (1)物理层要尽可能地屏蔽掉物理设备和传输媒体&…

js算法记录

> 更多请前往 https://www.passerma.com/article/86 滑动窗口 1 给定一个矩阵,包含N*M个整数,和一个包含K个整数的数组。现在要求在这个矩阵中找一个宽度最小的子矩阵,要求子矩阵包含数组中所有的整数 function minSubmatrixWidth(mat…

JAVA面试大全之JVM和调休篇

目录 1、类加载机制 1.1、类加载的生命周期? 1.2、类加载器的层次? 1.3、Class.forName()和ClassLoader.loadClass()区别? 1.4、JVM有哪些类加载机制? 2、内存结构 2.1、说说JVM内存整体的结构?线程私有还是共享的? 2.2…

深入理解SSL协议:从理论到实践(二)

前言 这是一篇关于SSL协议的技术文章,有理论知识,但又兼具一定的实战性,文章的主要内容分享了SSL协议的核心概念、工作原理、常见的应用场景,以及就https这种实际应用场景,又着重分享具体的工作原理以及如何实现https…

鸿蒙HarmonyOS应用开发之使用Node-API接口创建ArkTs运行时环境

场景介绍 开发者通过pthread_create创建新线程后,可以通过napi_create_ark_runtime来创建一个新的ArkTs基础运行时环境,并通过该运行时环境加载ArkTs模块,目前仅支持在ArkTs模块中使用console接口打印日志,使用timer定时器功能。…

气体间隙的击穿强度

本篇为本科课程《高电压工程基础》的笔记。 气体间隙的击穿电压难以精确计算。工程应用中,大多参照一些典型的击穿电压试验数据来选择绝缘距离,要求较高的情况下感召实际电极布置,用实验方法来确定击穿电压。 稳态电压下的击穿 直流与工频…

SQL数据插入详解:单行与多行数据添加指南

在SQL(Structured Query Language,结构化查询语言)中,添加数据通常使用INSERT INTO语句。以下是如何使用INSERT INTO语句向数据库表中添加数据的详细步骤和示例。 基本语法 INSERT INTO table_name (column1, column2, column3,…

每天一个数据分析题(二百三十)

在神经网络的优化算法中,Adam优化算法是结合了哪两种优化技术的优点? A.动量 (Momentum) 和 Adagrad B.Nesterov 动量和 RMSprop C.RMSprop 和 动量 (Momentum) D.SGD 和 Nesterov 动量 题目来源于CDA模拟题库 点击此处获取答案