文生视频Sora模型发布,是否引爆AI芯片热潮

文生视频Sora模型发布,是否引爆AI芯片热潮

1. 引言

在人工智能的历史长河中,每一次技术的飞跃都伴随着社会生产力的巨大变革。自2015年以来,深度学习技术的突破性进展,尤其是在自然语言处理、图像识别和机器学习等领域的成功应用,已经彻底改变了我们对机器智能的认识和期待。这些技术的进步不仅仅是理论上的突破,更是实际应用的革命,它们正在逐步渗透到我们生活的方方面面,从自动驾驶到智能家居,从数据分析到内容创作。
在这样的背景下,OPENAI最近发布的Sora模型无疑是又一次令人瞩目的里程碑。Sora模型基于扩散模型,能够将简单的文本描述转换成为高质量的视频内容。这种能力不仅仅是技术上的创新,更是对视频制作、媒体传播乃至整个娱乐产业的挑战和机遇。

2. 前方警告,Sora来袭!

让我们先来感受一下Sora的魔力

一位戴着尖顶帽,身披绣有白色星星的蓝色长袍的巫师正在施法,他的一只手射出闪电,另一只手中拿着一本旧书。

在一间拥有电影级灯光设置的充满托斯卡纳乡村风情的厨房里,一位擅长利用社交媒体的奶奶,正在教你制作美味的自制诺奇面。

我们将带你进行一次未来城市的街头巡览,在这里,高科技与自然和谐共处,展现出一种独特的赛博朋克风格。
这座城市洁净无瑕,到处可见的是先进的未来式有轨电车、绚丽的喷泉、巨型的全息投影以及四处巡逻的机器人。
想象一下,一个来自未来的人类导游正带领一群好奇的外星访客,向他们展示人类极致创造力的结晶——这座无与伦比、充满魅力的未来城市。

此外,Sora还能在同一视频中设计出多个镜头,同时保持角色和视觉风格的一致性。

要知道,以前的AI视频,都单镜头生成的。

Prompt: A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors.
这是一部电影预告片,讲述了30岁的太空人戴着红色羊毛针织摩托车头盔的冒险经历,蓝天,盐沙漠,电影风格,用35毫米胶片拍摄,色彩鲜艳。

Prompt: Beautiful, snowy Tokyo city is bustling. The camera moves through the bustling city street, following several people enjoying the beautiful snowy weather and shopping at nearby stalls. Gorgeous sakura petals are flying through the wind along with snowflakes.
「雪后的东京熙熙攘攘。镜头穿过繁忙的街道,跟随着几位享受着美丽雪景和在附近摊位购物的人们。美丽的樱花瓣伴随着雪花在风中飘舞。」

Sora根据这个提示所呈现的,便是东京在冬日里梦幻的一幕。

无人机的镜头跟随一对悠闲散步的情侣穿梭在街道上,左侧是车辆在河岸路上行驶的声音,右侧是顾客在一排小店之间穿梭的景象。

Prompt: Animated scene features a close-up of a short fluffy monster kneeling beside a melting red candle. The art style is 3D and realistic, with a focus on lighting and texture. The mood of the painting is one of wonder and curiosity, as the monster gazes at the flame with wide eyes and open mouth. Its pose and expression convey a sense of innocence and playfulness, as if it is exploring the world around it for the first time. The use of warm colors and dramatic lighting further enhances the cozy atmosphere of the image.
动画场景特写了一个毛茸茸的矮个子怪物跪在融化的红烛旁。美术风格是3D和现实的,重点是照明和纹理。这幅画的气氛是一种惊奇和好奇,因为怪物睁大眼睛,张开嘴巴凝视着火焰。它的姿势和表情传达了一种天真和顽皮的感觉,好像它是第一次探索周围的世界。暖色和戏剧性灯光的使用进一步增强了图像的舒适氛围。

Prompt: A gorgeously rendered papercraft world of a coral reef, rife with colorful fish and sea creatures.
一个华丽的珊瑚礁纸工艺品世界,到处都是五颜六色的鱼和海洋生物。

Prompt: Reflections in the window of a train traveling through the Tokyo suburbs.
一列火车穿越东京郊区时,窗户上反射出的迷人景象。

Prompt: Several giant wooly mammoths approach treading through a snowy meadow, their long wooly fur lightly blows in the wind as they walk, snow covered trees and dramatic snow capped mountains in the distance, mid afternoon light with wispy clouds and a sun high in the distance creates a warm glow, the low camera view is stunning capturing the large furry mammal with beautiful photography, depth of field.
在雪地草原上,几只巨大的羊毛猛犸象缓缓前行,它们长长的毛皮在微风中轻轻飘扬。远处是雪覆盖的树木和雄伟的雪山,午后的阳光穿透薄云,给这个场景增添了一抹温暖的光彩。低角度的拍摄令这些庞大的毛茸茸动物显得尤为壮观,景深效果引人入胜。

Prompt: Drone view of waves crashing against the rugged cliffs along Big Sur’s garay point beach. The crashing blue waters create white-tipped waves, while the golden light of the setting sun illuminates the rocky shore. A small island with a lighthouse sits in the distance, and green shrubbery covers the cliff’s edge. The steep drop from the road down to the beach is a dramatic feat, with the cliff’s edges jutting out over the sea. This is a view that captures the raw beauty of the coast and the rugged landscape of the Pacific Coast Highway.
无人机从空中俯瞰大苏尔加雷角海滩附近的崎岖悬崖,海浪冲击着岩石,形成白色的浪尖,落日的金色光辉照亮了岩石海岸。远处有一个小岛上立着灯塔,悬崖边缘覆盖着绿色植被。从道路到海滩的陡峭下降和悬崖边缘凸出的景象,展现了海岸的原始美丽和太平洋海岸公路的崎岖风景。

Prompt: Aerial view of Santorini during the blue hour, showcasing the stunning architecture of white Cycladic buildings with blue domes. The caldera views are breathtaking, and the lighting creates a beautiful, serene atmosphere.
蓝色时刻下的圣托里尼岛航拍视图,展现了白色基克拉迪建筑和蓝色圆顶的绝美建筑。火山口的景色令人叹为观止,灯光营造出一种美丽而宁静的氛围。

Prompt: A young man at his 20s is sitting on a piece of cloud in the sky, reading a book.
一位20多岁的年轻人坐在天空中的一朵云上,沉浸在书本中。

Prompt: A litter of golden retriever puppies playing in the snow. Their heads pop out of the snow, covered in.
一群活泼的金毛寻回犬小狗在银白色的雪地上嬉戏,它们好奇的小脑袋时而从雪地中探出,被雪花点缀,萌态十足。

Prompt: The camera directly faces colorful buildings in burano italy. An adorable dalmation looks through a window on a building on the ground floor. Many people are walking and cycling along the canal streets in front of the buildings.
在意大利布拉诺一排排鲜艳的彩色建筑中,一只可爱的斑点狗正通过窗户好奇地望向外面。与此同时,街道上人来人往,有的步行,有的骑行。

Prompt: Tiltshift of a construction site filled with workers, equipment, and heavy machinery.
一幅充满工人、设备和重型机械的建筑工地的移轴摄影。

Prompt: A petri dish with a bamboo forest growing within it that has tiny red pandas running around
在一个培养皿中,生长着一片竹林,其中小熊猫们在欢快地奔跑。

Prompt: A cartoon kangaroo disco dances.
一只卡通袋鼠正在迪斯科舞池中跳舞。

Prompt: Photorealistic closeup video of two pirate ships battling each other as they sail inside a cup of coffee.
在一杯咖啡中,两艘海盗船展开了激烈的战斗,超写实的近景视频。

当然也有一些诡异的输出。

好在,它还并不完美。

否则,虚拟和现实的界限,还能区分得清吗?

3. 浅析Sora的技术亮点

在Open AI给出的技术报告【1】中,笔者挖出了两点Sora的技术要点,分享如下:
1-视觉数据基建----时空碎片(Spacetime Patches)
以chatGPT为例,大语言模型首先通过Embedding将人类语言“编码”,然后通过注意力机制Attention提取各种丰富的知识和结构,以加权的形式学习并建立“关键词”之间的联系,最后再“反编码”,以人类的语言输出返回结果。

语言模型中构建关键词联系


语言模型中构建关键词联系

与LLM-NLP思路一致,Sora的第一步是针对视觉数据的建模:首先将视频压缩到一个低维的潜在空间,然后将其分解为时空碎片,这些“碎片”的集合作为Sora吃进的“语料”。这里的“碎片”-Patches,等同于语言模型中的Tokens,它帮助Sora获得了自然语言处理特性。

视频素材分解为时空碎片


视频素材分解为时空碎片

进一步,Sora团队构建了“智能字幕“模型DALL.E3,其建立起了Patches到Tokens之间的联系,实现了文本与视频的互译。使得GPT丰富的文本数据被有效的应用于Sora的训练,这极大地促进了Sora的诞生。
其次,由于Patches高度可扩展的表示特性,使得Sora能够应用于广泛的图像和视频编辑任务(图像就是厚度为1的视频,分辨率、形状等属性变换都可以体现为Patches的排列组合)。
2-反向学习----扩散模型(Diffusion Transformers--DiT)【2】
扩散模型是一种深度生成模型,其基本思想就是通过一个可逆的过程,将结构化数据(如图片)逐步转化为无结构的噪声数据,然后再逆向这个过程,从噪声中恢复出原始数据或生成新的数据实例。简而言之,就是让模型从图像的模糊还原中学习图像生成。

在这里插入图片描述

而DiT相对于传统的扩散模型做出了如下改进:
 使用Transformer替换U-Net,使得模型能够更好的处理长距离依赖性;
 验证了Transformer架构在扩散模型上的可扩展性,随着模型计算复杂度的上升,生成质量稳步提升。
 使用Latent diffusion取代pixel diffusion,降低了模型计算量。

扩散模型DiT


扩散模型DiT

在Sora的技术报告中,OpenAI 称Sora摒弃了“其他文生视频模型调整视频大小、裁剪或修剪到标准大小的通常做法”,以可变时长、分辨率与长宽比来训练视频生成,从而获得了重要优势。
从报告中展示的成果来看,Sora在视频生成上展现出了强大的涌现能力:人和景物在三维空间移动的一致性;长程时间相关性与对象持久性,如事物被遮挡后重现;事物与周边世界的互动性等等。

4. Not for play, But change world!

OpenAI在Sora的技术报告中毫不吝惜夸赞的言词,并对Sora的潜力充满期待。他们认为持续扩大视频模型的规模,将可以用来模拟整个物理和数字世界。这一愿景深深地震撼了笔者本人!

OpenAI的宏大目标


OpenAI的宏大目标

伴随着笔者对知乎、csdn、facebook的疯狂查阅,有另一种声音愈发强烈。原本笔者只是惊讶于Sora视频的丝滑,清晰与文本生成的简易。而更多的大佬,纷纷指出,Sora视频毫无违和感,没错!就是毫无违和感,它所展现的光影效果与碰撞遮挡,太真实了!Sora对于图像与视频的处理仅仅是其能力的表象,真相是,Sora是真的在理解地球物理世界的规律,而且取得了巨大的进展。

在这里插入图片描述


未来已来,只是尚未流行

“Sora 是一个数据驱动的物理引擎!“NVIDIA研究科学家Jim Fan在Twitter上发文。
“Sora不讲武德,一句话就有连续的视频,毁灭吧,计算机图形学!毁灭吧,游戏引擎!“计算机图形学学者谭剑如是说。
“去他喵的物理公式,宇宙的终极是概率!“
……
红衣教主周鸿祎曾表示:一旦人工智能接上摄像头,对世界的理解将远远超过文字学习,一幅图胜过千言万语,而视频传递的信息量又远远超过一幅图,这就离AGI(通用人工智能)真的不远了,不是10年、20年的问题,可能一两年很快就可以实现。
而当下,Sora突破了,它实现了机器对这个世界的感知、观察和交互的能力,也就是说真正的给人工智能补上了眼睛。不难想象,在AI如此尽力的发展下,元宇宙般的梦幻世界仿佛近在咫尺。

img


AI在疯狂汲取人类文明与客观世界的知识

5. Sora的成本与OpenAI的7万亿美金豪赌

“很少有人提到 Sora 视频生成的成本。用 Sora 生成 1 分钟的视频估计需要几十美金,比RunwayML的Gen2(大约一分钟10美金)还贵,而很多人会选择性的忽略成本。比如 GPT-4 支持128K上下文的时候,很少有人提到用一次128K上下文需要1.28美金。今天 Gemini 1.5说支持10M上下文了,却并没有人知道这10M上下文的成本是多少。视频生成如果成本高达一分钟几十美金,那就只能受限于专业的影片和游戏制作人,没法用来生成抖音短视频。这就是为什么OpenAI要搞7万亿美金来造芯片。很多人觉得Sam Altman疯了,但我觉得他看到了AI真正的瓶颈——算力。“ ----知乎作者-李博杰
这样的判断很快迎来了资本市场的认证。继2月15日Sora爆炸问世后一周,全世界的投资人,都把目光投向了全球芯片巨头——英伟达。截至当地时间2月22日收盘,英伟达报785.38美元,涨16.4%,创历史新高,市值逼近2万亿美元,成为微软、苹果之后第三高。其市值一夜增长2733亿美元(约合人民币2万亿元)。相当于增加了一整个Netflix或一整个Adobe,约等于一个茅台三个宁德时代!皮衣刀客黄仁勋身家超越中国首富、农夫山泉创始人钟睒睒,升至全球富豪榜第 21 位。
不得不说“淘金的还没起飞,但卖铲子的倒是真的起飞了,哈哈哈哈!”

在这里插入图片描述


黄仁勋眺望未来

6. 算力,未来在何方?

正所谓:哪里有需求,哪里就有市场!Sora的火爆与NVIDIA的成功又再一次印证了人工智能的影响力及其发展的紧迫性,这促使着“国产算力替代”又再一次回到了发展舞台的中心。过去的时间里,在中美博弈,芯片法案的压力下,催生出了一系列AI芯片独角兽,大家也都在各自的技术路线上奋起直追。这包括全志科技多目异构视觉芯片“V853”,云天励飞多芯粒集成CV加速单元“DeepEdge10”,清华大学的智能驾驶计算芯片“惊蛰R1”,时识科技“感算一体”动态视觉SoC“Speck”,以及知存科技的“存算一体”AI视觉芯片“WTM8系列”。与此同时,芯片架构设计、芯片验证以及编译工具链开发等AI芯片岗也引发了新一轮的人才需求热潮。
值得一提的是,在新一轮算力攻坚赛中,突破传统冯·诺依曼架构的范式探索成为主要方向之一。而“存算一体”架构打破了存算分离的壁垒,减少了数据的搬运,它就如同“在家办公”的新型工作模式,消除了数据“往返通勤“的能量消耗、时间延迟,并且节约了“办公场所”的运营成本,因而具备高能效比。加上“存算一体”架构对于工艺制程的“弱依赖”性(14nm展现4nm数字电路表现性能),使其成为了AI算力的重要发展方向。

在这里插入图片描述


Intel Lab 的大规模存算核拓扑规则【3】

从存算一体技术发展来看:
规模正在几何扩增。上图是2024年英特尔实验室新鲜出炉的存算一体架构大规模扩展拓扑图,可以清晰的看到64核拓扑,笔者印象2023年底的时候,4核才刚进入使用。
精度正在更进一步。从4比特到8比特到10比特。最新消息,AI芯片公司TetraMem及其合作伙伴,继2023年3月突破11比特后,于今年2月23日又在《科学》上发表重大突破:以忆阻器为核心的全新架构,突破实现任意高精度模拟计算【4】。
按照存算架构相对于传统数字电路10倍的能效表现,只能说其作为超大模型的支持潜力在逐渐被挖掘,属于它的时代即将到来。

7. Finally!

可以预见的是,AI的成长会以不可思议的速度多向发展,AI的成长基石:数据、算力、能源将会成为社会发展的重要引擎。笔者在此热烈邀请大家共同关注,共同学习,共同迎接美好的明天!

引用:
【1】Technical report of Sora: Video generation models as world simulators (openai.com)
【2】Scalable Diffusion Models with Transformers:https://doi.org/10.48550/arXiv.2212.09748
【3】Towards Joint Modeling of Dialogue Response and Speech Synthesis based on Large Language Model:https://doi.org/10.48550/arXiv.2309.11000
【4】Programming memristor arrays with arbitrarily high precision for analog computing:https://www.science.org/doi/10.1126/science.adi9405
【5】另外,找到了一篇Sora的技术详解,有兴趣的朋友请见:最强文生视频模型 SORA 技术路线解读 (yuque.com)

...全文

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/728279.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

海外IP代理应用:亚马逊使用什么代理IP?

代理IP作为网络活动的有力工具,同时也是跨境电商的必备神器。亚马逊作为跨境电商的头部平台,吸引了大量的跨境电商玩家入驻,想要做好亚马逊,养号、测评都需要代理IP的帮助。那么应该使用什么代理IP呢?如何使用&#xf…

vue el-avatar 使用require提示无法找到图片

报错信息 错误代码 问题分析 vue初始化DOM树时没有挂载数据,导致无法找到模块 解决方案

抖音商家短视频直播流量变现运营SOP地图

【干货资料持续更新,以防走丢】 抖音商家短视频直播流量变现运营SOP地图 部分资料预览 资料部分是网络整理,仅供学习参考。 抖音运营资料合集(完整资料包含以下内容) 目录 【提升短视频运营效率的专业指南】 高效运营&#xf…

Springboot实现获取@Value中同字符串从yml加载后的值

问题描述: 自定义注解,希望能够和Value注解使用一样的value值表达式格式从而动态的从yml中获取配置。做到见名知意 测试流程 yml配置 test:abc: aaaaValue注解获取值 Value("2222.kk.${test.abc}.111") private String test;获取自定注解…

leetcode 39题组合总和

# 为什么c方法不用for循环, [:] 索引拷贝的区别 题目地址&#xff1a;https://leetcode.cn/problems/combination-sum/ # 1. 官方c解法&#xff1a; 提交测试了几个用例可以通过 cpp class Solution { public: void dfs(vector<int>& candidates, int target, v…

【安卓(Android)原生与H5开发区别】

安卓&#xff08;Android&#xff09;原生与H5开发 Android原生语言开发&#xff0c;指的是使用Java或Kotlin等编程语言对Android应用程序的用户界面部分进行开发。Android编程语言可以直接调用底层系统的API与功能。H5开发是指使用HTML、CSS和JavaScript等前端技术进行开发&a…

倒计时37天

复习1001. 马走日问题: 1.P1002 [NOIP2002 普及组] 过河卒 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) //日常碎碎念&#xff1a;谁懂啊&#xff0c;dev突然不能用了&#xff0c;也不知道是哪里出了问题下了五六次都不能用&#xff0c;&#xff0c;&#xff0c;找远程安…

1 数据分析概述与职业操守 (3%)

1、 EDIT数字化模型 E——exploration探索 &#xff08;是什么&#xff09; 业务运行探索&#xff1a;探索关注企业各项业务的运行状态、各项指标是否合规以及各项业务的具体数据情况等。 D——diagnosis 诊断 (为什么) 问题根源诊断&#xff1a;当业务指标偏离正常值时&…

题解:CF1927F(Microcycle)

题解&#xff1a;CF1927F&#xff08;Microcycle&#xff09; 一、 理解题意 1. 题目链接 &#xff08;1&#xff09; CF链接 CodeForces-Contest-1927F &#xff08;2&#xff09; LG链接 洛谷-Problem-CF1927F 2. 题目翻译 &#xff08;1&#xff09; 题目描述 给定…

OWL中文文档合集

这些文档是我在2023年学习owl的时候翻译的官方的英文文档&#xff0c;当然在翻译过程中做了分类整理&#xff0c;总共有十篇&#xff0c;基本上涵盖了owl的方方面面&#xff0c;现在将它们归纳成合集。 关于OWL的中文文档&#xff1a; OWL教程1 OWL架构以及为什么要设计OWL h…

【STM32】HAL库 CubeMX教程---基本定时器 定时

目录 一、基本定时器的作用 二、常用型号的TIM时钟频率 三、CubeMX配置 四、编写执行代码 实验目标&#xff1a; 通过CUbeMXHAL&#xff0c;配置TIM6&#xff0c;1s中断一次&#xff0c;闪烁LED。 一、基本定时器的作用 基本定时器&#xff0c;主要用于实现定时和计数功能…

堆排序的应用

堆排序&#xff08;Heap Sort&#xff09;是一种基于比较的排序算法&#xff0c;它利用堆这种数据结构对一组数据进行排序。堆是一个近似完全二叉树的结构&#xff0c;并同时满足堆积的性质&#xff1a;即子节点的键值或索引总是小于&#xff08;或者大于&#xff09;它的父节点…

RAG模型选取

1.Seq_length 根据实际使用时&#xff0c;一般的输出句子长度大小进行判断&#xff0c;如果检索到的一条完整的信息长度较长&#xff0c;则需要能输入长度更长的embedding 2.embedding维度 并非越大越好 根据语义丰富性进行选择&#xff0c;如果各种数据都有&#xff0c;那么…

系统学习Python——装饰器:“私有“和“公有“属性案例-[继承与委托]

分类目录&#xff1a;《系统学习Python》总目录 文章《系统学习Python——装饰器&#xff1a;“私有“和“公有“属性案例-[实现私有属性]》中的代码有点复杂&#xff0c;并且你最好自己跟踪运行它&#xff0c;看看它是如何工作的。然而为了帮助你理解&#xff0c;这里给出一些…

新能源车高压线束更换VR虚拟互动教学保障了培训安全可控

随着新能源汽车市场的快速发展&#xff0c;对于新能源汽车检修人才的需求也日益增长。然而&#xff0c;传统的培训模式往往存在一些限制&#xff0c;如培训周期长、成本高、实践机会少等。为了解决这些问题&#xff0c;新能源车检修VR互动培训应运而生&#xff0c;成为一种创新…

React富文本编辑器开发(十二)插件

插件 您已经看到了如何覆盖 Slate 编辑器的行为。这些覆盖也可以打包成 “插件”&#xff0c;以便重用、测试和共享。这是 Slate 架构中最强大的方面之一。 插件简单地是一个接受 Editor 对象并在某种方式上增强它后返回它的函数。 例如&#xff0c;一个将图像节点标记为 “…

根据标签出现的频次渲染不同大小的圆和文字,圆随机摆放且相互之间不重叠

效果图&#xff1a; 按每个标签出现的频次大小渲染出不同比例大小的圆&#xff0c;渲染的圆的宽度区间为 [40, 160] &#xff0c;其中的文字的大小区间为 [12, 30] &#xff0c;圆的位置随机摆放且不重叠。 根据已知条件可得出&#xff0c;标签中频次最高的对应圆的宽度(直径…

蓝桥杯(3.7)

P1102 A-B 数对 import java.util.Scanner; public class Main {public static void main(String[] args) {Scanner sc new Scanner(System.in);int n sc.nextInt();int c sc.nextInt();int[] res new int[n1];for(int i1;i<n;i)res[i] sc.nextInt();int sum 0;for(i…

golang服务控制之go-svc

文章目录 程序安全退出执行代码的基本:信号拦截执行代码的改进:信号拦截包装器实践捕获键盘输入示例代码go-svc介绍程序及服务的控制是指在计算机系统中对程序和服务进行管理、监控和调控的过程。这个过程可以涉及到多个方面,包括资源管理、运行状态监测、安全性控制等。本质…

ROS2学习(二):仿真案例汇总(基于Ubuntu_2004 ROS2_noetic)

文章目录 一、slam仿真1、安装环境依赖2、创建Turtlebot3目录并下载安装3、配置Turtlebot3环境4、运行slam仿真 一、slam仿真 1、安装环境依赖 sudo apt install ros-noetic-cartographer ros-noetic-cartographer-ros2、创建Turtlebot3目录并下载安装 mkdir -p catkin_turt…