AI趋势（06） Sora，AI对世界的新理解

说明：使用黄金圈法则学习和解读Sora（what、why、how）

1 Sora是什么？

1.1 Sora的基本解读

Sora是OpenAl在2024年2月16日发布的首个文本生成视频模型。该模型能够根据用户输入的文本自动生成长达60秒的1080p复杂场景视频，具有良好的连贯性和高质量。

Sora继承了Dall·E-3的画质和遵循指令能力，可以根据用户的文本提示快速制作长达一分钟的高保真视频，还能获取现有的静态图像并从中生成视频。它能够理解复杂场景中不同元素之间的物理属性及其关系，从而深度模拟真实物理世界，生成具有多个角色、包含特定运动的复杂场景。

Sora的发布使内容创作领域的专业难度降低，作为实现通用人工智能（AGI）的重要里程碑，其问世标志着人工智能在理解真实世界场景并与之互动的能力方面实现了重大飞跃。

接下来我们来看看具体的Sora实现效果：

Openai最新生成工具Sora

1.2 Sora原理形象解读

Sora属于多模态混合模型，由大语言模型和文图生成器拼接而成。可以把文图生成器比作一个画家，而大语言模型则相当于一个翻译官。大语言模型能够将用户输入的文本转化为文图生成器能够理解的提示词，从而生成切题的作品。

文图生成器经改造后，也能生成视频。图片和视频的差别其实很小，视频只是多帧图片的快速、连续播放。因此，从文图生成器过渡到文生视频大模型，不需要很大的技术突破，研发团队主要依靠的是大算力、大模型、大样本训练数据等“先天条件”。

扩散模型是一种训练模型的方法，源于物理学中的非平衡热力学。类似于往一杯水里滴入一滴颜料，无论滴在什么位置，只要时间足够长，颜料最终会均匀地分布在溶液中，这就是扩散模型的前向过程。如果能获得扩散过程中颜料分子的位置、速度等数据，即可反推出颜料的滴入位置，这是扩散模型的反向过程。从物理实验得到启发，计算机科学家在神经网络的数据训练中引入噪声（类似滴入水杯的颜料），然后通过去除噪声生成图像。经过一段时间训练，神经网络会具备在给定噪声的情况下生成新图像的能力。

Sora与Pika等同类产品相比，具有三大优势——60秒时长、单视频包含多角度镜头、遵循部分物理规律。Sora问世前，同类产品只能根据提示词生成5秒以内的短视频。Sora的作品不仅可长达1分钟，而且有多角度镜头，这些镜头里的人和物能保持前后一致性，不会因角度变换出现问题。

1.3 Sora和3D引擎生成视频的区别

Sora 生成的视频和 3D 引擎生成的视频在流程上有以下一些较为关键的区别：

数据输入：Sora 通常基于文本输入或其他形式的描述来生成视频，而 3D 引擎则需要更详细的 3D 模型、纹理、动画等数据来创建视频。
生成方式：Sora 使用深度学习技术和神经网络来生成视频，通过对大量文本和视频数据的学习，模型能够理解文本描述与视频内容之间的关系，并生成相应的视频。3D 引擎则是通过渲染 3D 场景来生成视频，它依赖于计算机图形学的技术和算法。
实时性：Sora 的生成过程可能需要一定的计算时间，尤其是对于复杂的视频生成任务。而 3D 引擎在一些情况下可以实时渲染和生成视频，例如在游戏或实时可视化应用中。
复杂性和控制：3D 引擎提供了更高级的控制和复杂性，用户可以更精细地调整场景、灯光、材质等参数，以实现更精确的效果。Sora 则更侧重于根据输入描述自动生成视频，用户对细节的控制相对较少。
应用场景：Sora 适用于需要快速生成大量视频内容的场景，例如广告、动画短片等。3D 引擎则更常用于需要高质量、逼真的 3D 视觉效果的领域，如游戏开发、影视特效等。

需要注意的是，这只是一些一般的区别，具体情况可能因不同的工具和应用而有所不同。Sora 和 3D 引擎都有其独特的优势和适用场景，可以根据具体需求选择合适的方法来生成视频。

1.4 Sora出现的意义

Sora的出现可能意味着以下几个方面：

推动社会发展和进步：在信息爆炸的时代，人们需要更高效、更便捷的工具来获取和处理信息。Sora正是这样一个工具，它以其独特的功能和优势，满足了人们的需求，提高了个人的生活品质，也推动了社会的发展。
催生相关产业链：Sora的出现，催生了一大批与之相关的产业链，如软件开发、硬件制造、数据分析等。这些产业的发展，不仅创造了大量的就业机会，也带动了经济的发展。
带来新的商业模式和盈利机会：Sora的应用，为各行各业带来了新的商业模式和盈利机会。例如，通过Sora，企业可以更准确地了解市场需求，从而做出更科学的决策；商家可以利用Sora进行精准营销，提高销售额；个人也可以通过Sora获取各种信息，提高生活品质。
科技进步的标志：Sora采用了最新的技术和理念，如大数据、云计算、人工智能等，这些都是当今科技发展的前沿技术。通过这些技术的结合和创新，Sora实现了其独特的功能和优势，展示了科技的力量，也预示了科技的未来发展趋势。
改写视频生成领域：Sora直接实现了60秒连贯视频生成，展现出其在视频生成领域的巨大优势。其具备多角度镜头、一镜到底等特点，展现了高度流畅性、稳定性，使其成为一个强大的视频生成工具。

2 Sora为什么会出现？

2.1 Sora出现的可能原因分析

Sora是OpenAI推出的一款先进的生成式AI模型，能够根据文本指令直接生成长达60秒的视频。以下是一些可能导致Sora出现的原因：

技术进步：随着深度学习技术的发展，视频生成技术也在不断进步。Sora的出现可能是OpenAI在这一领域的技术突破和创新成果。
市场需求：视频内容在当今的数字时代变得越来越重要。Sora的出现可能是为了满足市场对高效、高质量视频生成的需求。
竞争压力：AI视频公司Runway、Pika等在一级市场受到风险资金的密切关注，Sora的出现可能是OpenAI为了保持在AI领域的竞争优势而推出的产品。
通用人工智能的发展：Sora的诞生意味着AGI（通用人工智能）实现可能从十年缩短至一两年，体现了OpenAI在推动通用人工智能发展方面的努力和成果。

2.2 Sora的出现到底颠覆了什么？

Sora的出现对于某些行业具有颠覆性，例如：

IT行业：Sora的发布可能标志着人工智能在理解真实世界场景并与之互动的能力方面实现飞跃。这种能力对于自动化机器人技术和智能系统等IT领域的进一步发展具有重要意义。通过利用Sora的模拟功能，IT行业可以更精确地测试和优化这些技术的性能。
视频行业：Sora对于需要制作视频的艺术家、电影制片人或学生来说具有巨大潜力。它可以简化和加速画面及内容的制作过程，降低制作成本并提高制作效率。
电影行业：Sora的出现可能给电影行业带来洗牌。未来电影制作可能不再需要演员、摄像机和场地，只需一个剧本Sora便可以生成整部电影的内容。这将极大地降低电影制作的成本和门槛，但同时也可能改变电影艺术的本质和观众的观影体验。
广告业、电影预告片、短视频行业：从OpenAI官网更新的48个视频demo来看，Sora不仅能够准确呈现细节，还能生成具有丰富情感的角色。据OpenAI介绍，Sora能够生成具有多个角色、特定类型的运动以及主题和背景的准确细节的复杂场景。该模型不仅了解用户提出的要求，还了解这些东西在物理世界中的存在方式。因此，从长远角度来看，Sora将给广告业、电影预告片、短视频行业带来巨大的颠覆。

3 关于Sora的使用

目前Sora还没有公开使用，不过对于Sora的功能说明，具体如下：

文本生成视频，效果逼真：Sora 能够从文本说明中生成长达60秒的视频，并且能够在一个生成的视频中创建多个镜头，体现人物和视觉风格。
处理复杂场景和动态：能够创建包含多个角色、特定类型的运动和准确的主题与背景细节的复杂场景。
改进的视觉效果和连贯性：与早期模型相比，Sora 在视觉效果和场景连贯性方面有了显著改进。它在处理遮挡物方面表现出色，能够在不同视频片段之间添加看似剪切的效果，并在它们之间保持风格的连贯性。
结合了扩散模型和变换器网络：Sora 在技术上结合了扩散模型和变换器网络。

Sora 还具有视频拓展能力和视频编辑能力，可以将视频向前向后拓展，并且做到无缝衔接；只要通过文章就可以让视频变换成自己喜欢的风格。