AIGC视频生成模型：Meta的Emu Video模型

大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本文详细介绍Meta的视频生成模型Emu Video，作为Meta发布的第二款视频生成模型，在视频生成领域发挥关键作用。

在这里插入图片描述

🌺优质专栏回顾🌺：

机器学习笔记
深度学习笔记
多模态论文笔记
AIGC—图像

文章目录

论文
摘要
引言
相关工作
文本到图像（T2I）扩散模型
视频生成/预测
文本到视频（T2V）生成
分解生成

方法
预备知识
Emu Video
生成步骤
图像条件
模型结构
零终端信噪比噪声调度
插值模型
实现简单性
稳健的人类评估（JUICE）

实现细节
架构与初始化
高效的多阶段多分辨率训练
高质量微调
插值模型

实验
伦理问题

论文

项目：https://emu-video.metademolab.com/assets/emu_video
论文：https://arxiv.org/pdf/2311.10709

摘要

本文提出Emu Video，这是一种文本到视频生成模型，将生成过程分解为两个步骤：

先根据文本生成图像;
再基于文本和生成的图像生成视频。

该模型在性能上超越了RunwayML的Gen2和Pika Labs等商业解决方案。

引言

T2I模型在大规模的图像文本对上训练，已经很成功了，可使用视频文本对进一步拓展文本到视频（T2V）生成，但视频生成在质量和多样性方面仍落后于图像生成。原因在于：

需要对更高维度的时空输出空间进行建模，且仅以文本提示作为条件；
视频文本数据集通常比图像文本数据集小一个数量级。

当前视频生成的主流范式是使用扩散模型一次性生成所有视频帧。而不是NLP中的自回归问题不同，自回归方法在视频生成中具有挑战性，因为从扩散模型生成单个帧就需要多次迭代。

Emu Video通过显式的中间图像生成步骤，将文本到视频生成分解为两个子问题：

根据输入文本提示生成图像；
基于图像和文本的强条件生成视频。

直观地说，给模型一个起始图像和文本会使视频生成更容易，因为模型只需要预测图像未来的演变。

由于视频文本数据集远小于图像文本数据集，使用预训练的文本到图像（T2I）模型初始化T2V模型，并冻结其权重。在推理时，这种分解方法能显式生成图像，从而保留T2I模型的视觉多样性、风格和质量。

Emu Video证明了将文本到视频（T2V）生成过程分解为：先生成图像，再用生成的图像和文本生成视频。可以大幅提高生成质量。

到此，作者确定了他们的关键设计决策 —— 改变扩散噪声调度和采用多阶段训练，从而能够绕过先前工作中对深度级联模型的需求，高效生成 512 像素高分辨率的视频。该模型也可以根据用户提供的图像和文本提示生成视频。

方法

文本到视频（T2V）生成的目标：构建一个模型，该模型以文本提示 P 作为输入，生成由 T 个 RGB 帧组成的视频 V。

近期的一些模型仅使用文本作为条件，一次性直接生成 T 个视频帧。作者在本论文中认为：通过文本和图像共同提供更强的条件能够提升视频生成效果（验证参见 3.2 节）。

预备知识

条件扩散模型是一类生成模型，通过迭代对高斯噪声去噪，根据条件输入c生成输出。

在训练时：

将时间步 $\in[0, N]$ 相关的高斯噪声 $\epsilon_{t} \sim N(0, 1)$ 添加到原始输入信号X上，得到有噪输入 $X_{t}=\alpha_{t} X+\sqrt{1-\alpha_{t}} \epsilon_{t}$ ，其中 $\alpha_{t}$ 定义 “噪声调度”，N是扩散步骤总数。
扩散模型通过预测噪声 $\epsilon_{t}$ 、 $x$ 或 $v_{t}=\alpha_{t} \epsilon_{t}-\sqrt{1-\alpha_{t}} X$ 来对 $x_{t}$ 进行去噪。时间步t的信噪比（SNR）为 $(\frac{\alpha_{t}}{1-\alpha_{t}})^{2}$ ，并随着 $\to N$ 而降低。

在推理时：

从纯噪声/高斯噪声 $X_{N} \sim N(0, 1)$ 开始去噪生成样本。

对 $x_{t}$ 去噪的三种预测方式：

预测 $\epsilon_{t}$ （常用）：
- $\epsilon_{t}$ 是在时间步 $t$ 添加到原始输入信号 $X$ 的高斯噪声 $\epsilon_{t}\sim N(0, 1)$ 。如果模型能够准确预测出这个噪声，那么就可以从含噪输入 $X_{t}=\alpha_{t}X +\sqrt{1-\alpha_{t}}\epsilon_{t}$ 中减去预测的噪声，从而达到去噪的目的。
预测 $x$ ：
- 这里的 $x$ 是指原始输入信号 $X$ 。模型直接预测原始信号本身，在得到预测的原始信号 $\hat{X}$ 后，就可以将含噪输入 $X_{t}$ 中的噪声部分去除。在实际操作中，直接预测原始信号可能会比较复杂，因为模型需要学习从含噪信号中还原出原始信号的复杂映射关系。
预测 $v_{t}$ ：
- $v_{t}=\alpha_{t}\epsilon_{t}-\sqrt{1 - \alpha_{t}}X$ 是一种组合了噪声 $\epsilon_{t}$ 和原始信号 $X$ 的形式。当模型预测出 $v_{t}$ 为 $\hat{v}_{t}$ 时，可以通过一定的数学变换来去除噪声，恢复原始信号。这种方式综合考虑了噪声和原始信号之间的关系，也是一种有效的去噪策略。

Emu Video

在这里插入图片描述

图3描述了分解的文本 - 视频生成过程。

首先根据文本 $p$ 生成图像 $I$ ；
然后使用更强的条件，即生成的图像和文本来生成视频 $V$ 。

为了使我们的模型 $\mathcal{F}$ 以图像为条件，我们在时间维度上对图像进行零填充，并将其与一个二进制掩码连接起来，该掩码指示哪些帧是零填充的【类似Trandformer的填充遮蔽（Padding Masking）与未来遮蔽（Future Masking）】，以及含噪输入。

生成步骤

将文本到视频生成分解为两个步骤：

首先，根据文本提示 $p$ 生成第一帧（图像）；
然后，利用文本提示 $p$ 和图像条件【下面会介绍图像条件怎么来的】生成T帧视频。

这两个步骤均使用潜在扩散模型 $\mathcal{F}$ 实现，使用预训练的文本到图像模型初始化 $\mathcal{F}$ ，确保其在初始化时能够生成图像。

只需训练 $\mathcal{F}$ 解决第二步，即根据文本提示和起始帧/图像推出视频。使用视频文本对训练 $\mathcal{F}$ ，通过采样起始帧/图像 $I$ ，让模型根据文本提示 $P$ 和图像 $I$ 条件预测 $T$ 帧（ $T$ 帧会被独立地添加噪声，以生成含噪输入 $x_{t}$ ，而扩散模型的训练目标就是对这个含噪输入进行去噪）。

首先通过逐帧应用图像自动编码器的编码器将视频 $v$ 转换到潜在空间 $\in \mathbb{R}^{T×C×H×W}$ ，这会降低空间维度。潜在空间中的数据可以通过自动编码器的解码器转换回像素空间。

图像条件

通过将起始帧 $I$ 与噪声拼接(如上图的concatenate)，为模型提供条件。将 $I$ 表示为单帧视频（ $T = 1$ ），并对其进行零填充，得到 $T \times C \times H \times W$ 张量，同时使用形状为 $T \times 1 \times H \times W$ 的二进制掩码m，在第一时间位置设置为1表示起始帧位置，其他位置为0。将掩码m、起始帧I和有噪视频 $x_{t}$ 按通道连接作为模型输入。

与 Make-a-video等模型中基于语义嵌入设定条件的方法不同，Emu Video 的拼接的方式能让模型利用起始帧 I 的全部信息。基于语义嵌入的方法会在条件设定时丢失部分图像信息，而 Emu Video 的设计避免了这一问题，为生成高质量视频提供了更多有效信息。

掩码 m 用于标记起始帧在序列中的位置，帮助模型识别起始帧，对后续视频生成过程进行更精准的指导。

模型结构

使用预训练的T2I模型Emu初始化潜在扩散模型 $\mathcal{F}$ ，并添加新的可学习时间参数：

在每个空间卷积层之后添加一维时间卷积层；
在每个空间注意力层之后添加一维时间注意力层；
原始的空间卷积层和注意力层保持冻结状态。

在Runway的Gen-1中的时空潜在扩散中也使用了可学习时间参数：

在每个残差块中的每个 2D 空间卷积之后引入一个1D 时间卷积。
在每个空间 2D 空间注意力块后引入一个时间1D 时间注意力块。

预训练的 T2I 模型以文本作为条件，与上一节的图像条件相结合后，模型 $\mathcal{F}$ 同时以文本和图像作为条件。

Emu是Meta发布的一款T2I模型，论文为：Emu: Enhancing Image Generation Models Using Photogenic Needles in a Haystack

零终端信噪比噪声调度

作者发现，先前工作（Emu和SD模型）中使用的扩散噪声调度存在训练 - 测试差异，这会阻碍高质量视频的生成。

在训练过程中，该噪声调度会留下一些残留信号，也就是说，即使在扩散的终端时间步N，信噪比（SNR）仍不为零。当我们从不含真实数据信号的随机高斯噪声中采样时，这会导致扩散模型在测试时无法很好地泛化。由于高分辨率视频帧在空间和时间上存在冗余像素，其残留信号更为明显。

作者通过缩放噪声调度并将最终的 $\alpha_N = 0$ 来解决这个问题，这使得在训练过程中的时间步为N时（扩散过程的最后一个阶段），信噪比也为零。我们发现这个设计决策对于高分辨率视频的生成至关重要。

这个问题和缩放噪声调度方法并非本文首创，在之前的：Common diffusion noise schedules and sample steps are flawed也发现了这个问题。【来源于字节跳动】

插值模型

使用与 $\mathcal{F}$ 结构相同的插值模型 $I$ ，将低帧率的 $T$ 帧视频转换为高帧率的 $T_{p}$ 帧视频。 输入的 $T$ 帧通过零交错生成 $T_{p}$ 帧，并将指示 $T$ 帧存在的二进制掩码m连接到有噪输入。为提高效率，从 $\mathcal{F}$ 初始化 $I$ ，并仅针对插值任务训练 $I$ 的时间参数。

将低帧率的 $T$ 帧视频转换为高帧率的 $T_p$ 帧，能提升视频流畅度与视觉效果，适应多样化应用场景，增强模型竞争力，为用户带来更好体验。

实现简单性

Emu Video在实现方面的简单且高效：

训练数据与模型结构简单
- 标准数据集训练：Emu Video采用标准视频文本数据集进行训练，这意味着其训练数据来源广泛且具有通用性，不需要特殊定制的数据集，降低了数据准备的难度和成本。
- 无需深度级联模型：在生成高分辨率视频时，Emu Video不需要像某些其他方法（如Imagen Video中使用7个模型的深度级联结构）那样复杂的模型架构，简化了模型构建和训练流程。
推理过程
- 图像与视频生成：推理时，先运行去除时间层的模型F根据文本提示生成图像I，再将I和文本提示作为输入，通过F直接生成高分辨率的T帧视频，这种推理方式简洁高效。
- 帧率提升：借助插值模型I可提高视频帧率，进一步增强视频的视觉效果，且这一操作融入到了整体的推理流程中。
模型初始化与风格保留
- 初始化策略：空间层从预训练的T2I模型初始化并保持冻结，这样可以利用T2I模型在大规模图像文本数据集上学习到的概念和风格多样性。
- 风格保留优势：相比Imagen Video需要在图像和视频数据上联合微调以维持风格，Emu Video不需要额外的训练成本就能保留并运用这些风格来生成图像I。许多直接的T2V方法，如Make-a-video，虽然也从预训练T2I模型初始化并冻结空间层，但由于没有采用基于图像的分解方法，无法像Emu Video一样保留T2I模型的质量和多样性。

稳健的人类评估（JUICE）

由于自动评估指标不能反映质量的提升，主要使用人类评估来衡量T2V生成性能，从视频生成质量（Quality，Q）和生成视频与文本提示的对齐或 “保真度”（Faithfulness，F）两个正交方面进行评估。提出JUICE评估方案，要求评估者在成对比较视频生成结果时说明选择理由，显著提高了标注者之间的一致性。评估者可选择像素清晰度、运动平滑度、可识别对象/场景、帧一致性和运动量等理由来评价视频质量；使用空间文本对齐和时间文本对齐来评价保真度。

实现细节

附录第 1 节提供完整的实现细节，详细内容可以参考附录第 1 节，这里只介绍关键细节。

架构与初始化

采用Emu中的文本到图像 U-Net 架构构建模型，并使用预训练模型初始化所有空间参数。

预训练模型使用一个 8 通道、64×64 的潜在向量，经自动编码器在空间上进行 8 倍下采样，生成 512px 的方形图像。
该模型同时使用一个冻结的 T5-XL 和一个冻结的 CLIP 文本编码器从文本提示中提取特征。

高效的多阶段多分辨率训练

为降低计算复杂度，分两个阶段进行训练。

先在低分辨率下，训练更简单的任务，即生成256px、8fps、1s的视频。
然后在期望的高分辨率下训练，对4fps、2s的视频进行15K次迭代训练。
a. 使用同SD一样的噪声调度进行256px训练。
b. 在512px训练中使用零终端信噪比噪声调度，扩散训练步数 $N = 1000$
c. 使用DDIM采样器进行采样，采样步数为250步。