用于视频生成的扩散模型

学习自https://lilianweng.github.io/posts/2024-04-12-diffusion-video/

文章目录

  • 3D UNet和DiT
    • VDM
    • Imagen Video
    • Sora
  • 调整图像模型生成视频
    • Make-A-Video(对视频数据微调)
    • Tune-A-Video
    • Gen-1
    • 视频 LDM
    • SVD稳定视频扩散
  • 免训练
    • Text2Video-Zero
    • ControlVideo
  • 参考文献

3D UNet和DiT

VDM

空间上

  1. 2D卷积扩展为3D卷积,具体操作 3 × 3 3\times3 3×3 替换成 1 × 3 × 3 1\times3\times3 1×3×3

     提高计算效率,增强网络非线性和表示能力,优化网络深度和结构
    
  2. 空间注意力块考虑像素之间的空间关系,第一个轴用来区分不同的批次或样本

     保持空间信息有效性,利用批次处理提高训练和推理的效率
    

时间上

在空间注意块之后添加时间注意块,在第一轴执行操作。相对位置嵌入用于跟踪帧的顺序,时间注意模块可以捕获良好的时间连贯性。

在这里插入图片描述

Imagen Video

  1. 冻结的文本编码器提供文本嵌入作为条件

  2. 交错空间和时间超分扩散模型的级联
    在这里插入图片描述

     - SSR(Scene Structure Representation): 指的是对视频中的场景结构进行建模和表示的方法。场景结构可以理解为视频中不同场景或镜头之间的关系和转换。SSR的目标是捕捉视频中的场景切换、场景内部的动作和对象交互等信息,以便后续的分析和处理。- TSR(Temporal Structure Representation): 指的是对视频中的时间结构进行建模和表示的方法。时间结构涉及到视频中不同时间点或时间段的关系和变化。TSR的目标是分析和描述视频中的时间序列信息,如动作的持续时间、速度的变化等。- SSR 通过双线性调整大小(基于双线性插值)进行上采样,而 TSR 通过重复帧或填充空白帧来上采样。
    
  3. 对具有共享参数的帧执行空间操作,时间层跨帧混合捕获时间连贯性。
    在这里插入图片描述

  4. 应用渐进式蒸馏来加快取样速度,每次蒸馏迭代都可以将所需的取样步骤减少一半。

     模型蒸馏:蒸馏技术能够将大型复杂模型的知识和性能转移到更小、更快速的模型中,从而节省计算资源和内存消耗。主要包括以下几个步骤:大模型准备、目标模型选择(小模型)、大模型软标签生成、目标模型训练、temperature参数控制模型泛化收敛和稳定性、性能评估。
    

Sora

Sora运用DiT结构,在视频和图像潜在编码时空token上运行,视觉输入为时间token充当transformer的输入标记。

在这里插入图片描述

调整图像模型生成视频

可以通过插入时间层“膨胀”预训练的文本到图像的扩散模型,只对视频数据微调新层,或者完全避免额外训练。新模型具有文本-图像对的先验,降低对文本-视频对数据的要求。

Make-A-Video(对视频数据微调)

在这里插入图片描述
最终推理目标: y ^ t = SR h ∘ SR l t ∘ ↑ F ∘ D t ∘ P ∘ ( x ^ , CLIP text ( x ) ) \hat{\mathbf{y}}_t = \text{SR}_h \circ \text{SR}^t_l \circ \uparrow_F \circ D^t \circ P \circ (\hat{\mathbf{x}}, \text{CLIP}_\text{text}(\mathbf{x})) y^t=SRhSRltFDtP(x^,CLIPtext(x))
在这里插入图片描述
时空SR层包括伪3D Convo层(左)和伪3D注意力层(右):
在这里插入图片描述
Conv P3D = Conv 1D ( Conv 2D ( h ) ∘ T ) ∘ T Attn P3D = flatten − 1 ( Attn 1D ( Attn 2D ( flatten ( h ) ) ∘ T ) ∘ T ) \begin{aligned} \text{Conv}_\text{P3D} &= \text{Conv}_\text{1D}(\text{Conv}_\text{2D}(\mathbf{h}) \circ T) \circ T \\ \text{Attn}_\text{P3D} &= \text{flatten}^{-1}(\text{Attn}_\text{1D}(\text{Attn}_\text{2D}(\text{flatten}(\mathbf{h})) \circ T) \circ T) \end{aligned} ConvP3DAttnP3D=Conv1D(Conv2D(h)T)T=flatten1(Attn1D(Attn2D(flatten(h))T)T)

输入张量 h \mathbf{h} h ∘ T \circ T T时间和空间维度之间的交换, flatten ( . ) \text{flatten}(.) flatten(.)是要转换的矩阵运算符 h \mathbf{h} h成为 h ’ ∈ R B × C × F × H × W \mathbf{h}’ \in \mathbb{R}^{B \times C \times F \times H \times W} hRB×C×F×H×W flatten − 1 ( . ) \text{flatten}^{-1}(.) flatten1(.)反转这一过程。

训练流程:首先仅对图像进行训练(文本对不参与),添加新时态层对未标记的视频数据微调。

Tune-A-Video

给定一个包含 m m m框架 V = { v i ∣ i = 1 , … , m } \mathcal{V} = \{v_i \mid i = 1, \dots, m\} V={vii=1,,m}和描述性提示 τ \tau τ,基于微编辑和相关的文本提示 τ ∗ \tau^* τ生成新视频 V ∗ \mathcal{V}^* V

Tune-A-Video的Unet集成了ST-Attention 时空注意力模块,查询前几帧的相关位置获得时间一致性。对于潜在特征 v i v_i vi,前一帧 v i − 1 v_{i-1} vi1和第一帧 v 1 v_1 v1得到
Q = W Q z v i , K = W K [ z v 1 , z v i − 1 ] , V = W V [ z v 1 , z v i − 1 ] O = softmax ( Q K ⊤ d ) ⋅ V \begin{aligned} &\mathbf{Q} = \mathbf{W}^Q \mathbf{z}_{v_i}, \quad \mathbf{K} = \mathbf{W}^K [\mathbf{z}_{v_1}, \mathbf{z}_{v_{i-1}}], \quad \mathbf{V} = \mathbf{W}^V [\mathbf{z}_{v_1}, \mathbf{z}_{v_{i-1}}] \\ &\mathbf{O} = \text{softmax}\Big(\frac{\mathbf{Q} \mathbf{K}^\top}{\sqrt{d}}\Big) \cdot \mathbf{V} \end{aligned} Q=WQzvi,K=WK[zv1,zvi1],V=WV[zv1,zvi1]O=softmax(d QK)V

微调体现在哪里?
微调期间只有ST-Attn和Cross-Attn中query的投影更新,保留先前的文本到图像知识。ST-Attn提高时空一致性,Cross-Attn优化文本-视频对齐。

在这里插入图片描述

Gen-1

分开考虑视频的结构和内容 p ( x ∣ s , c ) p(\mathbf{x} \mid s, c) p(xs,c)

  • 内容 c c c主要是外观语义信息,嵌入CLIP
  • 结构 s s s主要描述几何和动力学,使用深度估计或者其他特定任务的侧面信息。

残差块中的每个2D空间convo层之后添加1D时态convo,2D空间注意块之后添加1D时态注意力块。Training,结构变量s与潜在变量z连接,内容变量c在cross-attn中提供。Inference,
在这里插入图片描述

视频 LDM

训练LDM,对模型进行微调,然后生成添加时间维度的视频。时间层 { l ϕ i ∣ i = 1 , … , L } \{l^i_\phi \mid i = \ 1, \dots, L\} {lϕii= 1,,L}和空间层 l θ i l^i_\theta lθi交错,在微调时保持冻结。视频LDM以低fps生成关键帧,通过两个步骤的潜在插帧提高fps。
在这里插入图片描述

LDM预训练自编码看不到视频容易产生闪烁的伪影,因此,在解码器中添加了额外的时间层,使用3D卷积够早的时间判别器微调。在时间解码器微调期间,冻结的编码器独立处理视频中的每一帧,并使用视频感知鉴别器跨帧强制执行时间连贯的重建。
在这里插入图片描述

SVD稳定视频扩散

主要三个阶段:T2I预训练、视频预训练和视频微调
其他技术:三种不同的字幕模型。删除运动少的剪辑,过多的文本和较低美学价值的帧。
首先生成远距离关键帧,为了保证高质量的时间一致性,使用STUNet通过一次生成视频的持续时间消除对TSR的依赖。
STUNet 膨胀了预训练的文本到图像 U-net,以便能够在时间和空间维度上对视频进行下采样和上采样。基于 Convo 的模块由预先训练的文本到图像层组成,然后是因式分解的时空卷积。在最粗糙的 U-Net 级别,基于注意力的块包含预先训练的文本到图像,然后是时间注意力。只有新添加的层才会进行进一步的训练。
在这里插入图片描述

免训练

Text2Video-Zero

通过增强具有两个关键时间一致性的预训练图像扩线模型,实现zero-shot、免训练的视频生成:

  1. 使用运动动力学对潜在代码序列进行采样,以保持全局场景和背景时间的一致性
  2. 使用新跨帧注意机制重新编程帧级自注意,保留前景对象的上下文、外观和标识。

在这里插入图片描述
在这里插入图片描述
x T ′ 1 = DDIM-backward ( x T 1 , Δ t ) where  T ′ = T − Δ t W k ← a warping operation of  δ k = λ ( k − 1 ) δ x ~ T ′ k = W k ( x T ′ 1 ) x T k = DDIM-forward ( x ~ T ′ k , Δ t ) for  k = 2 , … , m \begin{aligned} \mathbf{x}^1_{T'} &= \text{DDIM-backward}(\mathbf{x}^1_T, \Delta t)\text{ where }T' = T - \Delta t \\ W_k &\gets \text{a warping operation of }\boldsymbol{\delta}^k = \lambda(k-1)\boldsymbol{\delta} \\ \tilde{\mathbf{x}}^k_{T'} &= W_k(\mathbf{x}^1_{T'})\\ \mathbf{x}^k_T &= \text{DDIM-forward}(\tilde{\mathbf{x}}^k_{T'}, \Delta t)\text{ for }k=2, \dots, m \end{aligned} xT1Wkx~TkxTk=DDIM-backward(xT1,Δt) where T=TΔta warping operation of δk=λ(k1)δ=Wk(xT1)=DDIM-forward(x~Tk,Δt) for k=2,,m

此外,Text2Video-Zero将预训练SD模型中的自注意力层替换为新的跨帧注意力机制,并参考第一帧。其动机是在整个生成的视频中保留有关前景对象的外观、形状和身份的信息。
Cross-Frame-Attn ( Q k , K 1 : m , V 1 : m ) = Softmax ( Q k ( K 1 ) ⊤ c ) V 1 \text{Cross-Frame-Attn}(\mathbf{Q}^k, \mathbf{K}^{1:m}, \mathbf{V}^{1:m}) = \text{Softmax}\Big( \frac{\mathbf{Q}^k (\mathbf{K}^1)^\top}{\sqrt{c}} \Big) \mathbf{V}^1 Cross-Frame-Attn(Qk,K1:m,V1:m)=Softmax(c Qk(K1))V1
平滑北京和扩散步骤中合并实际和扭曲的潜在代码t
x ˉ t k = M k ⊙ x t k + ( 1 − M k ) ⊙ ( α x ~ t k + ( 1 − α ) x t k ) for  k = 1 , … , m \bar{\mathbf{x}}^k_t = \mathbf{M}^k \odot \mathbf{x}^k_t + (1 − \mathbf{M}^k) \odot (\alpha\tilde{\mathbf{x}}^k_t +(1−\alpha)\mathbf{x}^k_t)\quad\text{for }k=1, \dots, m xˉtk=Mkxtk+(1Mk)(αx~tk+(1α)xtk)for k=1,,m
这里的 x t k \mathbf{x}^k_t xtk是实际的潜码, x ~ t k \tilde{\mathbf{x}}^k_t x~tk是背景上扭曲的潜码, α \alpha α是超参。

ControlVideo

在ControlNet基础上添加了三个新的机制

  1. 跨帧注意机制
  2. 交错帧平滑器
  3. 分层采样器

在这里插入图片描述

参考文献

[1] Cicek et al. 2016. “3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation.”

[2] Ho & Salimans, et al. “Video Diffusion Models.” 2022 | webpage

[3] Bar-Tal et al. 2024 “Lumiere: A Space-Time Diffusion Model for Video Generation.”

[4] Brooks et al. “Video generation models as world simulators.” OpenAI Blog, 2024.

[5] Zhang et al. 2023 “ControlVideo: Training-free Controllable Text-to-Video Generation.”

[6] Khachatryan et al. 2023 “Text2Video-Zero: Text-to-image diffusion models are zero-shot video generators.”

[7] Ho, et al. 2022 “Imagen Video: High Definition Video Generation with Diffusion Models.”

[8] Singer et al. “Make-A-Video: Text-to-Video Generation without Text-Video Data.” 2022.

[9] Wu et al. “Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation.” ICCV 2023.

[10] Blattmann et al. 2023 “Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models.”

[11] Blattmann et al. 2023 “Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets.”

[12] Esser et al. 2023 “Structure and Content-Guided Video Synthesis with Diffusion Models.”

[13] Bar-Tal et al. 2024 “Lumiere: A Space-Time Diffusion Model for Video Generation.”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/43806.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

需求分析|泳道图 ProcessOn教学

文章目录 1.为什么使用泳道图2.具体例子一、如何绘制确定好泳道中枢的角色在中央基于事实来绘制过程不要纠结美观先画主干处理流程再画分支处理流程一个图表达不完,切分子流程过程数不超25 ,A4纸的幅面处理过程过程用动词短语最后美化并加上序号酌情加上…

后端——全局异常处理

一、老办法try-catch 当我们执行一些错误操作导致程序报错时,程序会捕捉到异常报错,这个异常会存在一个Exception对象里 那我们在spring boot工程开发时,当我们执行一个sql查询时报错了,那就会从最底层的Mapper层捕捉到Exceptio…

Android应用程序调试Logcat的使用

Android的程序调试主要使用Logcat进行,本节主要介绍Logcat的使用。 开启调试模式 使用Android Studio进行程序调试,首先需要连接虚拟Android设备或真实Android设备,设备上需要启用调试功能。 虚拟Android设备默认情况下会启用调试功能。对…

微软清华提出全新预训练范式,指令预训练让8B模型实力暴涨!实力碾压70B模型

现在的大模型训练通常会包括两个阶段: 一是无监督的预训练,即通过因果语言建模预测下一个token生成的概率。该方法无需标注数据,这意味着可以利用大规模的数据学习到语言的通用特征和模式。 二是指令微调,即通过自然语言指令构建…

通过高德地图 JS API实现单击鼠标进行标注

效果图: 核心代码: <template><a-modal title="选择地图所在位置" :width="width" :visible="visible" @ok="handleOk" @cancel="handleCancel" cancelText="关闭"><div class="location-…

场外期权有交割日吗?场外期权应该怎么交割?

今天带你了解场外期权有交割日吗&#xff1f;场外期权应该怎么交割&#xff1f;场外个股期权是一种非标准化的金融衍生品&#xff0c;它允许投资者在未来某一特定日期以特定价格买入或卖出某一特定股票。 交割日就是买卖双方进行交割的日期,期权合约具有到期日,到期日的后一天…

C电池 和 D 电池的作用和类型详解及其之间的区别

C 和 D 电池是我们日常生活中必不可少的部件。它们通常用于高功率设备。例如手电筒和玩具。 D 型电池和 C 型电池是两种常见的电池类型。它们是一次性圆柱形电池。您可以在很多设备上使用它们。虽然它们有很多相似之处&#xff0c;但它们也有不同的特点。这些特点使它们适合某…

如何用qq邮箱注册outlook邮箱

&#x1f4d1;打牌 &#xff1a; da pai ge的个人主页 &#x1f324;️个人专栏 &#xff1a; da pai ge的博客专栏 ☁️宝剑锋从磨砺出&#xff0c;梅花香自苦寒来 ​ 目录 第一步输入qq邮箱 第二步…

数据类型及数据块认知

西门子STEP7编程语言 梯形图(LAD) 功能块图(FBD) 语句表(STL) 其中梯形图和功能块图可以相互转换 CPU常用数据区 信号输入区 I 信号输出区 Q 程序中表现形式&#xff0c;IX.X/QX.X;IWX/QWX-访问的是CPU输出输入过程映像区 另一种形式IWX:P/QWX:P-访问的是信号端口地址&#xf…

深度整合全球资源,分贝通打造高效、合规的海外差旅管理平台

在全球化商业活动的背景下,中国企业出海已成为常态。然而,随着海外差旅市场的全面增长,企业在海外支出管理上面临诸多挑战。据2023年数据显示,分贝通出海差旅业务GMV同比增长高达500倍,这一增长背后隐藏着企业对于更省钱、更高效管控方式的迫切需求。 面对与日俱增的开支,企业开…

Websocket 替代方案:如何使用 Firestore 监听实时事件

大家好,我是CodeQi! 一位热衷于技术分享的码仔。 ​在现代 Web 开发中,实时更新功能对于许多应用程序(如聊天应用、协作工具和在线游戏)都是必不可少的。虽然 WebSocket 是一种常用的实时通信技术,但 Google 的 Firestore 也提供了一种强大的替代方案,使得实时监听变得…

Golang中defer和return顺序

在Golang中&#xff0c;defer 和 return 的执行顺序是一个重要的特性&#xff0c;它们的执行顺序如下&#xff1a; return语句不是一条单独的语句&#xff0c;实际上&#xff0c;它是由赋值和返回两部分组成的。赋值步骤会先执行&#xff0c;这一步会计算return语句中的表达式…

赛氪网受邀出席浙江省应用数学研究会,共启数学教育与竞赛新篇章

2024年7月5日&#xff0c;浙江省应用数学研究会在风景如画的嘉兴市成功举办了2024年学术研讨会暨第七届第六次理事会工作会议的首日活动。作为技术支持单位&#xff0c;赛氪网受邀参与此次盛会&#xff0c;彰显了其在数学教育及竞赛领域的深厚实力与积极贡献。 开幕式由嘉兴大学…

linux watchdog 子系统

目录 一、watchdog 子系统二、关键数据结构2.1 watchdog_device2.2 watchdog_ops2.3 watchdog_info 三、重要流程3.1 watchdog 初始化3.2 watchdog 设备注册3.3 watchdog 设备文件操作函数3.4 watchdog 喂狗用户空间 watchdog&#xff08;busybox&#xff09;内核空间喂狗疑问 …

生成随机密码

生成8位无重复的密码&#xff08;可以包含数字、大小写字母&#xff09; import random import string character string.digits string.ascii_letters password .join(random.sample(character, 8)) print(f"生成的随机密码为:{password}")

如何快速实现一个无缝轮播效果

&#x1f9d1;‍&#x1f4bb; 写在开头 点赞 收藏 学会&#x1f923;&#x1f923;&#x1f923; 需求简介 轮播图是我们前端开发中的一个常见需求&#xff0c;在项目开发中&#xff0c;我们可以使用element、ant等UI库实现。某些场景&#xff0c;为了一个简单的功能安装一…

IDEA新建项目并撰写Java代码的方法

本文介绍在IntelliJ IDEA软件中&#xff0c;新建项目或打开已有项目&#xff0c;并撰写Java代码的具体方法&#xff1b;Groovy等语言的代码也可以基于这种方法来撰写。 在之前的文章IntelliJ IDEA社区版在Windows电脑中的下载、安装方法&#xff08;https://blog.csdn.net/zheb…

在任何岗位都可以把自己当成一个项目经理

这几天跟一个刚入职场的姐妹交流的时候&#xff0c;她问了我一个问题&#xff0c;如果让你总结三年从助理升到经理的关键点&#xff0c;你觉得是什么&#xff1f;我思考了那么几秒钟&#xff0c;大概就是——在任何岗位都把自己当项目经理。 今天给大家介绍我的项目管理工具——…

头歌资源库(21)走方格

一、 问题描述 二、算法思想 首先&#xff0c;确定方格中间下方人所在的位置&#xff0c;即(row, col) (n//2, m//2)。初始化路径和为0。从初始位置开始&#xff0c;按照给定的5个方向进行移动&#xff1a;上(U)&#xff0c;下(D)&#xff0c;左(L)&#xff0c;右(R)&#x…

关于腾讯的那些事(6月新闻纪要)

祝贺&#xff01;深圳市科技进步一等奖 这份文件是关于腾讯云数据库TDSQL获得深圳市科技进步一等奖的详细报道。以下是详细总结分析&#xff1a; 获奖荣誉&#xff1a; 腾讯云数据库TDSQL荣获2022年深圳市科技进步一等奖&#xff0c;成为唯一入选的数据库产品。该奖项由深圳市…