最新的强大的文生视频模型Pyramid Flow 论文阅读及复现

《PYRAMIDAL FLOW MATCHING FOR EFFICIENT VIDEO GENERATIVE MODELING》

论文地址：2410.05954icon-default.png?t=O83Ahttps://arxiv.org/pdf/2410.05954

项目地址：

jy0205/Pyramid-Flow： 用于高效视频生成建模的金字塔流匹配代码icon-default.png?t=O83Ahttps://github.com/jy0205/Pyramid-Flow

论文提出了一种新的视频生成模型，通过金字塔流匹配算法（Pyramidal Flow Matching），有效降低了视频生成的计算复杂度。该方法通过在不同分辨率的金字塔阶段之间进行流匹配，实现了从噪声到数据的生成过程，并通过单一的Diffusion Transformer（DiT）进行端到端优化。

摘要详述

论文提出了一种高效的视频生成建模方法，称为金字塔流匹配，旨在通过降低计算复杂度来优化视频生成过程。该方法避免了直接在全分辨率下进行训练，而是将视频生成过程分解为多个在不同分辨率下运行的金字塔阶段，仅在最终阶段达到全分辨率。这种方法的主要优势包括：

  1. 连续性：不同金字塔阶段的生成轨迹相互链接，后续阶段继续从前一阶段生成，避免了每个阶段从纯噪声重新生成的需要。

  2. 统一模型：与为每个图像金字塔使用独立模型不同，金字塔流匹配算法将它们集成到一个统一的模型中，通过端到端优化实现更优雅的实现，并大幅加快训练速度。

在全分辨率下，在非常嘈杂的潜在值上花费大量计算。（b） 我们的方法利用流动匹配的 f 灵活性在不同分辨率的潜在变量之间进行插值。这允许以更好的计算效率同时生成和解压缩视觉内容。请注意，黑色箭头表示降噪轨迹，蓝色箭头表示时间条件。

方法详述

空间金字塔图示。（a） 金字塔流分为多个阶段，每个阶段都从像素化和嘈杂的起点到无像素化和更清晰的结果。（b） 在推理过程中，我们在跨阶段的跳跃点添加校正噪声，以确保概率的连续性

1. 金字塔流匹配 (Pyramidal Flow Matching)

论文提出了一个新颖的视频生成框架，称为金字塔流匹配，它通过将视频生成轨迹重新解释为不同尺度的压缩表示的金字塔阶段来解决视频生成中的高时空复杂性问题。具体来说，该方法只在最终阶段以全分辨率运行，而在早期阶段则在更低分辨率下运行，从而减少冗余计算。

  • 流的构建：在金字塔流中，每个阶段都从带有噪声的像素化（压缩）潜在表示开始，到无像素化（解压缩）且更清晰的潜在表示结束。通过这种方式，只有最后一个阶段在全分辨率下执行，而大多数阶段在更低分辨率下执行，减少了计算量。

  • 统一训练：为了统一不同阶段的建模，论文通过在不同噪声水平和分辨率之间进行插值来构建概率路径。这允许从低分辨率的噪声潜在表示生成更清晰、细节更丰富的高分辨率结果。

  • 推理中的重噪声：在推理过程中，需要在不同分辨率的金字塔阶段之间的跳跃点仔细处理，以确保概率路径的连续性。为此，论文提出了一种添加校正高斯噪声的方法，以匹配不同阶段之间的分布。

2. 空间金字塔 (Spatial Pyramid)

  • 流的分段：空间金字塔流被分为多个阶段，每个阶段从像素化且带噪声的起点到无像素化且更清晰的结果。每个阶段的流遵循类似的公式，插值在像素化（压缩）和更带噪声的潜在表示与无像素化（解压缩）且更清晰的潜在表示之间。

  • 训练和推理：在训练阶段，通过插值不同分辨率的潜在表示来构建金字塔流。在推理阶段，每个阶段的输出通过添加校正高斯噪声重新噪声化，以维持连续性。

3. 时间金字塔 (Temporal Pyramid)

  • 视频的时间复杂性：视频因其时间长度而呈现显著的挑战。现有的全序列扩散方法同时生成所有视频帧，限制了固定长度的生成。与之相对，自回归视频生成范式支持在推理期间灵活长度的生成。

  • 压缩历史条件：考虑到全分辨率历史条件中的高冗余，论文提出使用压缩的、低分辨率的历史进行自回归视频生成。这显著减少了视频生成预训练的计算和内存开销。

图 3：时间金字塔图示。（a） 在每个金字塔阶段，生成都以压缩的、低分辨率的历史记录为条件，以提高自回归模型的训练效率，如行所示。（b） 设计了一种兼容的位置编码方案，该方案在空间金字塔中外推，但在时间金字塔中插值，以允许条件的空间对齐

实验

 

 复现

复现了两种模式，一种为web ui 一种为推理，

1、下载及环境安装

git clone https://github.com/jy0205/Pyramid-Flow
cd Pyramid-Flow# create env using conda
conda create -n pyramid python==3.8.10
conda activate pyramid
pip install -r requirements.txt

其实环境不一定一模一样，我用的之前的环境，但是diffusion 和transformer最好和requirement一样，如果出现找不到pyramid模块之类的报错，检查版本。

2、下载权重

新建一个py文件

from huggingface_hub import snapshot_downloadmodel_path = 'PATH'   # The local directory to save downloaded checkpoint
snapshot_download("rain1011/pyramid-flow-miniflux", local_dir=model_path, local_dir_use_symlinks=False, repo_type='model')

修改model

3、web UI

调整app 内 model_path 变量，为上一步的model_path。注意目前使用的pyramid_flux而不是pyramid_mmdit

python app.py

根据弹出的页面，简单移动，大家可以自行尝试调参。

4、本地推理

新建test.py ,复制下面代码,修改model_path，本地gpu 内存24g，如果内存小，跑再下面那个代码，卸载到cpu 的版本.两个都是384p版本，差不多本地要两分钟左右生成5s。A800需要50s左右。3090生成768p极慢，不推荐。

import torch
from PIL import Image
from pyramid_dit import PyramidDiTForVideoGeneration
from diffusers.utils import load_image, export_to_videotorch.cuda.set_device(0)model_dtype, torch_dtype = 'bf16', torch.bfloat16   # Use bf16 (not support fp16 yet)model_path = ***model = PyramidDiTForVideoGeneration(model_path,                # Pass the base model pathmodel_name="pyramid_flux"  ,     # set to pyramid_flux or pyramid_mmditmodel_dtype=model_dtype,  # Use bf16model_variant='diffusion_transformer_384p',  # Pass the variant directory namecpu_offloading=True,  # Pass the CPU offloading flag
)model.vae.enable_tiling()
model.vae.to("cuda")
model.dit.to("cuda")
model.text_encoder.to("cuda")
from tqdm import tqdm
# if you're not using sequential offloading bellow uncomment the lines above ^
# model.enable_sequential_cpu_offload()
import json
prompts = []
with open(r"D:\T2V\KandinskyVideo-main\Qwen-Audio-main\prompts_dict_new.json", 'r', encoding='utf-8') as f:datas = json.load(f)for timestamp, data in datas.items():prompts.append(data)print(prompts)for i, prompt in tqdm(enumerate(prompts)):width = 640height = 384with torch.no_grad(), torch.cuda.amp.autocast(enabled=True, dtype=torch_dtype):frames = model.generate(prompt=prompt,num_inference_steps=[20, 20, 20],video_num_inference_steps=[10, 10, 10],height=height,     width=width,temp=16,                    # temp=16: 5s, temp=31: 10sguidance_scale=7.0,         # The guidance for the first frame, set it to 7 for 384p variantvideo_guidance_scale=5.0,   # The guidance for the other video latentoutput_type="pil",save_memory=True,           # If you have enough GPU memory, set it to `False` to improve vae decoding speed)export_to_video(frames, f"./demo/2/{i}.mp4", fps=24)# prompt = "A wide shot of the sunflower field at sunset. The sky is now a deep orange and pink, with the sun setting behind the horizon. The sunflower petals are still swaying in the breeze, but the children have disappeared. A single butterfly lands on a sunflower, its wings shimmering in the warm light. The air is filled with the sound of crickets chirping."# # used for 384p model variant# width = 640# height = 384
# # used for 768p model variant
# # width = 1280
# # height = 768

cpu版本
 

import torch
from PIL import Image
from pyramid_dit import PyramidDiTForVideoGeneration
from diffusers.utils import load_image, export_to_videotorch.cuda.set_device(0)
model_dtype, torch_dtype = 'bf16', torch.bfloat16   # Use bf16 (not support fp16 yet)model = PyramidDiTForVideoGeneration('PATH',                                         # The downloaded checkpoint dirmodel_name="pyramid_flux",model_dtype=model_dtype,model_variant='diffusion_transformer_384p',
)model.vae.enable_tiling()
# model.vae.to("cuda")
# model.dit.to("cuda")
# model.text_encoder.to("cuda")# if you're not using sequential offloading bellow uncomment the lines above ^
model.enable_sequential_cpu_offload()prompt = "A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors"# used for 384p model variant
width = 640
height = 384# used for 768p model variant
# width = 1280
# height = 768with torch.no_grad(), torch.cuda.amp.autocast(enabled=True, dtype=torch_dtype):frames = model.generate(prompt=prompt,num_inference_steps=[20, 20, 20],video_num_inference_steps=[10, 10, 10],height=height,     width=width,temp=16,                    # temp=16: 5s, temp=31: 10sguidance_scale=7.0,         # The guidance for the first frame, set it to 7 for 384p variantvideo_guidance_scale=5.0,   # The guidance for the other video latentoutput_type="pil",save_memory=True,           # If you have enough GPU memory, set it to `False` to improve vae decoding speed)export_to_video(frames, "./text_to_video_sample.mp4", fps=24)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/890786.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

阻塞队列BlockingQueue实战及其原理分析

阻塞队列BlockingQueue实战及其原理分析

1. 阻塞队列介绍 1.1 队列 是限定在一端进行插入，另一端进行删除的特殊线性表。先进先出(FIFO)线性表。允许出队的一端称为队头，允许入队的一端称为队尾。 数据结构演示网站：https://www.cs.usfca.edu/~galles/visualization/Algorithms.ht…
阅读更多...
hadoop搭建

hadoop搭建

前言 一般企业中不会使用master slave01 slave02来命名 vmware创建虚拟机 打开vmware软件，新建虚拟机 典型 稍后安装系统 选择centos7 虚拟机名称和安放位置自行选择（最小化安装消耗空间较少） 默认磁盘大小即可 自定义硬件 选择centos7的i…
阅读更多...
测试 - 1 （ 9000 字详解 ）

测试 - 1 （ 9000 字详解 ）

一： 测试入门 测试是指运用特定的方法、手段或工具，对某一对象进行验证、检查或评估，判断其是否符合预期标准或目标。例如，修理好一盏灯后通过按开关测试其是否正常工作；通过一次数学测验评估学生对代数知识的掌握程度…
阅读更多...
【MATLAB第110期】#保姆级教学 | 基于MATLAB的PAWN全局敏感性分析方法（无目标函数）含特征变量置信区间分析

【MATLAB第110期】#保姆级教学 | 基于MATLAB的PAWN全局敏感性分析方法（无目标函数）含特征变量置信区间分析

【MATLAB第110期】#保姆级教学 | 基于MATLAB的PAWN全局敏感性分析方法（无目标函数）含特征变量置信区间分析 一、介绍 PAWN（Probabilistic Analysis With Numerical Uncertainties）是一种基于密度的全局敏感性分析（Gl…
阅读更多...
DX12 快速教程(2) —— 渲染天蓝色窗口

DX12 快速教程(2) —— 渲染天蓝色窗口

快速导航 新建项目 "002-DrawSkyblueWindow"DirectX 12 入门1. COM 技术：DirectX 的中流砥柱什么是 COM 技术COM 智能指针 2.创建 D3D12 调试层设备：CreateDebugDevice什么是调试层如何创建并使用调试层 3.创建 D3D12 设备：CreateD…
阅读更多...
【合作原创】使用Termux搭建可以使用的生产力环境（八）

【合作原创】使用Termux搭建可以使用的生产力环境（八）

前言 在上一篇【合作原创】使用Termux搭建可以使用的生产力环境（七）-CSDN博客中我们讲到了安装百度网盘、VS Code还有java，这篇我打算讲一下最后的编程，还有输入法相关问题解决。众所周知我的本职工作是Java程序猿，因…
阅读更多...
VLMs之Gemma 2：PaliGemma 2的简介、安装和使用方法、案例应用之详细攻略

VLMs之Gemma 2：PaliGemma 2的简介、安装和使用方法、案例应用之详细攻略

VLMs之Gemma 2：PaliGemma 2的简介、安装和使用方法、案例应用之详细攻略 导读：2024年12月4日，PaliGemma 2是一个基于Gemma 2系列语言模型的开源视觉语言模型 (VLM) 家族。PaliGemma 2 通过提供一个规模化、多功能且开源的VLM家族，…
阅读更多...
24.12.26 SpringMVCDay01

24.12.26 SpringMVCDay01

SpringMVC 也被称为SpringWeb Spring提供的Web框架,是在Servlet基础上,构建的框架 SpringMVC看成是一个特殊的Servlet,由Spring来编写的Servlet 搭建 引入依赖 <dependency><groupId>org.springframework</groupId><artifactId>spring-webmvc<…
阅读更多...
国产 HighGo 数据库企业版安装与配置指南

国产 HighGo 数据库企业版安装与配置指南

国产 HighGo 数据库企业版安装与配置指南 1. 下载安装包 访问 HighGo 官方网站&#xff08;https://www.highgo.com/&#xff09;&#xff0c;选择并下载企业版安装包。 2. 上传安装包到服务器 将下载的安装包上传至服务器&#xff0c;并执行以下命令&#xff1a; [rootmas…
阅读更多...
Java程序设计，使用属性的选项库，轻松实现商品检索的复杂查询（上）

Java程序设计，使用属性的选项库，轻松实现商品检索的复杂查询（上）

一、背景 本文我们以某商城的商品检索为例，说一说如何使用属性及选项，实现复杂的逻辑表达式的查询。 先贴图，总结出业务需求。 可以通过一系列属性及选项的组合，过滤出用户想要的商品列表。 1、属性 上文中的品牌、分类、屏幕尺寸、CPU型号、运行内存、机身内存、屏幕材…
阅读更多...
机器学习(二)-简单线性回归

机器学习(二)-简单线性回归

文章目录 1. 简单线性回归理论2. python通过简单线性回归预测房价2.1 预测数据2.2导入标准库2.3 导入数据2.4 划分数据集2.5 导入线性回归模块2.6 对测试集进行预测2.7 计算均方误差 J2.8 计算参数 w0、w12.9 可视化训练集拟合结果2.10 可视化测试集拟合结果2.11 保存模型2.12 …
阅读更多...
WHAT KAN I SAY？Kolmogorov-Arnold Network (KAN)网络结构介绍及实战（文末送书）

WHAT KAN I SAY？Kolmogorov-Arnold Network (KAN)网络结构介绍及实战（文末送书）

一、KAN网络介绍 1.1 Kolmogorov-Arnold Network (KAN)网络结构的提出 2024年4月&#xff0c;来自MIT、加州理工学院、东北大学等团队的研究&#xff0c;引爆了一整个科技圈&#xff1a;Yes We KAN&#xff01; 这种创新方法挑战了多层感知器(Multilayer Perceptron&#xff…
阅读更多...
YOLO11改进-模块-引入星型运算Star Blocks

YOLO11改进-模块-引入星型运算Star Blocks

当前网络设计中&#xff0c;“星型运算”&#xff08;逐元素乘法&#xff09;的应用原理未被充分探究&#xff0c;潜力有待挖掘。为解决此问题&#xff0c;我们引入 Star Blocks&#xff0c;其内部由 DW - Conv、BN、ReLU 等模块经星型运算连接&#xff0c;各模块有特定参数。同…
阅读更多...
3.银河麒麟V10 离线安装Nginx

3.银河麒麟V10 离线安装Nginx

1. 下载nginx离线安装包 前往官网下载离线压缩包 2. 下载3个依赖 openssl依赖&#xff0c;前往 官网下载 pcre2依赖下载&#xff0c;前往Git下载 zlib依赖下载&#xff0c;前往Git下载 下载完成后完整的包如下&#xff1a; 如果网速下载不到请使用网盘下载 通过网盘分享的文件…
阅读更多...
【理解机器学习中的过拟合与欠拟合】

【理解机器学习中的过拟合与欠拟合】

在机器学习中&#xff0c;模型的表现很大程度上取决于我们如何平衡“过拟合”和“欠拟合”。本文通过理论介绍和代码演示&#xff0c;详细解析过拟合与欠拟合现象&#xff0c;并提出应对策略。主要内容如下&#xff1a; 什么是过拟合和欠拟合&#xff1f; 如何防止过拟合和欠拟…
阅读更多...
【婚庆摄影小程序设计与实现】

【婚庆摄影小程序设计与实现】

摘 要 社会发展日新月异&#xff0c;用计算机应用实现数据管理功能已经算是很完善的了&#xff0c;但是随着移动互联网的到来&#xff0c;处理信息不再受制于地理位置的限制&#xff0c;处理信息及时高效&#xff0c;备受人们的喜爱。所以各大互联网厂商都瞄准移动互联网这个潮…
阅读更多...
12.26 学习卷积神经网路（CNN）

12.26 学习卷积神经网路（CNN）

完全是基于下面这个博客来进行学习的&#xff0c;感谢&#xff01; ​​【深度学习基础】详解Pytorch搭建CNN卷积神经网络LeNet-5实现手写数字识别_pytorch cnn-CSDN博客 基于深度神经网络DNN实现的手写数字识别&#xff0c;将灰度图像转换后的二维数组展平到一维&#xff0c;…
阅读更多...
Unity URP多光源支持，多光源阴影投射，多光源阴影接收（优化版）

Unity URP多光源支持，多光源阴影投射，多光源阴影接收（优化版）

目录 前言&#xff1a; 一、属性 二、SubShader 三、ForwardLitPass 定义Tags 声明变体 声明变量 定义结构体 顶点Shader 片元Shader 四、全代码 四、添加官方的LitShader代码 五、全代码 六、效果图 七、结语 前言&#xff1a; 哈喽啊&#xff0c;我又来啦。这…
阅读更多...
如何使用React，透传各类组件能力/属性？

如何使用React，透传各类组件能力/属性？

在23年的时候&#xff0c;我主要使用的框架还是Vue&#xff0c;当时写了一篇“如何二次封装一个Vue3组件库&#xff1f;”的文章&#xff0c;里面涉及了一些如何使用Vue透传组件能力的方法。在我24年接触React之后&#xff0c;我发现这种扩展组件能力的方式有一个专门的术语&am…
阅读更多...
109.【C语言】数据结构之求二叉树的高度

109.【C语言】数据结构之求二叉树的高度

目录 1.知识回顾&#xff1a;高度&#xff08;也称深度&#xff09; 2.分析 设计代码框架 返回左右子树高度较大的那个的写法一:if语句 返回左右子树高度较大的那个的写法二:三目操作符 3.代码 4.反思 问题 出问题的代码 改进后的代码 执行结果 1.知识回顾&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023