视频扩散模型介绍 Video Diffusion Models Introduction

视频扩散模型介绍 Video Diffusion Models Introduction

  • Diffusion 扩散模型中的一些概念
    • DDPM
    • DDIM
    • CLIP
    • Latent Diffusion
    • Stable Diifusion
    • LoRA
    • DreamBooth
    • ControlNet
  • 视频生成
    • 评估标准
      • 图片层面
      • 视频层面
    • 前人的工作
      • Make-A-Video
      • Align your Latents
    • 开源视频生成模型
      • ModelScopeT2V（阿里）
      • Show-1
      • VideoCrafter（tx）
      • LaVie
      • Stable Video Diffusion
    • 高效的生成方法
      • AnimateDiff
      • Text2Video-Zero 无需训练
      • 其他
    • Storyboard
      • VisorGPT
      • VideoDirectorGPT
      • Long-form Video Prior
      • 其他工作
    • 长视频生成
      • NUWA-XL
  • Video Editing
    • Tuning-based
      • Tune-A-Video
      • Dreamix
    • Training-Free
      • TokenFlow
      • FateZero
      • 其他工作
    • Controlled Editing
      • Gen-1
      • Pix2Video
      • ControlVideo
      • VideoControlNet
      • CCEdit
      • VideoComposer
      • 其他工作
      • Pose Control姿态控制
        • MagicAnimate
      • PointControl
    • 3D-Aware

Diffusion 扩散模型中的一些概念

DDPM

扩散过程和去噪过程
在这里插入图片描述

在这里插入图片描述

去噪器，预测出来噪声然后与原始图片相减，得到干净的图片

在这里插入图片描述
当然，去噪过程是逐步的，所以减去之后会重新加上“平均噪声”
在这里插入图片描述

DDIM

跳步
在这里插入图片描述
DDIM和DDPM作对比：
在这里插入图片描述

在这里插入图片描述

CLIP

在这里插入图片描述

Latent Diffusion

不是直接在像素空间进行操作，多了编码解码，在latent空间操作加噪和去噪过程
在这里插入图片描述

Stable Diifusion

在这里插入图片描述

LoRA

微调
在这里插入图片描述

DreamBooth

在这里插入图片描述

ControlNet

在这里插入图片描述

在这里插入图片描述

视频生成

一些已有的工作分类
在这里插入图片描述
3D可以分成（2+1），就是从图片生成到视频生成的一种思路
在这里插入图片描述

早期工作：
在这里插入图片描述
解码器+插帧+超分辨率模块
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

评估标准

在这里插入图片描述

图片层面

语义相似度
在这里插入图片描述

像素相似度
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

视频层面

视频生成的质量和多样性
在这里插入图片描述

一致性
在这里插入图片描述
在这里插入图片描述

组合评估
在这里插入图片描述

前人的工作

Make-A-Video

在这里插入图片描述
在这里插入图片描述

Align your Latents

在这里插入图片描述

开源视频生成模型

ModelScopeT2V（阿里）

在这里插入图片描述
在这里插入图片描述

可变temporal attention
在这里插入图片描述

下面是模型效果，ZeroScope是从ModelScope 用10K的小数据集fine-tune出来的
在这里插入图片描述

Show-1

在这里插入图片描述

VideoCrafter（tx）

在这里插入图片描述

LaVie

在这里插入图片描述

Stable Video Diffusion

数据处理
在这里插入图片描述
在这里插入图片描述
训练过程：
先初始化参数
在这里插入图片描述
训练过程
在这里插入图片描述

fine-tune阶段
在这里插入图片描述

高效的生成方法

AnimateDiff

把文生图片模型转化为文生视频模型而不需要单独train

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

Text2Video-Zero 无需训练

动机：如何在不用fine-tune的情况下使用Stable Diffusion

做法：给定第一帧noise后，人为定义全局scene motion

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

其他

在这里插入图片描述

Storyboard

前面生成的视频都是几秒钟长度的视频，如果时间要增长，有哪些工作做了

文本->电影脚本->视频

VisorGPT

在这里插入图片描述
在这里插入图片描述

VideoDirectorGPT

在这里插入图片描述

Long-form Video Prior

在这里插入图片描述

其他工作

在这里插入图片描述

长视频生成

NUWA-XL

在这里插入图片描述
在这里插入图片描述

Video Editing

在这里插入图片描述

Tuning-based

Tune-A-Video

在这里插入图片描述
在这里插入图片描述

Sparse-Casual的attention方式节约内存空间，只跟第一帧和前一帧做attention
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Dreamix

在这里插入图片描述

在这里插入图片描述

Training-Free

TokenFlow

在这里插入图片描述

FateZero

在这里插入图片描述

其他工作

在这里插入图片描述

Controlled Editing

Gen-1

在这里插入图片描述

Pix2Video

Control场景里也有不需要训练的方法
在这里插入图片描述

ControlVideo

另外一种不需要训练的方法
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

VideoControlNet

CCEdit

在这里插入图片描述

VideoComposer

在这里插入图片描述

其他工作

在这里插入图片描述

Pose Control姿态控制

MagicAnimate

在这里插入图片描述

PointControl

比如图中想把猫换成狗但是背景保留

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

只在关键帧标注
在这里插入图片描述
在这里插入图片描述

3D-Aware

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/725985.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

蓝桥杯-Set

蓝桥杯-Set

目录 HashSet类常用方法 1 add(Object obj)方法 2 size() 方法 3 remove(Object obj)方法 4 contains()方法 5 clear() 方法 例题实战 set 一个不允许出现重复的元素，并且无序的集合，主要有HashSet实现类。 在判断重复元素的时候，Set集…
阅读更多...
本地知识库搭建成功后，企业效率真的翻倍了

本地知识库搭建成功后，企业效率真的翻倍了

在如今这个快节奏的信息时代，对企业来说，拥有一套高效的知识管理系统早已不再是选项，而是必要。而本地知识库，它这个集信息存储、管理和查询于一体的平台，不仅改变了公司信息资源共享的方式，还帮助进一步提…
阅读更多...
OpenCV学习笔记（二）——OpenCV简介

OpenCV学习笔记（二）——OpenCV简介

目录 图像基础和简介 OpenCV简介 OpenCV的发展历史 OpenCV的应用 OpenCV的核心模块 图像基础和简介 人们通过肉眼所看见的世界是通过图像来呈现的，那么什么是图像呢？在计算机里面，最基本的组成单元就是像素，图像是很多像素的…
阅读更多...
基于单片机的医院输液系统设计

基于单片机的医院输液系统设计

目 录 摘 要 Ⅰ Abstract Ⅱ 引 言 1 1系统方案设计与论证 3 1.1系统硬件结构总体设计方案 3 1.2点滴速度测量电路方案的选择与论证 3 1.3液面检测电路方案的选择与论证 4 1.4通过电机控制滴速电路的方案与论证 4 1.5显示器接口电路方案选择与论证 5 1.6键盘接口电路方案选择与…
阅读更多...
（黑马出品_03）SpringCloud+RabbitMQ+Docker+Redis+搜索+分布式

（黑马出品_03）SpringCloud+RabbitMQ+Docker+Redis+搜索+分布式

（黑马出品_03）SpringCloudRabbitMQDockerRedis搜索分布式 微服务技术Docker 今日目标1.初识Docker1.1.什么是Docker1.1.1.应用部署的环境问题1.1.2.Docker解决依赖兼容问题1.1.3.Docker解决操作系统环境差异1.1.4.小结 1.2…
阅读更多...
【REST2SQL】11 基于jwt-go生成token与验证

【REST2SQL】11 基于jwt-go生成token与验证

【REST2SQL】01RDB关系型数据库REST初设计 【REST2SQL】02 GO连接Oracle数据库 【REST2SQL】03 GO读取JSON文件 【REST2SQL】04 REST2SQL第一版Oracle版实现 【REST2SQL】05 GO 操作 达梦 数据库 【REST2SQL】06 GO 跨包接口重构代码 【REST2SQL】07 GO 操作 Mysql 数据库 【RE…
阅读更多...
紧握时代契机链接亿万家庭 创维汽车2024全球经销商大会圆满召开

紧握时代契机链接亿万家庭 创维汽车2024全球经销商大会圆满召开

3月6日，以“极致 见新境”创维汽车2024全球经销商大会在徐州隆重举行。徐州经开区管委会副主任季洪志，缅甸驻华大使馆商务参赞 Win Myat Aung，法国中小企业联盟主席 Xavier Michon-Lehnebach，创维集团、创维汽车创始人黄宏生&…
阅读更多...
php常见的45个漏洞及解决方案

php常见的45个漏洞及解决方案

[TOC]（太多了，目录只列出最重要的几个，剩下的同学们自己翻） PHP作为一种广泛应用的服务器端脚本语言，在历史上曾曝出过多种安全漏洞。以下是一些PHP漏洞的类别及其简要解释，以及如何解决这些问题&#xff1…
阅读更多...
Java精品项目--第5期基于SpringBoot的高速收费系统的设计分析与实现

Java精品项目--第5期基于SpringBoot的高速收费系统的设计分析与实现

项目使用技术栈 SpringBootMavenShiroMySQLMybatis-PlusJavaJDK1.8HTML 系统介绍 项目截图
阅读更多...
dolphinscheduler试用（一）（边用边修bug。。。。create tenant error）

dolphinscheduler试用（一）（边用边修bug。。。。create tenant error）

（作者：陈玓玏） 前提：部署好了dolphinscheduler，部署篇见https://blog.csdn.net/weixin_39750084/article/details/136306890?spm1001.2014.3001.5501 官方文档见：https://dolphinscheduler.apache.org/…
阅读更多...
JavaEE进阶（13）案例综合练习——博客系统

JavaEE进阶（13）案例综合练习——博客系统

接上次博客：JavaEE进阶（12）Spring事务和事务传播机制：事务回顾、Spring中事务的实现、Transactional详解（用法、rollbackFor、事务隔离级别、事务传播机制）-CSDN博客 目录 项目介绍 准备工作 数据准备 …
阅读更多...
如何给Vue项目配置好一个nginx.conf文件？

如何给Vue项目配置好一个nginx.conf文件？

如何给Vue项目配置好一个nginx.conf文件？ 一般前端项目中，会有一个docker/nginx/nginx.conf文件，用于配置DockerFile配置等。 那么，如何给项目写好一个nginx.conf文件，以DockerFile为例： # 使用 Node.js …
阅读更多...
《辐射4》是一款什么样的游戏 怎样在mac电脑上玩到《辐射4》辐射4攻略 辐射4开局加点 怎么在Mac电脑玩Steam游戏

《辐射4》是一款什么样的游戏 怎样在mac电脑上玩到《辐射4》辐射4攻略 辐射4开局加点 怎么在Mac电脑玩Steam游戏

辐射4（Fallout 4）是由Bethesda开发的一款动作角色扮演类游戏，为《辐射》系列游戏作品的第四代，于2015年11月10日发行。游戏叙述了主角一家在核爆当天（2077年10月23日），被Vault-Tec（避…
阅读更多...
Spring Cloud Gateway核心之Predicate

Spring Cloud Gateway核心之Predicate

路由 Predicate 工厂 Spring Cloud Gateway 将路由作为 Spring WebFluxHandlerMapping基础设施的一部分进行匹配。Spring Cloud Gateway 包含许多内置的路由Predicate 工厂。所有这些谓词都匹配 HTTP 请求的不同属性。多个 Route Predicate Factory 可以组合，并通过…
阅读更多...
Android Studio中debug功能详解

Android Studio中debug功能详解

本文为大家分享了Android Studio debug功能的具体使用方法，供大家参考，具体内容如下 运行debug模式 \1. 进入debug – 点击图中红色圆圈圈起的左边绿色按钮，运行app的debug模式，快捷键ShiftF9 – 点击图中红色圆圈圈起的右边按…
阅读更多...
[数据结构初阶】栈

[数据结构初阶】栈

各位读者老爷好，鼠鼠我好久没写博客了（太摆烂了），今天就基于C语言浅介绍一下数据结构里面的栈，希望对你有所帮助吧。 目录 1.栈的概念及结构 2.栈的实现 2.1定义栈 2.2.初始化栈 2.3.入栈 2.4.出栈 2.5.获取栈…
阅读更多...
zabbix监控中间件服务

zabbix监控中间件服务

zabbix监控Nginx 自定义nginx访问量的监控项，首先要通过脚本将各种状态的值取出来，然后通过zabbix监控。找到自定义脚本上传到指定目录/etc/zabbix/script/ 在zbx-client客户端主机操作 #创建目录，然后将脚本上传到该目录mkdir /etc/zabbix/…
阅读更多...
【JS】关于this的使用

【JS】关于this的使用

this 前言一、this是什么？二、做什么？1.全局环境2.函数环境3.new实例对象4.apply、bind、call绑定4.1 apply()4.2 call()4.3 bind() 三、为什么用this？四、如何改变this？五、应用场景？总结 前言 痛点 经常写Vue项目&a…
阅读更多...
C++单例模式、工厂模式

C++单例模式、工厂模式

一、单例模式 (一) 什么是单例模式 1. 是什么？ 在系统的整个生命周期内，一个类只允许存在一个实例。 2. 为什么？ 两个原因： 节省资源。方便控制，在操作公共资源的场景时，避免了多个对象引起的复杂操作…
阅读更多...
Unity的相机跟随和第三人称视角二

Unity的相机跟随和第三人称视角二

Unity的相机跟随和第三人称视角二 展示介绍第二种相机模式远离代码总结 展示 我录的视频上可能看不太出来，但是其实今天的这个方法比原来写的那个方法更简便并且死角更少一些。 这里我也做了两个人物偏移的视角，按Q是原来的两个相机模式切换&#xff0c…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023