四步轻松搞定!探索字节最新AnimateDiff-Lightning:高质量视频生成的秘密武器!

字节前脚刚发布了文生图大模型 SDXL-Lightning,后脚就又对文生视频领域下手了。

就在这几天又推出了文生视频模型:AnimateDiff-Lightning,它是一种快速的文本到视频生成模型。它生成视频的速度比原始 AnimateDiff 快十倍以上,只需4-8的推理就可以生成质量非常高的视频。该模型是从AnimateDiff_SD1.5_v2中提炼出来的。

01.介绍

该模型采用了渐进式对抗扩散蒸馏技术,恰似可以使用闪电般的快速视频生成。同时字节研发团队也提出了跨模式扩散蒸馏,提高蒸馏模块泛化到不同的风格化基本模型的能力。

这一突破性进展也为 AI视频生成领域 带来了新的可能性。

尤其是与 Contorlnet 的配合下,视频转绘 的工作流程有望迎来全新的升级。
在这里插入图片描述

此外,字节团队还开源提供了对应的Comfyui工作流程,为开发者提供了一套完整且高效的解决方案。
在这里插入图片描述

值得一提的是,AnimateDiff-Lightning模型 是从 AnimateDiff SD1.5 v2 中精心提炼而来,包含了1步、2步、4步和8步提炼模型。

其中,2步、4步和8步模型的生成质量表现尤为突出,为用户带来更加优质的体验。

除了模型本身的优秀表现,字节还建议使用运动LoRA来进一步提升视频质量。运动LoRA能够产生更强的运动效果,建议选择强度在0.7~0.8之间的运动LoRA以避免水印等干扰因素。

02.使用

主要特色功能

  • 仅需 4-8 步推理,就能生成高质量视频,速度快效果好。

  • 与 Contorlnet 配合,提升视频转绘工作流程。

  • 提供 Comfyui 工作流程,方便开发者使用。

  • 推荐使用运动 LoRA,增强运动效果

应用场景

AnimateDiff-Lightning 模型 的应用场景可以很广泛,不限于影视制作、广告宣传、教育培训等多个领域。

03.操作

好了,介绍就到这里,我们来 ComfyUI 中体验一下。

工作流使用到了两个插件:ComfyUI-AnimateDiff-Evolved 和 ComfyUI-VideoHelperSuite

直接在 ComfyUI 管理器 中搜索安装即可;或者直接导入工作流,在 管理器 中安装缺失节点也是可以的。

这里安装好插件以后,记得要把网盘中的文件模型放入指定目录下:

\ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\models

好了,直接上工作流。

正常文生图的节点听雨这里就不讲了,我们讲下和 AnimateDiff 相关的几个节点:

这个节点,主要是用来选择 AnimateDiff 的模型,这里就是选择 AnimateDiff-Lightning 1 步到 8 步模型的地方。

调度器这个主要是决定了在图像生成流程中如何操纵潜在空间来迭代和细化图像的算法,这里我们选择 sqrt_linear (AnimateDiff) 就可以了。

在这里插入图片描述

这里的步数需要和上一个节点选择的模型一致,选择的是 2 步模型,这里的步数就选 2。

CFG 默认 1.0 即可,采样器和调度器也选择默认的 euler 和 sgm_uniform。

以下的两个节点也是联合使用的,批次大小代表总共生成多少张图片。

帧率代表每秒的视频包含多少张图片,以下就代表 1 秒的视频里包含了 16 张图片,包含的图片越多,人物的动作幅度越大,相对也就不太稳定。

批次大小 16,帧率 16,代表生成 1 秒的视频;如果想要生成 2 秒的视频,那就把批次大小改成 32,以此类推。

循环次数就是同一段视频循环几次。

格式就是输出的视频格式了,有很多格式可选,包括 gif、mp4、webp等等。

也可以结合 AnimateDiff 的运动 Lora 模型,只需要在节点 AnimateDif加载器Gen1 的参数 动态LoRA 链接一个 动态LoRA加载器 就可以了。

这里的 LoRA 模型分别代表了向左向右,逆时针顺时针,向下向上,拉近拉运,还可以通过强度来控制运动幅度。工作流以及 LoRA 模型也会放在文末的网盘里。

LoRA 模型也需要放在指定的目录下:

\ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\motion_lora

在这里插入图片描述

顺便把测试的几个视频也发一下:

在这里插入图片描述

在这里插入图片描述

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述
在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

在这里插入图片描述

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述
在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/35388.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ConcurrentModificationException

正在用Iterator迭代器循环操作的集合不能调用集合的删除方法,否则就会报异常:ConcurrentModificationException。 (调用迭代器的remove方法可以) package test;import java.io.*; import java.util.*;public class Demo {public static void main(Strin…

2024-06-26 问AI: 在大数据模型中,deep speed 是什么?

文心一言 在大数据模型中,DeepSpeed是一个由微软开发并维护的开源深度学习优化库。其主要目的是提高大规模模型训练的效率和可扩展性,帮助开发者更有效率地管理及优化大模型的训练、部署任务。以下是DeepSpeed的主要特点和功能: 提高效率和…

如何处理Java中的方法过长?

如何处理Java中的方法过长?: 大家好,我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿!今天我们将探讨在Java中如何有效地处理方法过长的问题。 介绍 在大型…

秋招Java后端开发冲刺——非关系型数据库篇(MongoDB)

MongoDB 本文介绍非关系型数据库MongoDB的基础知识和常见面试题。 (一)基础知识 1. 介绍:MongoDB是一个基于分布式文件存储的数据库,由C语言编写,旨在为WEB应用提供可扩展的高性能数据存储解决方案。 2.特点 特点…

java中double与String转换并相加,相减等运算

将double与String进行相互转换,并执行相加、相减等操作,并可以保留一定的小数位数。 1. double 与 String 之间的转换 double 转 String 使用 Double.toString(double d) 方法: double num 123.456; String str Double.toString(num); …

凯迪正大对高压电缆泄漏与耐压试验方法及步骤分享

为确保高压电缆的性能和安全进行泄漏和耐压试验是必不可少的环节,本文还是依照凯迪正大的从业经验介绍高压电缆泄漏和耐压试验的方法及步骤。希望能对大家起到积极的作用,也欢迎大家留言交流讨论与指正。 一、试验目的 高压电缆泄漏和耐压试验的主要目的…

关于今天对于四象限法则的运用(6月26日)

每日三问?你为什么活着?你为什么准备专升本?你为什么打算考研? 因为广阔的生命等待着我自己的体验和探索,不能以目标为导向,要以目标的实践活动为导向,这样自己的生命才会有意义才能进行一个不断…

怎样实现聊天弹幕效果?

可以使用HTML、CSS和JavaScript的组合。以下是一个简单的步骤和示例代码&#xff0c;说明如何创建一个基本的弹幕效果&#xff1a; HTML结构&#xff1a; 创建一个用于显示弹幕的容器和输入弹幕的表单。 <!DOCTYPE html> <html lang"en"> <hea…

SDN的实际应用

SDN&#xff08;Software-Defined Networking&#xff0c;软件定义网络&#xff09;是一种网络架构&#xff0c;它通过将网络控制层与数据转发层分离&#xff0c;实现网络的集中控制和灵活管理。SDN的核心思想是通过软件来定义网络行为&#xff0c;从而使得网络更加灵活、可编程…

转运机器人:智能物流的得力助手

在物流行业&#xff0c;转运机器人已经成为提高转运效率、降低成本的重要工具。而富唯智能转运机器人凭借其出色的性能和智能化的设计&#xff0c;成为了众多企业的得力助手。 富唯智能转运机器人采用了先进的AMR控制系统&#xff0c;可以一体化控制移动机器人并实现与产线设备…

【AIGC】关于我用AI这玩意儿搞到人生第一笔副业这件事

前言 起初只是对AI感兴趣 后来没想到这玩意儿还能让我接兼职 我已经嗅到了AI的商机 接下来就是挖掘更钝金主爸爸 低收入一定要学&#xff01;&#xff01;&#xff01;&#xff01; 新手可以先从Midiourney入手 PS&#xff1a;如果不知道怎么学&#xff0c;可以扫描下方二…

渗透测试之SQL注入

渗透测试之SQL注入 1. SQL注入分类 按照攻击类型分为&#xff1a;联合查询注入、布尔注入、时间延迟注入、报错型注入、堆叠型注入等 按照注入位置分为&#xff1a;HTTP头注入、请求参数注入等 按照数据库场景分为&#xff1a;MySQL注入、MSSQL注入、Oracle场景注入 1. My…

注意!!2024下《系统分析师》易混淆知识点来了,赶紧收藏

宝子们&#xff0c;在复习软考系统分析师中&#xff0c;是不是觉得有很多知识点含义比较相近&#xff0c;很多友友刚看的时候估计会像我一样迷迷糊糊的&#xff0c;作为一个软考老鸟&#xff0c;在这里给大家整理了系分学习过程中易混淆的知识点&#xff0c;大家认真复习就行&a…

网络安全入门教程(非常详细)从零基础入门到精通,看完这一篇你就是网络安全高手了。

关于我 我算是“入行”不久的一个新人安全工作者&#xff0c;为什么是引号呢&#xff0c;因为我是个“半个野路子”出身。早在13年的时候&#xff0c;我在初中时期就已经在90sec、wooyun等社区一直学习、报告漏洞。后来由于升学的压力&#xff0c;我逐渐淡出了安全圈子&#x…

基于ssm实现的车辆管理系统(文末源码+Lw)272

摘要 当下&#xff0c;正处于信息化的时代&#xff0c;许多行业顺应时代的变化&#xff0c;结合使用计算机技术向数字化、信息化建设迈进。以前企业对于车辆信息的管理和控制&#xff0c;采用人工登记的方式保存相关数据&#xff0c;这种以人力为主的管理模式已然落后。本人结…

windows系统根据端口查询pid并结束进程 netstat taskkill

用管理员权限打开命令指示符,输入命令&#xff1a; 1、查看被占用端口所对应的 PID netstat -aon|findstr “端口号” 2、查看指定PID的进程 tasklist|findstr ”14816” 3、结束进程 taskkill -pid 进程号 -f

Leetcdoe-Day19-代码随想录-栈与队列-1047-150

1047. 删除字符串中的所有相邻重复项 题目链接 题解&#xff1a;简单题&#xff0c;最后需要注意反转字符串即可。 class Solution { public:string removeDuplicates(string s) {stack<char> z;for(int i0;i<s.size();i){if(!z.empty()){int topz.top();if(tops[i]…

使用GRANT语句来设置用户表的权限

SQL Server中&#xff0c;可以使用GRANT语句来设置用户表的权限。 首先&#xff0c;你需要有足够的权限来执行这个操作&#xff0c;比如sysadmin或db_owner角色成员。 下面是一些常见的GRANT语句示例&#xff1a; 授予SELECT权限给用户&#xff1a; GRANT SELECT ON 表名 TO …

离线安装Docker社区版:全面指南

感谢您阅读本文&#xff0c;欢迎“一键三连”。作者定会不负众望&#xff0c;按时按量创作出更优质的内容。 ❤️ 1. 毕业设计专栏&#xff0c;毕业季咱们不慌&#xff0c;上千款毕业设计等你来选。 在现代软件开发中&#xff0c;Docker已经成为了不可或缺的工具。它简化了应用…

天津化工厂爆炸事件时刻提醒着我们要重视企业的安全生产问题

近日&#xff0c;天津某化工厂发生重大爆炸事件&#xff0c;引起了社会的广泛关注&#xff0c;现场火势猛烈&#xff0c;浓烟滚滚。应急、消防、公安、医疗、国网电力等相关部门正在全力参与救援。而经此事件&#xff0c;也暴露了很多问题&#xff0c;对此&#xff0c;需要从多…