一键生成AI动画视频?Animatediff 和 ComfyUI 更配哦!

大家好我是极客菌!

之前我分享过 Animatediff 在 WebUI 中的应用,最近不是在分享 ComfyUI 嘛,那我们也来讲讲 Animatediff 在 ComfyUI 的应用。

如果从工作流和内存利用率的角度来说,Animatediff 和 ComfyUI 可能更配一些,毕竟制作动画是一个很吃内存的操作。

好了,话不多说,我们开干。

首先,我们需要在管理器中下载 Animatediff 插件,当然也可以直接导入听雨的工作流,然后在管理器安装缺失节点中直接安装

后续用到的工作流和模型(可以文末自行扫描获取)

安装完插件以后,记得重启 ComfyUI 哦。

在这里插入图片描述

然后把网盘中对应的模型放入指定的文件夹目录下,v2 开头的文件放入以下文件夹下。

\ComfyUI_windows_portable\ComfyUI\custom_nodes\comfyui-animatediff\loras

然后把网盘中 models 中的文件放入以下目录:

\ComfyUI_windows_portable\ComfyUI\custom_nodes\comfyui-animatediff\models

在这里插入图片描述

以上就是 Animatediff 在 ComfyUI 中的安装步骤了。

使用方式也很简单了,只需要导入不同的工作流就可以体验 Animatediff 的不同用法。

我们先来一个最简单的工作流。只是通过文本来生成动漫效果。

在这里插入图片描述

虽然可以直接无脑用工作流文件,但是我们还是把 Animatediff 相关的几个工作流节点简单介绍一下。第一个节点动态扩散组件加载器,主要就是 Animatediff 的算法模型了,里边的模型都可以选,小伙伴们可以看看不同模型的动漫效果,选择一个自己最喜欢的。

在这里插入图片描述

第二个节点,基本的参数,用过 WebUI 的小伙伴应该都清楚,听雨这里就不讲了,我们把 Animatediff 相关的几个参数再介绍一下。

运动模块对应的就是动态扩散组件加载器。他们是需要连接的,不过工作流里已经连接好了。

**sliding_window_opts:**自定义滑动窗口选项,这个我们后续讲另外一个配置的一起讲。

模块插入方式,选择默认就可以了。

帧数:动画总共包括的画面数量。和后续的帧率是配套使用的。

在这里插入图片描述

帧率:每秒多少帧。如果帧数设置为16,帧率设置为8,则单个动画的播放时长为2秒。

循环次数:循环播放几次,0 代表一直重复播放。

是否保持:是否把动画保存到本地。

格式:输出的动漫的格式。默认输出 gif 格式,如果要输出视频格式的话,需要配合 ffmpeg 使用。

在这里插入图片描述

纯粹文本生成的动画可控性还是蛮差的。

第二点,我们来讲下动态滑动窗口。

在这里插入图片描述

**动态滑动窗口:**能够在没有帧长度限制的情况下生成 GIF。它可以将总帧数拆分成多个批次生成,每个批次之间会有重叠的地方。主要是针对我们内存不够,但是又想要生成足够长的动画情况下使用。

上下文帧长度:每个窗口的帧数,官方建议默认 16 帧,不过模型有长度上限设置,有些模型,最高只能设置 24 帧。

上下文帧步长:和采样步数类似。

上下文帧重叠:每个窗口之间的重叠帧数。

闭合循环:使GIF成为闭环。

在这里插入图片描述

看下效果,不过这种动态滑动窗口比较适合一些自然景观的场景。

第三点,我们来讲下‍‍‍‍添加 Animatediff 动态 Lora 的工作流。

在这里插入图片描述

以下 Lora 分别代表了向上向下、向左向右、拉远拉近、顺时针逆时针运动。小伙伴们可以选择对应的运动 Lora。

在这里插入图片描述

看一下使用了拉近 Lora 的效果。

第四点,通过上传开始图片和结束图片,来生成动漫。主要用到了 ControlNet 模型中的 tile 模型。相当于我们控制了动画的第一帧和最后一帧。

在这里插入图片描述

相比于第一个 gif ,是不是好了很多,这个就是 Animatediff + ControlNet 的魅力了,可控性太强了。

最后,我们尝试一下 Animatediff + ControlNet 的 openpose,看看效果如何,openpose 小伙伴们应该都知道主要是控制动作的,配合 Animatediff 可以让动画中人物的动作更可控,不仅是真人转动漫或者动漫转真人,感觉离我们这些小白也可以做动画的时代不远了。

在这里插入图片描述

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述
在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/36618.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深入理解SSH:网络安全的守护者

在当今数字化时代,网络安全已成为全球关注的焦点。随着网络攻击手段的不断升级,保护数据传输的安全性变得尤为重要。SSH(Secure Shell)作为一种安全的网络协议,为远程登录和网络服务提供了强大的安全保障,成…

Duix - 硅基数字人SDK

简介 Introduction DUIX(Dialogue User Interface System)是硅基智能打造的AI数字人智能交互平台。通过将数字人交互能力开源,开发者可自行接入多方大模型、语音识别(ASR)、语音合成(TTS)能力,实现数字人实时交互,并在Android和iOS多终端一键部署,让每个开发者可轻松…

4A的「A」会变成AI的「A」吗?

戛纳国际创意节上,广告集团WPP的全球CEO Mark Read 和英国CEO Karen Blackett 解释了WPP如何应对AIGC所带来的「威胁」。同时,Mark Read 与Elon Musk对话,讨论「技术创新的变革力量,人工智能如何重塑创造力、商业和社会&#xff0…

合芯科技冯春阳博士受邀出席苏州大学技术分享会

近日,苏州大学电子信息学院与合芯科技苏州公司成功举办“新时代与‘芯’相遇,科技赋能向未来”的技术分享会。合芯科技冯春阳博士进行了主题为“高性能CPU关键技术与发展现状”的专题分享,并参加导师聘请仪式。苏州大学电子信息学院党委副书记…

苹果电脑有什么好玩的游戏 Windows电脑上的游戏怎么在Mac电脑玩

苹果电脑不仅在工作和生产领域备受推崇,其游戏领域也同样令人惊艳。从经典的策略游戏到刺激的竞技游戏,苹果平台上有着丰富多样的游戏选择,满足了不同玩家的喜好和需求。下面我们来看看苹果电脑有什么好玩的游戏,Windows电脑上的游…

开源模型破局OpenAI服务限制,15分钟灵活搭建RAG和Agent应用

简介: 今天,我们做了两个实验,目标在15分钟内,完成下载社区的开源模型,部署成API,替换LlamaIndex中RAG和LangChain中OpenAI接口Agent的最佳实践,并取得符合预期的结果。 实验一 实验目标&…

Spring Cloud Gateway 与 Nacos 的完美结合

在现代微服务架构中,服务网关扮演着至关重要的角色。它不仅负责路由请求到相应的服务,还承担着诸如负载均衡、安全认证、限流熔断等重要功能。Spring Cloud Gateway 作为 Spring Cloud 生态系统中的一员,以其强大的功能和灵活的配置&#xff…

浅谈linux(1)

文章目录 一、linux1.1、使用终端xshell登陆到云服务器上1.2、linux一些常用命令1.2.1、一些快捷键1.2.2、关于目录的操作1.2.3、关于文件的命令1.2.4、关于目录的命令1.2.5、vim 针对文件进行编辑 一、linux linux 操作系统,我使用的是发行版,Centos7。…

腾讯实时语音编码大突破 电梯、地库里通话也不卡顿

腾讯宣布,腾讯主导的新一代实时语音编码行业标准AVS3P10,即将正式对外发布。由腾讯会议天籁实验室携手腾讯AI Lab研发的Penguins编解码器(即AVS3P10行业标准的原型),把经典信号处理和最新的深度学习技术结合在一起&…

Py之dashscope:dashscope的简介、安装和使用方法、案例应用之详细攻略

Py之dashscope:dashscope的简介、安装和使用方法、案例应用之详细攻略 目录 dashscope的简介 1、产品的主要特点和优势包括: dashscope的安装和使用方法 1、安装 2、使用方法 dashscope的案例应用 1、通义千问-Max:通义千问2.5系列 2…

【专业性强】地球科学SCI期刊,中科院2区,学术影响力大

一、期刊名称 GIScience & Remote Sensing 二、期刊简介概况 期刊类型:SCI 学科领域:地球科学 影响因子:6.7 中科院分区:2区 三、期刊征稿范围 GIScience & Remote Sensing是一本完全开放获取的期刊,发表…

live555的核心数据结构值之闭环双向链表

live555是采用单进程,单线程的服务器,能够同时支持多个客户端连接,并且有条不紊的进行媒体流的调度,很大一部分原因在于对数据结构的巧妙应用。 下面介绍live555核心的数据结构:闭环双向链表 什么是闭环双向链表? 描述: 一个节点保存有前一个节点的地址和后一个节点的…

C语言 | Leetcode C语言题解之第202题快乐数

题目: 题解: //计算的过程函数,我没重点讲,很简单看一下代码就好了 int getSum(int n) {int sum 0;while (n) {sum (n % 10) * (n % 10);n / 10;}return sum; }bool isHappy(int n){int sum getSum(n);int hash[820] {0};whi…

SpringBoot脚手架MySpringBootAPI(PgSQL+Druid+MyBatisPlus+Lombok)

MySpringBootAPI SpringBoot脚手架,基于SpringBootDruidPgSQLMyBatisPlusFastJSONLombok,其他的请自行添加和配置。 Author powered by Moshow郑锴(大狼狗) , https://zhengkai.blog.csdn.net 如何运行 1.首先确保你是JDK17,推荐微软的MSJDK…

ueditor解决无法抓取远程背景图片问题的方法(php)

背景 laravel后台经常有用到编辑器的地方,Dcat使用的一般都是UEditor编辑器。最近项目经理在秀米排版以后,将内容复制到UEditor编辑器保存后发现, 在网站页面中发现图片竟然展示失败。经过浏览器控制台发现,图片的域名还是秀米的…

Reqable实战系列:Flutter移动应用抓包调试教程

Flutter应用网络请求调试一直是业内难题,原因在于Dart语言标准库的网络请求不会走Wi-Fi代理,常规通过配置Wi-Fi代理来抓包的方式行不通。这给我们日常开发测试造成了很大的阻碍,严重降低工作效率。因此写一篇教程,讲解如何使用Req…

相机系列——从相机畸变到托勒密地图

by 木一 标签:#相机畸变 #畸变纠正 #鱼眼相机 #折射定律 #托勒密地图 引言 前文[1][2]我们介绍了针孔相机模型,以及针孔相机模型的相机标定过程,但针孔相机模型是对相机成像最简单的描述,实际的相机成像过程要远复杂很多。 首先…

Python | Leetcode Python题解之第202题快乐数

题目: 题解: def isHappy(self, n: int) -> bool:cycle_members {4, 16, 37, 58, 89, 145, 42, 20}def get_next(number):total_sum 0while number > 0:number, digit divmod(number, 10)total_sum digit ** 2return total_sumwhile n ! 1 an…

CSS|05 继承性与优先级

继承性 一、继承性的特点: 1.外层元素身上的样式会被内层元素所继承 2.如果内层元素与外层元素身上的演示相同时,外层元素的样式会被内层元素所覆盖 二、关于继承性的问题 是不是所有样式都能被继承? 答:并不是所有样式能被继承…

Linux 搭建 kafka 流程

优质博文:IT-BLOG-CN 一、安装环境 【1】CenOS7虚拟机三台 【2】已经搭建好的zookeeper集群。 【3】软件版本:kafka_2.11-1.0.0 二、创建目录并下载安装软件 【1】创建目录 cd /opt mkdir kafka #创建项目目录 cd kafka mkdir kafkalogs #创建kafk…