ComfyUI 高级实战：极速稳定视频风格转绘

大家好，我是每天分享AI应用的萤火君！

重绘视频一直是短视频平台上的热点内容，流量不错。重绘视频一般是将真实视频重绘为动漫风格，或者是使用新的人物形象重放视频中的人物动作，再或者只是重绘视频中的部分内容，形式上可以有很多玩法，可以创作出很多有趣的内容。

在之前的文章中我分享过使用 TemporalKit 和 EBSynth 转换视频风格的方法，不过生成出来的视频闪烁比较厉害，效果不是太好，而且生成过程特别繁琐，操作起来也比较困难。

最近我在使用 Animatediff 的过程中，发现这个工具也可以转换视频风格，而且可以把视频画面处理的十分稳定，基本上没有什么闪烁；同时再结合字节开源的闪电模型，还可以大幅提升视频的生成速度；另外使用 ComfyUI 还可以直接把音频合成进来。一站式生成，个人感觉可以媲美收费的DomoAI了。

这篇文章我将会分享两种转绘方法：姿势转绘、风格转绘。

话不多说，先看看效果吧（视频不方便，先放几张截图）：

ComfyUI介绍

有的同学可能还不知道 ComfyUI 是什么，我这里做一个简单的介绍。

ComfyUI 是一个基于扩散模型的AI绘画创作工具，扩散模型就是大家常说的 Stable Diffusioin，简称SD。

使用SD进行AI绘画的常用工具还有 Stable Diffusion WebUI，有时也简称 SD WebUI，SD WebUI入门比较简单，适合新手，但是可定制性稍微差点，很多作品不容易传播复现，使用API进行操作也有一定的难度。

ComfyUI 使用工作流的方式，可定制性很强，可以让创作者们搞出各种新奇的玩意，也可以实现更高的自动化水平，创作方法更容易传播复现，发展势头特别迅猛。

不过 ComfyUI 的上手门槛有点高，用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。为了让大家能够快速地把这个工具用起来，我将会介绍 ComfyUI 的一些基础概念和基本使用方法，并分享一些热门AI绘画作品的创作方法，感兴趣的同学请及时关注。

ComfyUI安装

安装 ComfyUI 的难处

ComfyUI 本身是一个开源软件，大家可以安装到自己的电脑上使用。

但是但是事情往往没有说起来这么简单：

首先你要通过Github来下载程序，后续还要下载大量的模型，这需要特殊网络设置；
然后你还要懂点电脑技术，需要执行一大堆的命令；
最后你还要有一个牛逼的Nvidia显卡，显存8G起步，越大越好。

前两个花点小钱就能解决，最后这个要求可是要花大价钱的，差不多的3090显卡就需要七八千，玩起来没压力的4090更需要1.5个W左右。

当然，如果上边的这三个要求对你来说都是小菜一碟，你可以看看我这篇文章：

ComfyUI 完全入门：安装部署

云环境免费使用

你可能只是想试试，也不知道自己能不能玩的起来，或者说就处理几张图片，难道就没有别的办法了吗？

有！使用云服务器。

最近乘着AI的狂风，京东也大举进入AIGC领域了，新用户赠送两个小时的使用时长，足够我们应应急或者尝尝鲜了。这两天搞活动，每小时竟然降低到了1毛8，这个羊毛薅的都有点不好意思了～
我也在京东云上制作了一个 ComfyUI 的镜像，内置了常见的模型和工作流（包括本文介绍的抠图工作流），不用费劲吧啦的安装，点点鼠标，就能开始创作。

也就是说你不用特殊网络，也不用自己安装，更不用花钱，就可以体验到这个强大的AI绘画工具。

京东云赠送的使用时长通过代金券的形式发放，发消息“京东云”到公众号“萤火遛AI”，即可领取。

下面介绍下在京东云快速启动 ComfyUI 实例的方法：

京东云官方地址：京东云，注册登陆就不说了，相信大家应该都能搞定。

领取到代金券后，请在“费用”-“代金券管理”中激活代金券，操作如下图所示。

然后我们就可以去开AI服务器了，访问地址：京东云控制台

请按照下边的步骤创建AI服务器：

1、首先在“实例列表”页面点击“创建”：

2、在打开的“购买GCS实例”页面点击“按配置”，这种就是按使用量计费，GCS目前按照分钟计费。页面上没有显示常见的显卡型号，不过经我实际测试，目前配置的是RTX 4090显卡的GPU实例。

3、还是在“购买GCS实例”页面，我们移动到下方，应用这里选择“ComfyUI”，注意其中提到这是“萤火遛AI定制版本”，是萤火君专门给大家定制的，填了很多坑。因为上边已经激活了代金券，所以直接点击“立即购买”就可以了。

4、返回到GCS实例列表页面，等待GCS实例创建成功。

实例启动成功后，状态会显示“运行中”，我们只要依次点击“应用”-“自定义应用”，就可以在浏览器中打开ComfyUI了，不用执行任何技术命令，是不是很爽！

当然如果你要进行一些技术操作，也可以通过实例提供的 JupyterLab 去完成。

目前京东云还没有停止服务器的功能（据打听正在开发中），用完了记得点击“释放”，以免继续扣费。

5、加载工作流：如下图所示，初次打开是英文界面，先切换到中文；然后“加载”按钮右侧有个下拉按钮，点击就可以加载镜像内置的工作流。如果你想加载本地工作流，点击“加载”按钮本身就可以了。

姿势转绘演示

加载工作流

首先加载 ComfyUI 工作流，当前演示工作流可在文末获取。我制作的镜像已经内置此工作流，请按照下图的方式，点击“加载”旁边的下拉按钮，依次点击“视频处理”-“人物动作转绘-闪电Animatediff”。

加载视频

工作流界面的最左边有个“加载视频”的节点，如下图所示：

注意这里有两个参数：

强制帧率：帧率就是每秒多少张画面，默认的帧率一般是30，但是实际上设置为16，看起来也差不多，帧数少了，处理的数据也少，可能更快的生成视频。

强制尺寸：上传的视频过大了，处理的慢，过小了效果不好，这里强制下视频的高度为1024，宽度自适应。

设置SD参数

这里用到了提示词反推，因为SD模型生成图片需要提示词，但是每次写提示词真的很烦，所以这里用了一个模型来反推提示词，再和通用的提示次组装到一起使用。

设置 ControlNet 参数

为了引用原视频中的姿势，这里使用了一个ControlNet。首先通过“DW姿态预处理器”提取人物的姿态，这个处理器提取出的姿态比较细腻，包括人物的手部动作，效果会好一些，然后再把这些图片送入ControlNet应用。

注意ControlNet模型区分SD1.5和SDXL版本，需要和SD基础模型匹配，不要选错了。

设置 Animatediff 参数

这里为了加速视频生成，使用了字节跳动开源的闪电模型，4步就可以生成高清图片。注意采样器中的步数也要设置为4，CFG设置为1，不要太大，容易崩图。

最后我们点击“添加提示词队列”，等着生成视频就行了。

生成好的视频会出现在工作流的最右侧，点击右键可以下载到本地。

风格重绘演示

加载工作流

首先加载 ComfyUI 工作流，本文演示使用的工作流请在文末获取。如果你使用的是我制作的镜像，请按照下图的方式，点击“加载”旁边的下拉按钮，依次点击“视频处理”-“精细风格转绘-闪电Animatediff”。

加载视频

在工作流最左侧有一个“加载视频”节点，我们需要选择要进行风格重绘的视频，操作如下图所示：

为了加快转换速度，这里调整了帧率和视频的尺寸，视频默认的帧率一般是30，也就是每秒30个画面，一般调整到一半也不会有太大的影响，但是要处理的数据就会减少一半；视频尺寸太大的话，处理起来慢，尺寸太小的话，效果不好，这里将高度调整为1080，宽度自适应。大家可以根据自己的实际情况进行调整。

设置SD参数

在工作流的中间找到“Checkpoint加载器”和“CLIP文本编码器”节点。“Checkpoint加载器”是用来加载SD基础模型的，这里就是选择你要重绘的风格模型。“CLIP文本编码器”是用来编码提示词的，提示词需要根据画面内容做一个简单的编写，不用太复杂，因为我们使用了4步闪电模型，反向提示词也不需要填写。

设置 Animatediff 参数

在“Checkpoint加载器”节点的右侧，我们可以看到“Animatediff加载器”和“K采样器”，这两个需要搭配使用。

“Animatediff加载器”这里需要设置Animatediff动画模型，我使用的是字节开源的4步闪电模型，速度很快，推荐大家也试试，模型可以在文末下载。
“K采样器”这里的步数需要和Animatediff动画模型适配，因为我使用的是4步闪电模型，所以这里采样步数设置为4就行了，CFG这里不要设置的太高，一是闪电模型支持的不好，二是太高了模型根据提示词发挥的太多，重绘效果可能不好。