一个强大的Stable Diffusion comfyUI 工作流,能实现写真自由、各种风格融合、面部特征一致性等等

今天,我们将向您介绍一款非常实用的工具——Stable Diffusion comfyUI工作流。这款工作流基于Stable Diffusion技术,旨在为您提供一键式生成图像的便捷体验。无论您是AI绘画的新手还是专业人士,这个工作流都能为您带来极大的便利。

在这个教程中,我们将详细介绍Stable Diffusion comfyUI工作流的使用方法和高级功能。通过这个工作流,您可以轻松地实现写真自由、各种风格融合、面部特征一致性等功能,无需手动输入,大大提高了您的创作效率。同时,我们还将提供全网最详细的Stable Diffusion comfyUI工作流使用方法和参数设置诀窍,让您能够更好地掌握这个工具。

所以,如果您对Stable Diffusion和comfyUI工作流充满好奇,或者想要尝试一下这个有趣的功能,那就赶紧试试吧!它将会给您带来无尽的惊喜和乐趣!

在这里插入图片描述

一、分步制作

根据写真的SOP教程,蒙版变装的方法分为了四部分:

1、制作蒙版

2、SD基础设置

3、ControlNet设置

4、修图


1、制作蒙版

根据教程中显示,制作蒙版是把脸部蒙版精准抠出,我们需要通过分割算法把脸部自动抠出,这里用到可以分割一切的seg(segment anything)

比葫芦画瓢,于是,小姐姐的脸完美扣出来了:

但在后期所有步骤连成后,发现遮罩边缘部分衔接不是太好,查了部分资料,发现是遮罩边缘太锋利导致,于是此处流程仍需要对蒙版边缘做羽化处理,核心节点就有,但试了一下,边缘依然比较清晰,发现核心节点feather mask是对整个图进行羽化,这不是我们想要的,我们只想对脸部进行羽化,这里用的是FeatheredMask节点。

通过FeatheredMask节点完美实现对边缘的羽化处理,如下图可以看到边缘明显不那么锐利:

到这里,第一步制作蒙版基本就达到我们想要的效果了。


2、SD基础设置

玩过ComfyUI的同学,相信这一步应该非常熟练的还原教程。

加载对应的大模型和lora,这里主要lora要和大模型相互匹配哦,通过lora模型的说明上可以看到使用什么大模型,如下图,冰雪奇缘这里用的麦橘V7:

这里属于基础部分,我就直接放流程图了,参数调节根据lora模型要求填写即可:

但是!这里依然有有一些细节需要注意,如果我们选择的适用于webui的提示词和参数配置的lora模型,我们需要用**webui的提示词权重插值的方法,**否则出的图和lora模型的表现有一定的差距。

啥意思呢,讲人话,就是目前大部分lora模型给出的效果图以及提示词都是从webui上得出得结论,但并不一定适用于comfyui,两种方式对提示词编码时的权重插值是有差异的,这也是经常有小伙伴通过ComfyUI还原WebUI时经常发现不能完美还原的一个非常非常重要的原因。

因此为了保证完美还原,这里又引入了一个节点,这个节点允许我们把权重插值方法改为A1111,也就是WebUI的提词权重插值方式,如下图:

根据上面接上,我们把之前的流程再重新修改,于是如下图:

可以看出两张图是有明显差别的,第一次的图明显锐化比较严重,第二次就好很多了。

到这里,SD基础设置中的前半部分就ok了,后边就是对蒙版内容和现在的采样器进行结合,教程中是重绘非蒙版内容,并且对蒙版区域采用潜空间噪声设置,因此这里需要在潜空间添加噪声以达到比较好的效果,对应ComfyUI可以用设置Latent噪波遮罩,并把图像编码传给采样器一同处理,这里就可以把空latent删除掉啦:

如上图,我们生成测试一下,发现遮罩部分完美把脸部迁移了,背景也重绘了,目前达到我们的效果。

剩下的就交给ControlNet来处理吧。

3、ControlNet设置

在ControlNet设置的教程里,主要用了openpose和lineart来控制人物的姿态和脸型,且用lineart控制脸部结构时需要手动把多余部分擦出掉。

这部分我想了好久,发现目前没有好的方式实现,但深入思考后,能够发现擦这部分的作用其实是防止衣服和背景的多余线条影响重绘得内容,那我用稍微欠一点的预处理器是不是能行呢,最终用HED模糊线预处理器感觉还凑活,生成的图像并没有太多线条,应该可以用:

然后加上openpose试一下:

把两个ControlNet串联后接入到采样器就可以啦,先看下生成效果:

看效果感觉用HED还凑活,那就继续。

4、修图

修图主要是对脸部边缘部分进行修复,使其融合的更自然。

教程里用的图生图的局部重绘,这里我们不想用手动去涂抹,ControlNet中有个inpaint预处理器啊,这个玩意也是干这个事得,而且比局部重绘的融合度会稍好一些,我们只需要让其对蒙版和原图的衔接部位进行重绘即可,控制好幅度应该可行。

于是,ControlNet中仍然需要再串联一层inpaint:

如上图,把inpaint串联上去,我们再看下效果吧:

看起来比之前效果确实要好不少。

到这里,整个还原就结束了,为了更清晰的划分不同模块,并做下后期放大,后面篇幅增加了放大功能。

===

二、后期优化

原图质量越好,生成的图也会越好,但大部分可能原图像素比较低,这里可以通过工作流直接组合放大功能。

这里我只用了SD放大,大家可以参考上面的文章,把图像放大到合适的大小哦。

可以看到图像被放大后还是很清晰的,并且经过重采样后,融合度可以说是完美。

但经过重采样的放大的图像会和原图略有区别,就和美颜后一样,这个可以通过调节降噪幅度自行调节到自己想要的程度。(ps: 效果是不是类似于插件instantid换脸法呢,嘿嘿!当然通过instantid换脸通过comfyui是比较容易做到的,属于比较基础的部分啦,小伙伴感兴趣的可以自己去实验吧)

为了方便查看,我对节点做了少许整理,并对刚才的分布制作单独分组,方便大家分块学习。

下面的两个图片和一个Json文件选取一个导入comfyui中即可展示全部流程了。

最后再说两句

大家不要局限赛道和某种展现形式,你擅长什么,就去做什么,先干起来,才想着完美,我分享的内容也是我一边干一边复盘,慢慢优化得出来的,条条道路通罗马,方法都没有错,取决于你怎么用它,理性看帖,积极实践, 加油兄弟们,干就完了!

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智
能等前沿科技教程和软件工具,具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述
在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/59069.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【测试】【Debug】pytest运行后print没有输出

import pytest def test_good():for i in range(1000):print(i)def test_bad():print(this should fail!)assert False比如上述程序,运行之后只能看到输出了’this should fail!;但是debug版的测试运行后又能看到test_good函数中的输出。 这是为什么呢&a…

外泌体相关基因肝癌临床模型预测——2-3分纯生信文章复现——6.外泌体基因功能注释(二)

内容如下: 1.外泌体和肝癌TCGA数据下载 2.数据格式整理 3.差异表达基因筛选 4.预后相关外泌体基因确定 5.拷贝数变异及突变图谱 6.外泌体基因功能注释 7.LASSO回归筛选外泌体预后模型 8.预后模型验证 9.预后模型鲁棒性分析 10.独立预后因素分析及与临床的相关性分析…

【Homework】【1--4】Learning resources for DQ Robotics in MATLAB

Learning resources for DQ Robotics in MATLAB Lesson 1 代码 % Step 2: Define the real numbers a1 and a2 a1 123; a2 321;% Step 3: Calculate and display a3 a1 a2 a3 a1 a2; disp([a3 (a1 a2) , num2str(a3)])% Step 4: Calculate and display a3 a1 * a2 a3…

ORACLE RAC用DNS服务器的配置

一、搭建本地YUM源 二、安装DNS全部组建 yum -y install bind* 三、规划您RAC集群所有IP #public 192.168.16.111 rac1.ntt.com rac1 192.168.16.112 rac2.ntt.com rac2 192.168.16.121 rac3.ntt.com rac3 192.168.16.122 rac4.ntt.com rac4 #private 10.10.10.111 rac1-pr…

Redis穿透、击穿、雪崩

redis是一款常用的非关系型数据库,我们常用与作为数据缓存的组件。 接下来介绍一下面试中常被问到的三个概念以及简单的解决方法。 穿透 什么叫缓存穿透 缓冲穿透,是当有一个请求过来时,查询redis缓存不存在,又去查询数据库&…

前向-后向卡尔曼滤波器(Forward-Backward Kalman Filter)资料汇总

《卡尔曼滤波引出的RTS平滑》参考位置2《卡尔曼滤波系列——(六)卡尔曼平滑》《关于卡尔曼滤波和卡尔曼平滑关系的理解》——有m语言例程《Forward Backwards Kalman Filter》——Matlab软件《卡尔曼滤波与隐马尔可夫模型》

linux命令详解,存储管理相关

存储管理 一、内存使用量,free free 命令是一个用于显示系统中物理内存(RAM)和交换空间(swap)使用情况的工具 free -m free -m -s 5参数 -b 功能: 以字节(bytes)为单位显示内存使用情况。说…

PHP API的路由设计思路

PHP API的路由设计是构建高效、可维护API的关键环节。以下是一套完整的PHP API路由设计思路: 一、明确设计原则 使用统一资源标识符(URI):通过URI来标识资源,确保每个资源都有一个唯一的地址。使用HTTP方法&#xff…

推荐一款功能强大的视频修复软件:Apeaksoft Video Fixer

Apeaksoft Video Fixer是一款功能强大的视频修复软件,专门用于修复损坏、不可播放、卡顿、画面失真、黑屏等视频问题。只需提供一个准确且有效的样本视频作为参考,该软件就能将受损视频修复到与样本视频相同的质量。该软件目前支持MP4、MOV、3GP等格式的…

Redis如何保证数据不丢失(可靠性)

本文主要以学习为主,详细参考:微信公众平台 Redis 保证数据不丢失的主要手段有两个: 持久化 多机部署 我们分别来看它们两的具体实现细节。 1.Redis 持久化 持久化是指将数据从内存中存储到持久化存储介质中(如硬盘&#xf…

第三十九章 基于VueCli自定义创建项目

目录 1. 选择创建模式 2. 选择需要的功能 3. 选择历史模式还是哈希模式 ​4.CSS预处理器 5. 选择ESLint规则 6. 开始创建项目 ​7. 自定义项目最终结构 1. 选择创建模式 输入创建的项目名,创建项目: 这里选择自定义模式: 2. 选择需要…

【Vue3】基础语法案例

图片点击轮播 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><title>图片轮播</title> </head><body><div id"app"><h3>{{ number }}</h3><!-- 通过模板字…

16.useForm

在 React 应用中,处理表单状态是一个常见但有时复杂的任务。每个表单字段通常需要自己的状态和更新逻辑,这可能导致代码重复和难以维护。useForm 钩子提供了一种简洁的方法来管理整个表单的状态,大大简化了表单处理过程。这个自定义钩子不仅减少了样板代码,还提高了表单处理…

CentOS8.4 部署 k8s 1.31.2

文章目录 配置 aliyun 源配置时间同步查看 安装 docker下载一些必备工具配置 aliyun 的源更新源删除旧的 podman安装 docker设置开机启动 配置 hosts 表多主机协同可以不写 关闭 swap 分区配置 iptables配置 k8s 源初始化 master 节点初始化 node 节点 查看集群状态 [!warning]…

【大数据学习 | kafka高级部分】kafka的kraft集群

首先我们分析一下zookeeper在kafka中的作用 zookeeper可以实现controller的选举&#xff0c;并且记录topic和partition的元数据信息&#xff0c;帮助多个broker同步数据信息。 在新版本中的kraft模式中可以这个管理和选举可以用kafka自己完成&#xff0c;而不再依赖zookeeper。…

CTF-WEB:php函数杂记(手册)持续更新

exif_imagetype() exif_imagetype 是 PHP 中的一个函数&#xff0c;用于判断图像文件的类型。它通过读取图像文件的前几个字节来推断文件类型&#xff0c;而无需依赖文件扩展名。这在处理文件上传时特别有用&#xff0c;因为文件扩展名可能会被伪造。 函数原型 exif_imagety…

生物发酵装备在制药工业中的应用与发展前景

在现代制药工业中&#xff0c;发酵技术扮演着越来越重要的角色。发酵设备&#xff0c;作为这一技术的核心&#xff0c;不仅促进了抗生素、疫苗和生物药物的生产&#xff0c;还为酶的生物合成提供了必要的条件。 发酵技术是指人们利用微生物的发酵作用&#xff0c;通过一系列的…

linux部分问题以及解决方式

目录 1.ubuntu桌面不显示了&#xff0c;只有命令行1.1启动gdm3服务1.2安装lightdm桌面管理包 1.ubuntu桌面不显示了&#xff0c;只有命令行 有如下两种解决方式。 1.1启动gdm3服务 这种方法只能临时生效&#xff0c;每次重启都要手动启动 sudo service gdm3 restart 1.2安装…

js 数据类型=》理解=》应用

文章目录 js 类型判断Object.prototype.toString.call 方法的理解与实现一、对Object.prototype.toString.call方法的理解二、Object.prototype.toString.call方法的实现原理三、简单的模拟实现示例 Object.prototype上的toString方法 理解应用补充&#xff08;symbol/BigInt&a…

HCIP快速生成树 RSTP

STP&#xff08;Spanning Tree Protocol&#xff0c;生成树协议&#xff09;和RSTP&#xff08;Rapid Spanning Tree Protocol&#xff0c;快速生成树协议&#xff09;都是用于在局域网中消除环路的网络协议。 STP&#xff08;生成树协议&#xff09; 基本概念&#xff1a; ST…