ComfyUI完全入门:图生图局部重绘

大家好,我是每天分享AI应用的萤火君!

这篇文章的主题和美女有关,不过并不是教大家生产美女视频,而是讲解 ComfyUI 的图生图局部重绘,其中将会以美女图片为例,来展示局部重绘的强大威力。

先看看效果:

ComfyUI是什么?

在AI绘画领域,Stable Diffusion 因其开源特性而受到广泛的关注和支持,背后聚拢了一大批的应用开发者和艺术创作者,是AI绘画领域当之无愧的王者。

目前使用 Stable Diffusion 进行创作的工具主要有两个:Stable Diffusion WebUI 和 ComfyUI。

Stable Diffusion WebUI 开箱即用,基本功能齐全,社区也有很多的插件支持,入门比较简单,适合新手,但是可定制性稍微差点,很多作品不容易传播复现,使用API进行操作也有一定的难度。

ComfyUI 虽然出来的晚一点,但是它的可定制性很强,可以让创作者搞出各种新奇的玩意,通过工作流的方式,也可以实现更高的自动化水平,创作方法更容易传播复现,发展势头特别迅猛。从解放生产力以及工业化批量生产的角度看,ComfyUI 具备更广阔的应用前景。

但是 ComfyUI 的上手门槛有点高,对 Stable Diffusion 以及各种扩展能力的原理需要有一定的理解,动手能力要求也比较高。为了让 ComfyUI 走进千家万户,从这篇文章开始,我将开始介绍一些 ComfyUI 的概念和使用方法,让大家更快的掌握 ComfyUI 的使用技巧,创作出自己独特的艺术作品。

如何安装 ComfyUI?

本地或手动安装

本系列的第一篇文章中已经详细的介绍过安装步骤,需要的同学请点此前往:ComfyUI 完全入门:安装部署

云环境使用

如果你的电脑没有配置高性能的Nvidia显卡,我建议你可以先在云环境试试,推荐两个云平台:

京东云:京东云最近大举进入AIGC领域,新上了AI服务器,价格十分美丽,目前4090每小时1.89,最重要的是还可以领取2个小时的代金券(领取方式见文末)。为了让大家在京东云尽快跑起来,萤火君也正在制作相应的 ComfyUI 镜像,内置常见模型和插件,敬请关注。

智算服务的地址:智算服务-京东云

AutoDL:AutoDL是一个云计算平台,提供多种显卡服务器租用服务,可按小时付(1-2元左右),显卡价格相比阿里云、腾讯云有明显的优势,我一直在用,推荐本地硬件性能不足的同学试试。

镜像地址:CodeWithGPU | 能复现才是好算法

镜像使用方法:打开镜像页面,点击右下角的“AutoDL创建实例”,按照使用说明操作即可。

ComfyUI局部重绘

基本重绘方法

我们先来看一个最简单的局部重绘示例,在这个示例中,我将在姑娘左边的地板上增加了一条黄色的小狗。工作流下载见文末。

加载重绘图片

从左向右看,最左边是加载需要做局部重绘的图片,并在图片中添加一个遮罩,遮罩的区域内将绘制一条小狗。这个部分包括4个节点,我分别介绍下:

加载图像:从文件夹选择一张图片,或者上传一张图片。然后我们在图片上点击右键,在弹出的菜单中继续点击“在遮罩编辑器中打开”,在打开的页面中我们就可以绘制遮罩了,完成绘制点击右下角的“Save to node”就可以了,操作如下图所示:

VAE编码:图片要进行重绘,还是要走扩散模型的基本流程,这里需要使用VAE模型将图片编码到潜空间。

遮罩羽化:让遮罩部分生成的内容和图片的其它部分融合的更好一些,不那么突兀。

遮罩平滑:我们手动操作可能比较毛糙,让遮罩的编码更加平滑。

设置Laten滤波遮罩:给潜空间中的遮罩区域增加噪音,这样可以让生成的内容和图片融合的更好些。

设置SD参数

然后我们还要设置Stable Diffusion的基本参数,包括:

加载SD基础模型:可以使用所有的SD基础模型,SD1.5、SDXL都可以。

填写提示词和反向提示词:描述要重绘的内容,不想出现的内容等。

设置采样器:常用的K采样器即可,所有参数都是用默认设置即可。

最终保存图像:可以设置一个文件名前缀。

然后就可以“添加提示词队列”去生成图片了。

使用ControlNet精细重绘

终于到了更换丝袜的环节了。因为我们只是想要更换丝袜的颜色,腿形啥的都不想有大的改变,这就需要更为精细的控制,可以通过引入 ControlNet 达到这个目的。

Canny控制网

我们先使用 Canny 控制网来进行处理,Canny 是一个线稿模型,它可以控制图片按照线稿的约束进行生成,效果不错。工作流的其它部分基本不用改变,我们只需要增加 ControlNet 的部分,并把这些节点添加到工作流中。这里主要介绍下ControlNet的部分(完整的工作流请在文末获取),看下面这张图:

先看左边三个节点:

  • Canny细致线预处理器器:从要重绘的图片中提取线稿图,这里边有个分辨率的参数,需要设置为图片最小边的像素值,所以引入了“数学表达式”和“图像信息”两个节点。
  • 图像信息:提取要重绘图片的宽度和高度。
  • 数学表达式:获取图片宽度和高度的最小值。

再看右边两个节点:

  • DiffControlNet加载器:用来加载ControlNet模型,注意模型要和预处理器匹配。
  • ControlNet应用:用来定义一个ControlNet节点,其中的强度、开始时间和结束时间,是用来控制 ControlNet 参数图片生成的影响力的,开始时间和结束时间的取值范围是0-1,代表在采样过程中的介入时机。

另外需要注意的是遮罩的绘制和提示词的编写:

先看遮罩的绘制,因为只是更改丝袜的颜色,我们这里需要只把腿覆盖上,其它部分尽量不要覆盖,以免出图效果不好。

再看提示词,我们需要在提示词中描述丝袜的颜色、质地等特征。

最后还是点击“添加提示词队列”去生成图片。

Tile控制网

另外我也做了一个Tile控制网的工作流,Tile的主要能力是细节完善,修改颜色比较困难,但是也能把丝袜处理的更好看一些,所以还是简单介绍下。

这里也需要一个预处理器,Tile平铺预处理器,它主要是把图片变模糊。这里的分辨率我没有自动计算,直接设置为了图片最小边的长度,你生成图片的时候请注意修改。

其它ControlNet模型的选择就没什么好说的了,工作流下载还是见文末。

资源分享

工作流:请给公众号“萤火遛AI”发消息:局部重绘,即可获取。

京东云代金券:请+V yinghuojun007 领取。


以上就是本文的主要内容。

用好 ComfyUI:

  • 首先需要对 Stable Diffusion 的基本概念有清晰的理解,熟悉 ComfyUI 的基本使用方式;
  • 然后需要在实践过程中不断尝试、不断加深理解,逐步掌握各类节点的能力和使用方法,提升综合运用各类节点进行创作的能力。

我将在后续文章中持续输出 ComfyUI 的相关知识和热门作品的工作流,帮助大家更快的掌握 Stable Diffusion,创作出满足自己需求的高质量作品,感兴趣的同学请及时关注。

另外我还创建了一个AI绘画专栏,可以零门槛,全面系统的学习 Stable Diffusion 创作,让创作灵感轻松落地!如有需要请点击此处进入。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/15547.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024年5月26日 十二生肖 今日运势

小运播报:2024年5月26日,星期日,农历四月十九 (甲辰年己巳月庚寅日),法定节假日。 红榜生肖:马、猪、狗 需要注意:牛、蛇、猴 喜神方位:西北方 财神方位:…

java hashmap在项目中的使用

java hashmap在项目中的使用 1,缓存机制: 在需要频繁访问数据但又不想每次都从数据库或远程服务获取的场景中,可以使用 HashMap 作为缓存。例如,在一个 Web 应用程序中,用户信息可能只需要在登录时从数据库检索一次&a…

解释器和编译器(程序语言基础)

一、解释器 解释器则是一种逐行或逐段地解释执行源代码的工具。解释器会直接读取源代码,并在运行时逐行或逐段地解释执行代码,不生成独立的目标代码文件。解释器适用于一些动态语言,允许用户在代码执行过程中进行交互,更容易调试…

【linux_常用的指令】

笔记 1连接远程主机2 两台主机间复制2.1 查看当前目录2.2 普通复制 3 创建能运行sudo命令的用户3.1 更改用户admin的密码3.2 切换到admin用户,并且启动一个新的shell3.3 更改文件或目录的权限 4 切换目录5 解.tar.gz格式的压缩包6 运行.sh文件7 查看当前目录的所有文…

泛型中K T V E ? Object等分别代表的含义

E – Element (在集合中使用,因为集合中存放的是元素) T – Type(Java 类) K – Key(键) V – Value(值) N – Number(数值类型) ? – 表示不确定的java类型&…

一个月速刷leetcodeHOT100 day07 轮转数组 除自身以外的乘积 找到字符串中所有字母异位词

轮转数组 给定一个整数数组 nums,将数组中的元素向右轮转 k 个位置,其中 k 是非负数。 示例 1: 输入: nums [1,2,3,4,5,6,7], k 3 输出: [5,6,7,1,2,3,4] 解释: 向右轮转 1 步: [7,1,2,3,4,5,6] 向右轮转 2 步: [6,7,1,2,3,4,5] 向右轮转 3 步: […

系统思考—跳出症状看全局

结束了《系统思考—跳出症状看全局》的迭代课程后,我感触颇深。通过一个深入的案例研讨、互动讨论和实战演练,学员们不仅更好地理解了如何跳出症状看全局,还掌握了制定更具前瞻性和可持续性策略的方法。我们还探讨了如何在实际工作中应用这些…

《python编程从入门到实践》day38

# 昨日知识点回顾 定义、迁移模型Entry # 今日知识点学习 18.2.7 Django shell 每次修改模型后,看到重启后的效果需要重启shell,退出shell会话Windows系统按ctrlZ或者输入exit() 18.3 创建页面:学习笔记主页 创建页面三阶段&#xf…

介绍一下Hugging Face,这个公司的背景是什么

Hugging Face是一家成立于2016年的人工智能公司,专注于为AI研究人员和开发者提供开源模型库和工具。以下是关于Hugging Face公司的详细背景介绍: 公司历史与创始人: Hugging Face由Clment Delangue、Julien Chaumond和Thomas Wolf三位法国籍…

E0144 “const char *“ 类型的值不能用于初始化 “char *“ 类型的实体

解决方案: 在Visual Studio中,在项目上右键,属性 >> C/C >> 语言 >> 符合模式,改为“否”。

AI大模型探索之路-基础篇5:GLM-4解锁国产大模型的全能智慧与创新应用

目录 前言一、GLM4大模型总体概述二、GLM4和GPT4功能对比三、GLM4和GPT4性能对比1、基础能力(英文)2、指令跟随能力3、对齐能力4、长文本能力5、多模态-文生图 四、GLM-4 ALL Tools1、文生图2、代码解释器3、网页浏览4、Function Call5、多工具自动调用 …

【学习笔记】关于建模时需要调整的变量

在进行回归分析时,选择调整变量(也就是模型中的协变量)需要谨慎考虑。调整的变量并不一定必须是混杂因素,但通常情况下,目的是为了控制那些可能扭曲主要自变量和因变量关系的混杂因素。除了混杂因素,还有几…

C语言之指针进阶(3),函数指针

目录 前言: 一、函数指针变量的概念 二、函数指针变量的创建 三、函数指针变量的使用 四、两段特殊代码的理解 五、typedef 六、函数指针数组 总结: 前言: 本文主要讲述C语言指针中的函数指针,包括函数指针变量的概念、创建…

【面试干货】事务的并发问题(脏读、不可重复读、幻读)与解决策略

【面试干货】事务的并发问题(脏读、不可重复读、幻读)与解决策略 一、脏读(Dirty Read)二、不可重复读(Non-repeatable Read)三、幻读(Phantom Read)四、总结 💖The Begi…

Stable Diffusion——U-ViT用于扩散建模的 ViT 主干网

1.概述 扩散模型是最近出现的强大的深度生成模型,可用于生成高质量图像。扩散模型发展迅速,可应用于文本到图像生成、图像到图像生成、视频生成、语音合成和 3D 合成。 除了算法的改进,骨干网的改进在扩散建模中也发挥着重要作用。一个典型…

nginx代理前端html

正常配置,通过www.example.com或192.168.20.12:80访问server {listen 80;server_name example.com www.example.com;root /var/www/html;index index.html index.htm;location / {try_files $uri $uri/ 404;} }解释: listen 80;:监听 HTTP 端…

汽车R155法规中,汽车获取到的VTA证书,E后面的数字表示什么意思?

标签: 汽车R155法规中,汽车获取到的VTA证书,E后面的数字表示什么意思?; 汽车;VTA认证; 有些厂商汽车拿到的VTA证书上面写着E9, 有些厂商汽车拿到的VTA证书上面写着E5,E9与E5有什么差…

嵌入式之音频基础知识

声音特性 1、响度:人主观上感觉声音的大小(俗称音量),由“振幅”和人离声源的距离决定,振幅越大响度越大,人和声源的距离越小,响度越大; 2、音调:声音的高低&#xff0…

多商户消费券系统源码(ThinkPHP+FastAdmin+微信公众号)

打造智能促销新体验 一、引言:消费券系统的时代意义 在当今这个数字化高速发展的时代,电子商务和移动支付已经成为人们日常生活的重要组成部分。随着市场竞争的加剧,多商户消费券系统作为一种创新的促销手段,正逐渐受到商家和消…

k8s笔记 | helm包管理

什么是Helm kubenetes包管理器,是查找,分享和使用软件构件 kubernetes的最佳方式; 可以做什么 从头开始创建新的chart将chart打包成归档(tgz)文件与存储chart的仓库进行交互与现有的kubernates集群中安装和卸载chart管理与Helm一起安装的 …