今天,我们将向您介绍一款非常实用的工具——Stable Diffusion comfyUI工作流。这款工作流基于Stable Diffusion技术,旨在为您提供一键式生成图像的便捷体验。无论您是AI绘画的新手还是专业人士,这个工作流都能为您带来极大的便利。
在这个教程中,我们将详细介绍Stable Diffusion comfyUI工作流的使用方法和高级功能。通过这个工作流,您可以轻松地实现写真自由、各种风格融合、面部特征一致性等功能,无需手动输入,大大提高了您的创作效率。同时,我们还将提供全网最详细的Stable Diffusion comfyUI工作流使用方法和参数设置诀窍,让您能够更好地掌握这个工具。
所以,如果您对Stable Diffusion和comfyUI工作流充满好奇,或者想要尝试一下这个有趣的功能,那就赶紧试试吧!它将会给您带来无尽的惊喜和乐趣!
一、分步制作
根据写真的SOP教程,蒙版变装的方法分为了四部分:
1、制作蒙版
2、SD基础设置
3、ControlNet设置
4、修图
1、制作蒙版
根据教程中显示,制作蒙版是把脸部蒙版精准抠出,我们需要通过分割算法把脸部自动抠出,这里用到可以分割一切的seg(segment anything)
比葫芦画瓢,于是,小姐姐的脸完美扣出来了:
但在后期所有步骤连成后,发现遮罩边缘部分衔接不是太好,查了部分资料,发现是遮罩边缘太锋利导致,于是此处流程仍需要对蒙版边缘做羽化处理,核心节点就有,但试了一下,边缘依然比较清晰,发现核心节点feather mask是对整个图进行羽化,这不是我们想要的,我们只想对脸部进行羽化,这里用的是FeatheredMask节点。
通过FeatheredMask节点完美实现对边缘的羽化处理,如下图可以看到边缘明显不那么锐利:
到这里,第一步制作蒙版基本就达到我们想要的效果了。
2、SD基础设置
玩过ComfyUI的同学,相信这一步应该非常熟练的还原教程。
加载对应的大模型和lora,这里主要lora要和大模型相互匹配哦,通过lora模型的说明上可以看到使用什么大模型,如下图,冰雪奇缘这里用的麦橘V7:
这里属于基础部分,我就直接放流程图了,参数调节根据lora模型要求填写即可:
但是!这里依然有有一些细节需要注意,如果我们选择的适用于webui的提示词和参数配置的lora模型,我们需要用**webui的提示词权重插值的方法,**否则出的图和lora模型的表现有一定的差距。
啥意思呢,讲人话,就是目前大部分lora模型给出的效果图以及提示词都是从webui上得出得结论,但并不一定适用于comfyui,两种方式对提示词编码时的权重插值是有差异的,这也是经常有小伙伴通过ComfyUI还原WebUI时经常发现不能完美还原的一个非常非常重要的原因。
因此为了保证完美还原,这里又引入了一个节点,这个节点允许我们把权重插值方法改为A1111,也就是WebUI的提词权重插值方式,如下图:
根据上面接上,我们把之前的流程再重新修改,于是如下图:
可以看出两张图是有明显差别的,第一次的图明显锐化比较严重,第二次就好很多了。
到这里,SD基础设置中的前半部分就ok了,后边就是对蒙版内容和现在的采样器进行结合,教程中是重绘非蒙版内容,并且对蒙版区域采用潜空间噪声设置,因此这里需要在潜空间添加噪声以达到比较好的效果,对应ComfyUI可以用设置Latent噪波遮罩,并把图像编码传给采样器一同处理,这里就可以把空latent删除掉啦:
如上图,我们生成测试一下,发现遮罩部分完美把脸部迁移了,背景也重绘了,目前达到我们的效果。
剩下的就交给ControlNet来处理吧。
3、ControlNet设置
在ControlNet设置的教程里,主要用了openpose和lineart来控制人物的姿态和脸型,且用lineart控制脸部结构时需要手动把多余部分擦出掉。
这部分我想了好久,发现目前没有好的方式实现,但深入思考后,能够发现擦这部分的作用其实是防止衣服和背景的多余线条影响重绘得内容,那我用稍微欠一点的预处理器是不是能行呢,最终用HED模糊线预处理器感觉还凑活,生成的图像并没有太多线条,应该可以用:
然后加上openpose试一下:
把两个ControlNet串联后接入到采样器就可以啦,先看下生成效果:
看效果感觉用HED还凑活,那就继续。
4、修图
修图主要是对脸部边缘部分进行修复,使其融合的更自然。
教程里用的图生图的局部重绘,这里我们不想用手动去涂抹,ControlNet中有个inpaint预处理器啊,这个玩意也是干这个事得,而且比局部重绘的融合度会稍好一些,我们只需要让其对蒙版和原图的衔接部位进行重绘即可,控制好幅度应该可行。
于是,ControlNet中仍然需要再串联一层inpaint:
如上图,把inpaint串联上去,我们再看下效果吧:
看起来比之前效果确实要好不少。
到这里,整个还原就结束了,为了更清晰的划分不同模块,并做下后期放大,后面篇幅增加了放大功能。
===
二、后期优化
原图质量越好,生成的图也会越好,但大部分可能原图像素比较低,这里可以通过工作流直接组合放大功能。
这里我只用了SD放大,大家可以参考上面的文章,把图像放大到合适的大小哦。
可以看到图像被放大后还是很清晰的,并且经过重采样后,融合度可以说是完美。
但经过重采样的放大的图像会和原图略有区别,就和美颜后一样,这个可以通过调节降噪幅度自行调节到自己想要的程度。(ps: 效果是不是类似于插件instantid换脸法呢,嘿嘿!当然通过instantid换脸通过comfyui是比较容易做到的,属于比较基础的部分啦,小伙伴感兴趣的可以自己去实验吧)
为了方便查看,我对节点做了少许整理,并对刚才的分布制作单独分组,方便大家分块学习。
下面的两个图片和一个Json文件选取一个导入comfyui中即可展示全部流程了。
最后再说两句
大家不要局限赛道和某种展现形式,你擅长什么,就去做什么,先干起来,才想着完美,我分享的内容也是我一边干一边复盘,慢慢优化得出来的,条条道路通罗马,方法都没有错,取决于你怎么用它,理性看帖,积极实践, 加油兄弟们,干就完了!
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智
能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。