大家好,我是画画的小强
今天给大家介绍一下AI绘画SD中ControlNet 的 IP-Adapter 组件,该组件可以方便快捷的帮我们对图片的风格进行迁移,简而言之就是可以参考你放置的图片风格来生成其他图片。
它的效果和reference only有点类似,但是效果要更好一些。
下面是原理图,官方详细文档详见:https://github.com/tencent-ailab/IP-Adapter
简单的说, IP-Adapter是使用图像作为输入提示来生成图像,它还能与文本提示、ControlNet模型一起配合完成图像的生成。
想要使用这个 IP-Adapter,你ControlNet要升级到1.1.4后才支持。
1、模型下载
下载下面圈中的这2个模型都行,更推荐使用带plus的。
模型下载:https://huggingface.co/lllyasviel/sd_control_collection/tree/main
(如无法下载,请看下方扫描免费获取哦)
然后存放到 \sd-webui-aki-v4.2\extensions\sd-webui-controlnet\models 下面
然后模型预处理下载,正常controlnet启用IP_Adapter的时候,系统会自动下载 clip_g.pth这个预处理器,2.3G大小,网络不好的同学估计无法下载成功,这里同样扫描后免费提供给大家
下载下来后放到 sd-webui-aki-v4.2\extensions\sd-webui-controlnet\annotator\downloads\clip_vision
2、使用教程
这里整理一下常用的几种使用场景。
-
局部重绘+参考图
-
文生图两种controlnet结合
-
文生图描述词+参考图
2.1 局部重绘+参考图
这里我们尝试把一张美女图的脸,换成参考图的试试效果,首先先在局部重绘里面把脸吐掉
然后开启一个controlNet,选择使用 IP-Adapter即可。
提示词简单来一段通用的描述
best quality,masterpiece,best quality,masterpiece,realistic,HDR,UHD,8K,best quality,realistic,1girl,
最终生成图片对比,效果杠杠滴~
可以看到,权重0.7的时候,人的脸是正对着我们,这里比较接近原图效果,改成1的时候,就有点侧脸了,接近参考图的角度,再往后1.5的话,效果就不大好了,所以建议权重开到0.7-1之间即可。
2.2 文生图两种controlnet结合
下面是几个contrlnet案例,都是启用了2个,第一个是风格参考图,使用ip-Adapter,第二个使用深度 Depth
效果对比如下,可以看到风格确实有参考到~
现在试试建筑风格迁移效果
首图也是参考的风格图用ip-Adapter,第二图使用MLSD来限制构图,可以看到生成出来的图都会有第一张图的分隔,确实很不错。
2.3 文生图描述词+参考图
这里我们把沙发当作参考,然后提示词加上一个女孩坐在沙发上,来看看这个沙发风格是否会参考首图
还不错,虽然款式不大一样,但是确实是有参考了首图
这一组美女当参考图,让她戴上眼镜以及再加上帽子,风格还是很一致的
好了,这就是IP-Adapter的使用教程,controlnet还没有升级到1.1.4的小伙伴抓紧升级体验,controlnet真的撑起了SD的半壁江山。
上面使用的还是基于SD1.5的,另外IP-Adapter也支持最新的SDXL模型,有兴趣的可以自己体验。
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。