Ai绘画有一个很现实的问题,要保证每次画出的都是同一个人物的话,很费劲。
Midjourney就不必说了,人物的高度一致性一直得不到很好的解决。而在Stable Diffusion(SD)中,常用办法是通过同一个Seed值(种子值),或者通过训练同一个人物的高质量Lora去控制。
Seed值控制虽然可大体达到目的,但是画出的人物姿态也高度趋同,而且稍微改变描述就会画出另外一个人来,而训练「高质量」模型则更费时费力。
直到最近SD的Controlnet插件推出了Reference only功能,这个问题才得到较好的改善。
一张稳定的人脸,配合不同的场景和动作,意味着角色人设可以得到继承和发挥。如应用到连贯的绘画场景中,例如漫画、虚拟角色设计等领域,意味着提高产能的可行性。
先看看效果。下面是SD画出的一张动漫人物参考图。
我们通过Reference Only功能,基于参考图去生成新的图片,大致效果如下(点击可看大图):
可以看到,在改变了姿势、场景、构图之后,人物的脸部特征,包括发型,仍然得到很好的保留,维持了高度统一的形象。
同时也留意到,人物服装只是部分相同。这个时候,如果要保持一致性,应该通过更详细的Tag描述去控制,具体指定服装的颜色、样式和风格等。
换个「真人」图看看。下图是SD画的参考图:
修改描述词后,通过Reference Only生成新的图片例:
以看到,“真人”效果和动漫人物效果结论相近,而且即使变换底模(大模型),人物脸部仍然可以得到很好的继承。
需要指出的是,在测试过程中发现:
1.并不是所有底模,都可以跟Reference only契合得很好,个别模型在成像过程中,有时候会出现色彩走样。
2.一些底模结合Reference only绘图时,并不总是支持多动作、多场景、多视角变换,个别场景很难被画出,例如,要把背景换成“大海”,即使“大海”的权重再高,也是无法实现,不知是何原因。
无论如何,Reference only可免去训练高质量模型即可保持人物一致,算是一个较大进步,如果下个版本可以解决上述2个问题,相信可以更好地赋能内容生产领域。
Reference only目前一共有3个预处理器可用,分别为:
Reference only:绘制与参考图类似的风格和脸部;
Reference adain:自适应规范,会更偏向于使用的模型,结果可能偏离参考图;
Reference adain+attn:结合了上述两种。
具体的安装使用方法如下:
整合包安装
-
下载解压秋叶大佬的整合包
2. 安装依赖
3.启动A绘世启动器
4.一键启动
5. 启动成功自动弹出页面
若弹出Stable Diffusion WebUI界面,则表示启动成功。
生成第一张图
选择模型,填写正反向提示词,配置参数,启动。详细介绍请看下一篇文章
2.建议在SD中生成参考图,并将参考图上传到Controlnet的图片作业区域,如下图界面:
3.勾选启用Controlnet,选择Reference only三个预处理器中的一个,并将Style Fidelity值设置为1,如下:
4.基于参考图的描述词生成图片即可,如需变换场景或细节例如发型等,可在正面提示词中调整,不会影响人脸继承。
最后
AIGC(AI Generated Content)技术,即人工智能生成内容的技术,具有非常广阔的发展前景。随着技术的不断进步,AIGC的应用范围和影响力都将显著扩大。以下是一些关于AIGC技术发展前景的预测和展望:
1、AIGC技术将使得内容创造过程更加自动化,包括文章、报告、音乐、艺术作品等。这将极大地提高内容生产的效率,降低成本。2、在游戏、电影和虚拟现实等领域,AIGC技术将能够创造更加丰富和沉浸式的体验,推动娱乐产业的创新。3、AIGC技术可以帮助设计师和创意工作者快速生成和迭代设计理念,提高创意过程的效率。
未来,AIGC技术将持续提升,同时也将与人工智能技术深度融合,在更多领域得到广泛应用。感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程。
对于从来没有接触过AI绘画的同学,我已经帮你们准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。
AIGC学习必备工具和学习步骤
工具都帮大家整理好了,安装就可直接上手
还有一些已经总结好的学习笔记,可以学到不一样的思路。
我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,科学有趣才能更方便的学习下去。
实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
而新时代随着AI流行,如果不更紧AI新时代时代只会被落后,想要学习或者尝试的伙伴可以点击下方二维码,即可前往免费领取!