Stable Diffusion基础:ControlNet之细节替换

WechatIMG614.jpeg 本文继续给大家分享 Stable Diffusion 的基础能力:ControlNet之细节替换,故事的主角是 Tile。

Tile 的原意是瓦片、瓷砖。作为 ControlNet,它会对参考图进行分块,并识别出区块内的对象。如果提示词和区块内的对象匹配,它会在不改变对象定义的情况下,生成新的细节,替换之前的细节;如果提示词和区块内的对象不匹配,它会以对象为准,降低提示词的影响。

安装ControlNet

工欲善其事必先利其器,ControlNet还是先要安装好的,已经安装好的请跳过这一步。
没有安装好的小伙伴可以到文末领取!

使用方法

这个控制网络可以用于文生图、图生图,这里以“文生图”为例。

首先选择生图大模型,填写提示词。这里选择一个真实模型:realisticVisionV51 ,提示词要和参考图相匹配。

Stable Diffusion的参数一般使用默认的就可以。注意高度、宽度使用参考图的尺寸,否则可能被裁减或者变形。

重点看下 ControlNet 的设置,上传一张要提升细节的图片,图片内容和上面的提示词是匹配的。

勾选“启用”和“完美匹配像素”。

Control Type 选择 Tile,预处理器和模型会自动加载。

注意 Tile 的预处理器有三个:

(1)tile_resample 对于内容丰富的图片生图效果较好,但是和原图的颜色偏差较大。

resample 有一个名为 Down Sampling Rate 的参数,这个参数的作用是按照比例缩小参考图,降低参考图的分辨率,然后生成图片的时候就可以产生更多的细节。

(2)tile_colorfix 保持和原图的颜色一致,但背景会比较模糊。

colorfix 有一个名为 Variation 的参数, 控制每个瓦片之间的色彩变化,值越大瓦片的色彩变化越大。

(3)tile_colorfix+sharp 保持和原图的颜色一致,同时增加锐化,让线条更清晰。

colorfix+sharp 有两个参数:

Variation 控制瓦片之间的色彩变化。

Sharpness 控制锐化程度,也就是线条的清晰程度。如果感觉生成的图片比较模糊,可以加大这个值。

控制权重:降低控制权重,可以降低 ControlNet 的约束,让 Stable Diffusion 模型发挥更大的作用。

启动、结束控制步数也可以控制细节的渲染效果,可以用不同的值试试,这里就不啰嗦了。

权重为 1 时,因为原图比较简单,出现了明显的瓦片颜色不协调问题。权重为 0.3 时模型发挥了更大的作用,色彩搭配好了很多。

控制模式对 Tile 的影响很大,以提示词为主时,生成图片会明显偏向 Stable Diffusion 模型。

用途示例

修复老照片

利用 Tile 的细节生成能力, 替换图片中模糊的细节。注意这种细节不是还原,而是生成了新的细节。

慈禧太后的老照片:

上个世纪的一位老人:

改善细节

原图片的天空、草地和森林都很模糊。通过 Tile 可以让细节更清晰。

如果一次生成得到的图片还是不够清晰,可以迭代多次试试,下边的图片就是生成了3次得到的。

完善草图

可以给线稿图、涂鸦图增加一些细节,让画面看起来完成度更高。

风格转换

Tile + 不同的模型,就会有风格转换的效果,通过增大提示词引导系数、设置控制模式为以提示词为主,可以让图片更靠近模型的风格。

真实转二次元:

机车赛博朋克:

总结

通过以上这些例子,可以看到:图片的结构及相关元素主体都没有改变,变化的只有细节,也就是实现了细节的替换。

资源下载

本系列使用的模型、插件,生成的图片,都已经上传到我整理的 Stable Diffusion 绘画资源中,后续也会持续更新,如有需要,到文末添加,即可获取下载地址。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/28969.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ucos抢占式实时多任务操作系统 (RTOS)。

介绍 uCOS (也称为 μC/OS 或 Micro-Controller Operating System) 是一个开源的、可移植的、可裁剪的、抢占式实时多任务操作系统 (RTOS)。它最初由 Jean J. Labrosse 编写,并广泛用于嵌入式系统设计中。uCOS 是一个小型的 RTOS,非常适合那些需要实时性…

使用 calibre 拆分电子书合辑

文章目录 引言下载插件拆书设置封面等元信息 引言 下载电子书合辑后,想拆分为单独成册的文件 https://bookfere.com/post/603.html 教程使用 calibre 的 EpubSplit 插件,这里我跟着实践,记录在此,希望能帮助你。 本文基于 macOS …

算法:11. 盛最多水的容器

11. 盛最多水的容器 给定一个长度为 n 的整数数组 height 。有 n 条垂线,第 i 条线的两个端点是 (i, 0) 和 (i, height[i]) 。 找出其中的两条线,使得它们与 x 轴共同构成的容器可以容纳最多的水。 返回容器可以储存的最大水量。 说明:你…

Windows采用txt和bat来一次性建立多个文件夹

前言 最近工作需要一次性建立多个文件夹,方便保存不同的数据,所以在网上搜了搜方法,方法还挺多的,这里只是给出流程最简洁、最适合自己的方法,供自己日后回顾,如果大家想学习更多方法可以百度一下。 方法…

清远mes管理系统助力企业降本增效

清远MES管理系统可以帮助企业降本增效的方式包括但不限于以下几个方面: 生产过程优化:清远MES系统可以实时监控生产过程中的各个环节,包括设备状态、生产进度、质量指标等,帮助企业管理人员及时了解生产情况并做出相应的调整和控制…

APP Android

APP Android 安卓源生应用程序 APP IOS-CSDN博客 05.04 06:11Testing

C#反射机制介绍

文章目录 简介一、什么是反射二、反射的用途三、反射用到的命名空间及主要类四、Type类五、Assembly类六、使用反射实现上面的程序七、反射的优缺点 简介 这篇文章介绍了C#的反射机制,文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值&a…

2024北京智源大会

北京智源大会是年度国际性人工智能高端学术交流的盛会,定位于内行的AI盛会。智源大会紧密围绕当前人工智能学术领域迫切需要解决的问题,以及产业落地过程中存在的诸多挑战,开展深入探讨。智源研究院是2018年11月份成立的一家人工智能领域的新…

oracle发送http请求

UTL_HTTP包让SQL和PLSQL能够调用超文本传输协议(HTTP),也就是说可以使用它在Internet上访问数据。 当包用HTTPS从Web site获取数据时,要使用Oracle Wallet,它是由Oracle Wallet Manager或者orapki utility创建。非HTT…

Web应用安全测试-防护功能缺失

Web应用安全测试-防护功能缺失 1、Cookie属性问题 漏洞描述: Cookie属性缺乏相关的安全属性,如Secure属性、HttpOnly属性、Domain属性、Path属性、Expires属性等。 测试方法: 通过用web扫描工具进行对网站的扫描,如果存在相关…

TCP协议为啥会有三次挥手(close、shutdown)

一、前言 使用wireshrak抓包的时候,发现有的TCP断开连接,有的是三次挥手、有的是四次挥手,本文将带领带领大家一探究竟。 1. 四次挥手: 四次挥手流程回顾 第一次挥手: 主动关闭的一方(客户端或服务器&…

算法安全自评估报告如何填写?(附模板)

之前,众森企服给大家讲过办理互联网信息服务算法备案有三部分组成:主体备案、算法备案和产品备案。 主体备案主要审查的就是一家主体公司是否有算法相应的规章制度,里面最主要的就是算法安全管理制度。 算法备案主要审查的就是算法本身的情…

【春秋云镜】Faculty Evaluation System未授权任意文件上传漏洞(CVE-2023-33440)

因为该靶场没有Write up,索性自己搞一下,方便别人,快乐自己! 漏洞概述: Sourcecodester Faculty Evaluation System v1.0 is vulnerable to arbitrary code execution via /eval/ajax.php?actionsave_user. 漏洞复现&#xff…

49.Chome浏览器有三种清缓存方式

49.Chome浏览器有三种清缓存方式:正常重新加载、硬件重新加载、清空缓存并硬性重新加载 1、【正常重新加载】 触发方式:①F5  ②CtrlR  ③在地址栏上回车  ④点击链接 如果缓存不过期会使用缓存。这样浏览器可以避免重新下载JavaScript文件、图像、…

【吉林大学Java程序设计】第8章:IO流

第8章:IO流 1.流与相关类1.1 流的概念1.2 File类1.3 字节流及其方法1.4 字符流及其方法1.5 其他IO流(1)节点流(2)处理流(过滤流)(3)文件流基于字节的文件流基于节符的文件…

Shell脚本(.sh文件)如何执行完毕之后不自动关闭?

Shell脚本异常傲娇,出错后、执行完根本不给你机会让你查看报错信息、输出信息,直接闪退。 废话不多说,调教方法如下,直接在Shell脚本末尾加上如下代码: 1、实现方式一 1.1 使用read命令达到类似bat中的pause命令效果…

深度解析响应式异步编程模型

上一篇文章中我们聊了一下线程池,基于线程池的多线程编程是我们在高并发场景下提升系统处理效率的有效手段,但却不是唯一的。今天我们来看一下另一种异步开发的常用手段-响应式编程模型 传统多线程模型的缺陷 多线程模型是目前应用最为广泛的并发编程手段,但凡遇到什么性能…

语义分割——mmsegmentation框架使用

目录 1.mmsegmentation简介 2.mmsegmentation安装 3.mmsegmentation使用(代码结构介绍) 4.mmsegmentation使用实战(deeplab v3为例) 4.1配置 4.2训练: 4.3预测: 1.mmsegmentation简介 mmsegmentatio…

RAG系列之:深入浅出 Embedding

RAG系列之:深入浅出 Embedding 什么是文本向量化? 文本向量化就是将文本数据转成数字数据,例如:将文本 It was the best of times, it was the worst of times. 转成 [0, 1, 0, 2, 2, 2, 2, 2, 0, 1]。 为什么要进行文本向量化…

FinalShell 连接虚拟机超时,主机ping不通虚拟机,解决

出现问题: 连接主机...java.net.ConnectException: Connection timed out: connect 在排查错误时发现: 虚拟机内能互相ping通,虚拟机能ping通主机 但是主机的cmd命令ping不通虚拟机 问题原因: 虚拟机内能互相ping通&#xff0…