Stable Diffusion基础:ControlNet之细节替换

WechatIMG614.jpeg 本文继续给大家分享 Stable Diffusion 的基础能力:ControlNet之细节替换,故事的主角是 Tile。

Tile 的原意是瓦片、瓷砖。作为 ControlNet,它会对参考图进行分块,并识别出区块内的对象。如果提示词和区块内的对象匹配,它会在不改变对象定义的情况下,生成新的细节,替换之前的细节;如果提示词和区块内的对象不匹配,它会以对象为准,降低提示词的影响。

安装ControlNet

工欲善其事必先利其器,ControlNet还是先要安装好的,已经安装好的请跳过这一步。
没有安装好的小伙伴可以到文末领取!

使用方法

这个控制网络可以用于文生图、图生图,这里以“文生图”为例。

首先选择生图大模型,填写提示词。这里选择一个真实模型:realisticVisionV51 ,提示词要和参考图相匹配。

Stable Diffusion的参数一般使用默认的就可以。注意高度、宽度使用参考图的尺寸,否则可能被裁减或者变形。

重点看下 ControlNet 的设置,上传一张要提升细节的图片,图片内容和上面的提示词是匹配的。

勾选“启用”和“完美匹配像素”。

Control Type 选择 Tile,预处理器和模型会自动加载。

注意 Tile 的预处理器有三个:

(1)tile_resample 对于内容丰富的图片生图效果较好,但是和原图的颜色偏差较大。

resample 有一个名为 Down Sampling Rate 的参数,这个参数的作用是按照比例缩小参考图,降低参考图的分辨率,然后生成图片的时候就可以产生更多的细节。

(2)tile_colorfix 保持和原图的颜色一致,但背景会比较模糊。

colorfix 有一个名为 Variation 的参数, 控制每个瓦片之间的色彩变化,值越大瓦片的色彩变化越大。

(3)tile_colorfix+sharp 保持和原图的颜色一致,同时增加锐化,让线条更清晰。

colorfix+sharp 有两个参数:

Variation 控制瓦片之间的色彩变化。

Sharpness 控制锐化程度,也就是线条的清晰程度。如果感觉生成的图片比较模糊,可以加大这个值。

控制权重:降低控制权重,可以降低 ControlNet 的约束,让 Stable Diffusion 模型发挥更大的作用。

启动、结束控制步数也可以控制细节的渲染效果,可以用不同的值试试,这里就不啰嗦了。

权重为 1 时,因为原图比较简单,出现了明显的瓦片颜色不协调问题。权重为 0.3 时模型发挥了更大的作用,色彩搭配好了很多。

控制模式对 Tile 的影响很大,以提示词为主时,生成图片会明显偏向 Stable Diffusion 模型。

用途示例

修复老照片

利用 Tile 的细节生成能力, 替换图片中模糊的细节。注意这种细节不是还原,而是生成了新的细节。

慈禧太后的老照片:

上个世纪的一位老人:

改善细节

原图片的天空、草地和森林都很模糊。通过 Tile 可以让细节更清晰。

如果一次生成得到的图片还是不够清晰,可以迭代多次试试,下边的图片就是生成了3次得到的。

完善草图

可以给线稿图、涂鸦图增加一些细节,让画面看起来完成度更高。

风格转换

Tile + 不同的模型,就会有风格转换的效果,通过增大提示词引导系数、设置控制模式为以提示词为主,可以让图片更靠近模型的风格。

真实转二次元:

机车赛博朋克:

总结

通过以上这些例子,可以看到:图片的结构及相关元素主体都没有改变,变化的只有细节,也就是实现了细节的替换。

资源下载

本系列使用的模型、插件,生成的图片,都已经上传到我整理的 Stable Diffusion 绘画资源中,后续也会持续更新,如有需要,到文末添加,即可获取下载地址。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/28969.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据分离(C++)

第1题 数的变化(课程A) 查看测评数据信息 输入1个正整数a,每次打印后删除个位数,直至数字删除完。 输入格式 一行1个正整数:a,范围在[1,100000000]。 输出格式 多行整数,一个比一个短。 输入/输出例子1 输入&#…

ucos抢占式实时多任务操作系统 (RTOS)。

介绍 uCOS (也称为 μC/OS 或 Micro-Controller Operating System) 是一个开源的、可移植的、可裁剪的、抢占式实时多任务操作系统 (RTOS)。它最初由 Jean J. Labrosse 编写,并广泛用于嵌入式系统设计中。uCOS 是一个小型的 RTOS,非常适合那些需要实时性…

使用 calibre 拆分电子书合辑

文章目录 引言下载插件拆书设置封面等元信息 引言 下载电子书合辑后,想拆分为单独成册的文件 https://bookfere.com/post/603.html 教程使用 calibre 的 EpubSplit 插件,这里我跟着实践,记录在此,希望能帮助你。 本文基于 macOS …

【Android面试八股文】1. 怎么保证线程按顺序执行? 2. 如何实现线程排队 ?

文章目录 面试想考察的知识点面试问题面试场景问题 0:在多线程编程中,有没有办法保证线程按照特定的顺序执行?问题 1:假设有A、B两个线程,B线程需要在A线程执行完成之后执行问题 2:假设有A、B两个线程,其中A线程中执行分为3步,需要在A线程执行完成第二步之后再继续执行…

SQL server 内连接 左连接 右连接 全连接 语句

在SQL Server中,连接(JOIN)操作用于从两个或多个表中检索相关数据。内连接、左连接、右连接和全连接是最常用的几种连接类型。下面详细介绍每种连接的用法和区别: 1. 内连接 (INNER JOIN) 内连接只返回两个表中满足连接条件的匹…

算法:11. 盛最多水的容器

11. 盛最多水的容器 给定一个长度为 n 的整数数组 height 。有 n 条垂线,第 i 条线的两个端点是 (i, 0) 和 (i, height[i]) 。 找出其中的两条线,使得它们与 x 轴共同构成的容器可以容纳最多的水。 返回容器可以储存的最大水量。 说明:你…

山东大学软件学院深度学习期末回忆版

(大数据,2021级,老师是gys和cm,贝多芬,但是略微会有10% 的考试内容不在背诵范围内,看个人理解) 一、名词解释(8 * 3 24) 1、超参数 2、梯度确认 3、分布式表示 4、共现矩阵 5、Attention机制…

Windows采用txt和bat来一次性建立多个文件夹

前言 最近工作需要一次性建立多个文件夹,方便保存不同的数据,所以在网上搜了搜方法,方法还挺多的,这里只是给出流程最简洁、最适合自己的方法,供自己日后回顾,如果大家想学习更多方法可以百度一下。 方法…

Ubuntu系统的使用基本教程

引言 Ubuntu是基于Linux内核的开源操作系统,以其稳定性、安全性和易用性赢得了广泛的用户群体。无论是作为服务器操作系统,还是作为个人桌面系统,Ubuntu都表现出色。本文将详细介绍Ubuntu系统的基本使用方法,包括系统安装、基本配…

清远mes管理系统助力企业降本增效

清远MES管理系统可以帮助企业降本增效的方式包括但不限于以下几个方面: 生产过程优化:清远MES系统可以实时监控生产过程中的各个环节,包括设备状态、生产进度、质量指标等,帮助企业管理人员及时了解生产情况并做出相应的调整和控制…

APP Android

APP Android 安卓源生应用程序 APP IOS-CSDN博客 05.04 06:11Testing

【运维项目经历|033】高性能LBC负载均衡集群优化项目

🍁博主简介: 🏅云计算领域优质创作者 🏅2022年CSDN新星计划python赛道第一名 🏅2022年CSDN原力计划优质作者 🏅阿里云ACE认证高级工程师 🏅阿里云开发者社区专家博主 💊交流社区:CSDN云计算交流社区欢迎您的加入! 目…

golang HTTP2 https测试POST变GET问题小记

概述 因为工作需要协助修改某个golang程序,添加双向认证。但是在调整的过程遇到一个HTTP POST请求变成GET诡异的问题,最后各种搜索,总算解决,博文记录,用于备忘。 代码 服务端 因工作内容,代码有删减&a…

Android_Android Studio 常用快捷键 for mac

功能快捷键运行ctrl R优化importctrl opt O格式化opt cmd L自动修正opt enter自动补齐cmd J自动生成代码cmd N搜索使用到的地方fn opt F7 ( cmd)搜索使用到的地方2shift cmd F搜索类cmd O当前文件搜索cmd F全局搜索按两下 shift搜索文件shift cmd O搜索符号opt…

C#反射机制介绍

文章目录 简介一、什么是反射二、反射的用途三、反射用到的命名空间及主要类四、Type类五、Assembly类六、使用反射实现上面的程序七、反射的优缺点 简介 这篇文章介绍了C#的反射机制,文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值&a…

2024北京智源大会

北京智源大会是年度国际性人工智能高端学术交流的盛会,定位于内行的AI盛会。智源大会紧密围绕当前人工智能学术领域迫切需要解决的问题,以及产业落地过程中存在的诸多挑战,开展深入探讨。智源研究院是2018年11月份成立的一家人工智能领域的新…

Nginx 重启失败nginx: [alert] kill(3259, 1) failed (3: No such process)

Nginx 重启失败 问题描述 // 在nginx的sbin 目录下重启nginx 报以下异常 [root192 sbin]# ./nginx -s reload nginx: [alert] kill(3259, 1) failed (3: No such process)问题解决 1,说是找不到nginx的配置文件 2,需要重新加载下nginx的配置文件即可命…

JAVA 根据提供的本地class路径转换为class对象

JAVA 根据提供的本地class路径转换为class对象 我们通过读取文件的字节并使用自定义的defineClass方法来加载Class对象。 在main方法中,我们创建了一个ConvertToClassObject对象并调用loadClassFromFile方法来加载Class对象。 这种方法直接读取本地文件的字节码来…

【单元测试】测试用例编写

在你想要了解如何编写单元测试的时候,想必对于单元测试的概念和重要性都已经有了比较充足的了解。 本篇不讲概念、不说废话,仅展示一些单元测试编写的技巧和方法,希望能够帮助大家实际用起来。 计划做一个单元测试的专栏,后续补充…

一文详解选择低代码开发平台的六大理由

在当今快节奏的数字时代,企业需要快速开发和部署应用程序以保持竞争力。传统编程方式耗时较长,且需要大量人力和物力投入。因此,低代码开发平台应运而生,它可以帮助企业快速构建应用程序,提高生产力。本文将为您阐述选…