Stable Diffusion 系列教程 - 2 WebUI 参数详解

Stable Diffusion 的整个算法组合为: UNet + VAE + 文本编码器

UNet:就是我们大模型里的核心。

文本编码器:将我们的prompt进行encoder为算法能理解的内容(可以理解为SD外包出去的项目CLIP)。

VAE:对UNet生成的图像作后处理。

上图中红框代表的是大模型,可以通过下拉的方式来替换自己所需要的大模型。该参数控制着出图内容的基调,如真实场景、二次元或建筑模型。我们可以将其理解为拥有无数图像的数据库,根据prompt拿出一堆相关图像拼到一起生成出最终的图像。也就是说想要生成什么样的内容,就得需要一个什么样的数据库。通常,我们所使用的大模型都是在最原始的大模型SD1.5或者XL1.0上进行微调的,如dreambooth,其大小一般在2G,4G或7G不等。其存放目录如下所示:

大模型本身是自带VAE的,正常情况下蓝框只需要选择无或自动匹配即可。如果蓝框做了选择,即使用了外挂VAE,那么大模型本身的VAE就不会起作用

CLIP(Contrastive language-image pre-training):其作用是将文字和图像转化为AI能够识别的数据后再将它们一一对应。在蓝框旁边,有一个“CLIP跳过层”选项。主要作用是将CLIP模型提前停止。数值设几就代表在倒数第几层停止。通俗一点来说,CLIP模型的推理是一个添加N次提示词的内容,每添加一次,生成的内容就越接近prompt。因此这个数值可以控制prompt和生成图片的相关程度,但不会控制图像风格的变化。实际作用大不大,只能说仁者见仁,智者见智。因为有时候前向跑的过多了反而含义就错了。

以下是对文生图的部分使用说明:

提示词和反向提示词:控制着生成图片中想要的元素和不想要的元素。

采样迭代步数和采样方法:在说这个前,我们首先得明白SD的工作原理。首先,模型会生成一张完全随机的噪声图像。随后噪声预测器将生成需要剔除部分的噪声并和原始图像运算得到下一步的输出。随后不断重复这个过程,得到最终的结果。整个去噪的过程就是采样的过程,每次采样就算迭代一次,去噪的手段就是采样方法。其中采样器有以下几个:

  • 经典ODE采样器:Eular采样器:欧拉采样方法,好用却不太准确。Heun采样器:欧拉的一个更准确但更慢的版本。LMS采样器:线性多步法,与欧拉采样器速度相仿,但是更准确。
  • DPM:扩散概率模型求解器。DPM会自适应调整步长,不能保证在约定的采样步骤内完成任务,速度较慢。DPM++相对来说结果更准确,但速度更更慢。
  • 祖先采样器:名称中带有a标识的采样器都是祖先采样器。这一类采样器在每个采样步中都会向图像添加噪声,导致结果具有随机性。部分没有带a的采样器也属于祖先采样器,如Eular a,DPM2 a,DPM++2S a,DPM++2S a KARRAS,DPM++ SDE,DPM++SDE KARRAS。
  • Karras Noise Schedule:带有Karras字样的采样器,最大的特色是使用了Karras论文中的噪声计划表,主要表现是去噪的程度在开头会比较高,在接近尾声时会变小,有助于提升图像质量。
  • UniPC:统一预测矫正器。一种可以在5~10步实现高质量图像的方法。
  • DPM Adaptive:采样器不会跟着步数去收敛,会一直收敛至最好的效果。

有一个知乎大佬对采样方法做了测试得到以下结论:

  • Eular和Heun:日常训练中,只想看一看出图的内容是什么样的,相对准确且快。
  • DPM++2M KARRAS和UniPc:能够输出一张各方面均衡且高质量的图片。
  • DPM++SDE KARRAS:能够输出一张有一定随机变化的且高质量的图片。

关于采样步数的设定:不要太大也不要太小。太小则来不及把细节都画完,太大则容易在某一个地方不断的精细化导致光斑或裂缝。推荐50以下

面部修复:解决SD1.5在画人脸上的一些问题。对真人的人脸进行一定程度的调整,有效但不绝对。尤其是画特定脸时就不要开启这个面部修复了。

平铺分块:生成的图像复制多份时能够彼此无缝衔接。

高清修复:解决SD1.5无法生成像素较高的图像。除去XL1.0模型是以1024分辨率为基础的。常用的SD1.5的底模是512分辨率的,导致出图时只有接近512的像素才会得到一个比较好的效果(增大尺寸可能会导致多头多手)。高清修复采样次数如果为0,则以采样迭代步数作为实际步数。重绘幅度如果为0就代表修复后的图片不会有任何变化。对于放大算法的选择:

  • 4x-UltraSharp:基于ESRGAN做了优化模型,更适合常见的图片格式真人模型最佳选择。各方面能力出众,目前最实用,最优的选择,更贴合真实效果。
  • SwinIR 4x:使用SwinTransformer模型,拥有局部自适应的内容,更好的提取可特征,提高图像细节,保证放大图片真实感稳定训练,很全面却没有一方面超过别的算法。
  • Nearest:非常传统的归类找近似值的方法,计算新的东西和旧的东西的相似度,以最相似的内容去出图,大数据时效果好,实际一般。
  • Lanczos:把正交矩阵将原始矩阵变换为一个三对角矩阵,一种用于对称矩阵的特征值分解的算法,比起其他几种算法没有什么优势。
  • R-ESRGAN 4x+基于RealESRGAN的优化模型,针对照片效果不错。提高图像分辨率的同时,也可以增强图像的细节和纹理,并且生成的图像质量比传统方法更高。
  • R-ESRGAN 4x+ Anime6B:基于RealESRGAN的优化模型,在生成二次元图片时更加准确且高效。
  • Latent:一种基于原始图像编码图像增强算法,对其进行随机采样和重构,从而增强图像的质量、对比度和清晰度。显存消耗比较小,效果中上,且贴合提示词。
  • ESRGAN:对SRGAN关键部分网络结构、对抗损失、感知损失的增强。从这里开始就不是单纯的图像算法,进入人工智能的领域了。实测确实增加了很多看上去很真实的纹理,但是有时又会把一张图片弄得全是锯齿或怪异的纹理。可能对待处理的图片类型有要求。
  • ESRGAN 4x:它是ESRGAN算法的一种改进版本,可以将低分辨率的图像通过神经网络模型增强到4倍的分辨率,在增强图像的细节信息和保留图像质量方面有了明显的提升。
  • LDSR:潜在扩散超分辨率,效果写实,但是慢。

以下是不同高清修复算法的原理:

Text2Image页面中的Highres Upscaling:首先通过SD前半部分(给定提示词,CLIP会将提示词翻译为可理解的向量,随后喂入神经网络生成Latent结果)。不同的是不会立即进行解码,如果选择了Latent Upscaler的话,会基于Latent做Upscaling,得到另外一个Latent。再去进行解码。得到比原始输入(512×512)还大的图(1024×1024)。优势:基于Latent速度比较快,且是在SD的模型中做的Upscaling,所以会更加好的去理解prompt,对图片上下文进行处理。

Image2Image Upscaling:需要的输入有两部分:512×512的图和一段说明(指定输入为1024×1024)。首先需要用编码器将图变为Latent,随后再生成一个随即噪音,何其进行Concat(可以理解为给图像打了马赛克)。文字说明则依旧通过CLIP变为一个可理解的向量。把这两个东西同时输入到SD的后半部分就完事了。(相比于上一个算法上下文的理解会稍微弱一点,而且仅用了SD模型本身的特性来生成这张图像。)

Extra Upscaling:直接输入一张图,用通用的Upscaling算法生成一张大图。没有上下文,但更加灵活多用。

 SD UPscale Upscaling:Image2Image Upscaling的扩展版本。即通过通用的Upscaling的算法先把图像扩大一倍。随后将图像分成小块。在进行Image2Image Upscaling​​​​​​​的过程,只不过是对每一个小块做处理。最后将生成的四个小块做拼接。

提示词相关性(CFG Scale):越低越自由越放飞,越高则越严格按照prompt。太高也容易产生撕裂和光斑。推荐7~9。

Denoising strength:给一张原图,想在原图的基础上画新的图。越低则越忠于原图,越高则越放飞自我

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/211856.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【牛牛送书 | 第三期】《一本书讲透Java线程:原理与实践》带你深入JAVA多线程

目录 摘要: 多线程对于Java的意义 为什么Java工程师必须掌握多线程 Java多线程使用方式 如何学好Java多线程 参与方式🥇 摘要: 互联网的每一个角落,无论是大型电商平台的秒杀活动,社交平台的实时消息推送&#x…

1.2.启动线程的五类种方法

一.new MyThread().start() 继承Thread类创建线程类 定义一个继承Thread类的子类,并重写该类的run()方法 创建Thread子类的实例,即创建了线程对象 调用该线程对象的start()方法启动线程 二.new Thread(r).start() 实现Runnable接口创建线程类 定义R…

Qt槽函数不响应不执行的一种原因:ui提升导致重名

背景: 一个包含了组件提升的ui,有个按钮的槽函数就是不响应,于是找原因。 分析: 槽函数的对应一是通过connect函数绑定信号,二是on_XXX_signal的命名方式。界面上部件的槽函数通常是第二种。 我反复确认细节&#…

写一个程序拷贝文件

使用所学文件操作,在当前目录下放一个文件data.txt,写一个程序,将data.txt文件拷贝一份,生成data_copy.txt文件。 基本思路: 打开文件data.txt,读取数据打开文件data_copy.txt,写数据从data.t…

如何使用拼多多根据ID取商品详情 API 获取热销商品信息?

使用拼多多根据ID取商品详情 API 获取热销商品信息是一种高效且便捷的方式,可以快速获取到拼多多平台上热销商品的信息。以下是获取热销商品信息的步骤和示例代码: 一、步骤 注册成为拼多多开发者,并获取API密钥。确定要获取热销商品信息的…

张正友相机标定法原理与实现

张正友相机标定法是张正友教授1998年提出的单平面棋盘格的相机标定方法。传统标定法的标定板是需要三维的,需要非常精确,这很难制作,而张正友教授提出的方法介于传统标定法和自标定法之间,但克服了传统标定法需要的高精度标定物的缺点,而仅需使用一个打印出来的棋盘格就可…

.Faust勒索病毒解密方法|勒索病毒解决|勒索病毒恢复|数据库修复

引言: 数字时代的黑暗势力中,faust勒索病毒如幽灵般潜伏,将用户的数字珍宝变为数字枷锁。本文将深入介绍.faust勒索病毒的威胁特征,提供有效的数据恢复方法,并分享一系列预防措施,以协助您在数字战场上筑起…

kafka学习笔记--如何保证生产者数据可靠、不重复、有序

本文内容来自尚硅谷B站公开教学视频,仅做个人总结、学习、复习使用,任何对此文章的引用,应当说明源出处为尚硅谷,不得用于商业用途。 如有侵权、联系速删 视频教程链接:【尚硅谷】Kafka3.x教程(从入门到调优…

名字的漂亮度

给出一个字符串,该字符串仅由小写字母组成,定义这个字符串的“漂亮度”是其所有字母“漂亮度”的总和。 每个字母都有一个“漂亮度”,范围在1到26之间。没有任何两个不同字母拥有相同的“漂亮度”。字母忽略大小写。给出多个字符串&#xff0…

从零开发短视频电商 Low Level Client(推荐)连接OpenSearch进行CRUD

文章目录 依赖初始化客户端发起请求请求参数请求头设置超时时间设置线程数设置用户名密码结果解析节点选择器配置嗅探器整体示例问题参考 OpenSearch开发环境安装Docker和Docker-Compose两种方式 依赖 <dependency><groupId>org.elasticsearch.client</groupId…

【脚本】图片-音视频-压缩文件处理

音视频处理 一&#xff0c;图片操作1&#xff0c;转换图片格式2&#xff0c;多张图片合成视频 二&#xff0c;音频操作1&#xff0c;转换音频格式2&#xff0c;分割音频为多段3&#xff0c;合成多段音频 三&#xff0c;视频操作1&#xff0c;转换视频格式2&#xff0c;提取视频…

【Go自学版】01-基础

// 变量 var a, b, c 8, 2.3, "hello" var d float64; e : 6var A []int; var B [10]int; C : [10]int{1, 2, 3, 4} for i : 0; i < len(B); i {} for _, value : range C {} D make([]int, 3) // len 4, cap 10, 扩容方式 cap*2 E : make([]int, 4, 10) E …

掌握PyTorch数据预处理(一):让模型表现更上一层楼!!!

引言 在PyTorch中&#xff0c;数据预处理是模型训练过程中不可或缺的一环。通过精心优化数据&#xff0c;我们能够确保模型在训练时能够更高效地学习&#xff0c;从而在实际应用中达到更好的性能。今天&#xff0c;我们将深入探讨一些常用的PyTorch数据预处理技巧&#xff0c;…

C++如何通过调用ffmpeg接口对H264文件进行编码和解码

C可以通过调用FFmpeg的API来对H264文件进行编码和解码。下面是一个简单的例子。 首先需要在代码中包含FFmpeg的头文件&#xff1a; extern "C" { #include <libavcodec/avcodec.h> #include <libavformat/avformat.h> #include <libswscale/swscale…

Linux系统编程:进程间通信总结

管道 在Linux中&#xff0c;管道是一种进程间通信方式&#xff0c;它允许一个进程&#xff08;写入端&#xff09;将其输出直接连接到另一个进程&#xff08;读取端&#xff09;的输入。从本质上说&#xff0c;管道也是一种文件&#xff0c;但它又和一般的文件有所不同。 具体…

Docker部署开源分布式任务调度平台DolphinScheduler并实现远程访问办公

文章目录 前言1. 安装部署DolphinScheduler1.1 启动服务 2. 登录DolphinScheduler界面3. 安装内网穿透工具4. 配置Dolphin Scheduler公网地址5. 固定DolphinScheduler公网地址 前言 本篇教程和大家分享一下DolphinScheduler的安装部署及如何实现公网远程访问&#xff0c;结合内…

前端知识笔记(二十七)———CSS核心功能手册:从熟悉到精通

参考HTML代码 <!DOCTYPE html> <html lang"zh-CN"><head><meta charset"utf-8"><meta http-equiv"X-UA-Compatible" content"IEedge"><meta name"viewport" content"widthdevice-wi…

12.9_黑马数据结构与算法笔记Java

目录 057 多路递归 e03 杨辉三角2 thinking&#xff1a;二维数组的动态初始化&#xff1f; 057 多路递归 e03 杨辉三角3 058 链表 e01 反转单向链表1 058 链表 e01 反转单向链表2 058 链表 e01 反转单向链表3 递归 058 链表 e01 反转单向链表4 为什么是returnn1呢&…

【Cisco Packet Tracer】路由器 NAT实验

NAT的实现方式有三种&#xff0c;即静态转换Static Nat、动态转换Dynamic Nat和端口多路复用OverLoad。 静态转换是指内部本地地址一对一转换成内部全局地址&#xff0c;相当内部本地的每一台PC都绑定了一个全局地址。一般用于在内网中对外提供服务的服务器。 [3] 动态转换是指…

C++ 迭代器

迭代器 迭代器类似于指针类型&#xff0c;也提供了对对象的间接访问。 就迭代器而言&#xff0c;其对象是容器中的元素或 string 对象中的字符。 获取迭代器 容器的迭代器类型 使用作用域运算符来说明我们希望使用的类型成员&#xff1b;例&#xff1a;string::iterator it…