【深度学习】Stable Diffusion中的Hires. fix是什么?Hires. fix原理

文章目录

  • **Hires. fix**
  • **Extra noise**
  • Upscalers

Hires. fix

https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features#hires-fix

提供了一个方便的选项,可以部分地以较低分辨率呈现图像,然后将其放大,最后在高分辨率下添加细节。换句话说,这相当于在txt2img中生成图像,通过自己选择的方法将其放大,然后在img2img中对现在已经放大的图像进行第二次处理,以进一步完善放大效果并创建最终结果。

默认情况下,基于SD1/2的模型在非常高的分辨率下生成的图像质量很差,因为这些模型只是在512px或768px的分辨率下进行训练的。通过在denoising过程中利用小图像的构图,这种方法可以避免这个问题。通过在txt2img页面上选中“Hires. fix”复选框来启用此功能。

在这里插入图片描述

小图的分辨率由使用宽度/高度滑块设置。大图的尺寸由三个滑块控制:“按比例缩放”乘数(高分辨率放大),“调整宽度至”和/或“调整高度至”(高分辨率调整)。

如果“调整宽度至”和“调整高度至”都为0,则使用“按比例缩放”。
如果“调整宽度至”为0,则从宽度和高度计算“调整高度至”。
如果“调整高度至”为0,则从宽度和高度计算“调整宽度至”。
如果“调整宽度至”和“调整高度至”都不为零,则图像将放大至至少这些尺寸,并裁剪部分区域。

在旧版本的webui中,最终的宽度和高度需要手动输入(上述最后一个选项)。在新版本中,默认是使用“按比例缩放”因子,这是默认和首选的设置。

要可能进一步增强hires.fix中的细节,请参阅有关Extra noise的注释。

Extra noise

通过设置中的额外噪音乘数为img2img和hires fix,默认为0,从随机种子添加额外噪音。在版本1.6.0中通过#12564实现,可在设置中找到img2img -> Extra noise multiplier for img2img和hires fix。正如在用户界面中所指出的,该参数应始终低于用于获得最佳结果的去噪强度。

这种调整的一个目的是在hires fix中添加额外的细节。对于一个非常简化的理解,你可以将其视为GAN放大和潜在放大的交叉。

下面的示例是一个应用了hires fix的512x512图像,使用GAN放大器(4x-UltraSharp),去噪强度为0.45。右侧的图像使用了这个额外噪音调整。

在这里插入图片描述
请注意,许多月前实施的先前设置(img2img的噪声乘数)在技术上实现了相同的效果,但正如名称中所指出的,它仅适用于img2img(而不是hires.fix),并且由于实施它时非常敏感,实际上只在1到1.1的范围内有用。对于几乎所有操作,建议使用新的额外噪音参数。

对于开发人员,还存在一个回调函数(on_extra_noise)。以下是一个使用示例,使添加噪音的区域可屏蔽。https://gist.github.com/catboxanon/69ce64e0389fa803d26dc59bb444af53

Upscalers

一个下拉菜单允许您选择用于调整图像大小的放大器类型。除了在附加选项卡上提供的所有放大器外,还有一种选项可以对潜在空间图像进行放大,这是稳定扩散内部使用的方式 - 对于一个3x512x512的RGB图像,其潜在空间表示将是4x64x64。要查看每个潜在空间放大器的效果,您可以将去噪强度设置为0,将Hires步骤设置为1 - 您将得到一个非常好的近似,即稳定扩散在放大图像上的工作方式。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/198249.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【数电笔记】16-卡诺图绘制(逻辑函数的卡诺图化简)

目录 说明: 最小项卡诺图的组成 1. 相邻最小项 2. 卡诺图的组成 2.1 二变量卡诺图 2.2 三表变量卡诺图 2.3 四变量卡诺图 3. 卡诺图中的相邻项(几何相邻) 说明: 笔记配套视频来源:B站;本系列笔记并…

文献速递:(第三部分)— (超声非破坏性评估中合成和增强训练数据生成与评估的最新研究进展)

文献速递:(第三部分)— (超声非破坏性评估中合成和增强训练数据生成与评估的最新研究进展) Title 题目 A review of synthetic and augmented training data for machine learning in ultrasonic non-destructive e…

iOS17桌面待办事项提醒小组件,让的iPhone变身提醒神器

在现代社会,每天都有太多的事情需要处理,而我经常发现自己在繁忙中遗漏一些重要的事项。曾经,我每次都要在纸上记下要做的事情,可事后发现,这也没能解决我的忘性问题。 直到我尝试了一个新的方式,我的iPho…

韵达单号查询,韵达快递查询,用表格导出单号的详细物流信息

批量查询韵达快递单号的物流信息,并以表格的形式导出单号的详细物流信息。 所需工具: 一个【快递批量查询高手】软件 韵达快递单号若干 操作步骤: 步骤1:运行【快递批量查询高手】软件,第一次使用的伙伴记得先注册&…

DCMTK 目录结构

DCMTK 目录结构 经过编译后的DCMTK包含许多文件,在使用的时候我们需要将这些文件包含到对应的项目中,源码编译得到的文件如下: 如果你还没有成功编译,可以参考 dcmtk编译失败后的解决思路(附带编译后文件下载&#x…

【生物医学信号处理及其MATLAB应用】Chapter 1 生物医学信号概述

Chapter 1 生物医学信号概述 第一章 生物医学信号概述一、信号二、生物医学信号三、生物医学信号处理的内容三、处理生物医学信号的目的 第一章 生物医学信号概述 一、信号 ​ 信号:携带信息的物理量 ​ 来自于真实世界的信号各不相同,但大致可分为四…

【Linux】编译器-gcc/g++与调试器-gdb的使用

👀樊梓慕:个人主页 🎥个人专栏:《C语言》《数据结构》《蓝桥杯试题》《LeetCode刷题笔记》《实训项目》《C》《Linux》 🌝每一个不曾起舞的日子,都是对生命的辜负 目录 前言 1.gcc/g语法 2.gcc的使用及…

【教程】苹果推送证书的创建和使用流程详解

​ 摘要 本篇博客主要介绍了苹果推送证书的使用流程。首先,在苹果开发者中心创建推送证书,然后在应用程序中使用该证书进行消息推送。文章详细说明了创建推送证书的步骤,并提供了在应用程序中注册推送服务、发送推送消息以及处理推送消息的相…

Databend 开源周报第 122 期

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。 Whats On In Databend 探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。 支持链式函数调…

PWN学习之LLVM入门

一、基本流程 ①找到runOnFunction函数时如何重写的,一般来说runOnFunction都会在函数表最下面,找PASS注册的名称,一般会在README文件中给出,若是没有给出,可通过对__cxa_atexit函数"交叉引用"来定位: ②通…

GEE:Sobel算子卷积和Roberts算子卷积对比

作者:CSDN @ _养乐多_ 本文介绍了Sobel算子卷积和Roberts算子卷积操作的代码,并进行了图像对比,可以观察到两个算子的细微差异。 文章目录 一、Sobel算子和Roberts算子对比二、完整代码三、代码链接一、Sobel算子和Roberts算子对比 详细介绍介绍参考《遥感数字图像处理教程…

MySQL笔记-第03章_基本的SELECT语句

视频链接:【MySQL数据库入门到大牛,mysql安装到优化,百科全书级,全网天花板】 文章目录 第03章_基本的SELECT语句1. SQL概述1.1 SQL背景知识1.2 SQL语言排行榜1.3 SQL 分类 2. SQL语言的规则与规范2.1 基本规则2.2 SQL大小写规范 …

算法-02-排序-冒泡插入选择排序

一般最经典的、最常用的:冒泡排序、插入排序、选择排序、归并排序、快速排序、计数排序、基数排序、桶排序。那么我们如何分析一个"排序算法"呢? 1-分析排序算法要点 时间复杂度:具体是指最好情况、最坏情况、平均情况下的时间复杂…

算法-滑动窗口

一、滑动窗口思想 概念 在数组双指针里,我们介绍过 "对撞型" 和 "快慢型" 两种方式,而滑动窗口思想就是快慢型的特例。 实际使用 计算机网络中有滑动窗口协议(Sliding Window Protocol),该协议…

10、pytest通过assert进行断言

官方实例 # content of test_assert1.pydef f():return 3def test_function():assert f() 4def test_assert_desc():a f()# assert a % 2 0assert a % 2 0, "value was odd, should be even"解读与实操 pytest允许你使用标准python断言来验证测试中的期望和值&…

NodeJS(二):npm包管理工具、yarn、npx、pnpm工具等

目录 (一)npm包管理工具 1.了解npm 2.npm的配置文件 常见的配置属性 scripts属性*** 依赖的版本管理 3.npm安装包的细节 4.package-lock文件 5.npm install原理** 6.npm的其他命令 (二) 其他包管理工具 1.yarn工具 基本指令 2.cnpm工具 3.npx工具 (1)执行本地…

SAP中的新旧事务码

SAP中的新旧事务码 SAP随着新版本的发布,我们知道sap已经更新了很多的程序和TCODE。sap提供了很多新的TCODE来替换旧的TCODE,新TCODE有很多的新特性和新功能。在这个这种情况下,很多旧TCODE就会被废弃。我们如何查找这个替换呢? …

state_dict使用详解

在PyTorch中,state_dict是一个非常重要的概念,它是一个包含模型参数的字典对象。每个模型的state_dict都包含了该模型的所有参数(权重和偏置等),用于在训练和推理过程中重现模型的内部状态. pytorch 中的 state_dict 是…

MySQL-含json字段表和与不含json字段表查询性能对比

含json字段表和与不含json字段表查询性能对比 说明: EP_USER_PICTURE_INFO_2:不含json字段表 20200729json_test:含有json字段表 其中20200729json_test 标准ID、MANAGER_NO、PHONE_NO 为非json字段 data为json字段 2个表中MANAGER_NO、PHONE_NO都创建了各自的索引 测试…

CUDA简介, 配置和运行第一个CUDA程序(Windows和Linux)

CUDA简介 CUDA(Compute Unified Device Architecture)是由NVIDIA开发的一种通用并行计算架构。CUDA允许程序员利用NVIDIA GPU的并行计算能力,加速各种计算密集型应用程序。 CUDA技术基于GPU的并行计算原理。传统的CPU处理器拥有少量的核心&…