【SD】 Stable Diffusion(SD)原理详解与ComfyUI使用 2

Stable Diffusion(SD)原理详解与ComfyUI使用

      • Stable Diffusion(SD)原理详解与ComfyUI使用
        • 1. SD整体结构
        • 2. Clip(文本编码器)
        • 3. Unit(生成模型)
        • 4. VAE(变分自编码器)
        • 5. 整体工作流程
        • 6. ComfyUI低显存生成图片
        • 7. 总结

Stable Diffusion(SD)原理详解与ComfyUI使用

在这里插入图片描述

1. SD整体结构
  • 输入:文本和随机变量(Latent Vector)
  • 输出:图片
  • 核心:由三个模型组成
    1. 文本编码器(Clip)
    2. 生成模型(Unit)
    3. 变分自编码器(VAE)
2. Clip(文本编码器)
  • 专为SD设计的文本编码器
  • 训练步骤:
    1. 有限制性预训练:使用图片和文本描述的数据集,训练文本编码器和图片编码器,使输出向量尽可能接近。
    2. 进一步训练:使用物体名称和描述,训练文本编码器解码能力。
3. Unit(生成模型)
  • 功能:加噪和降噪过程
  • 过程:将图片经过VAE编码器处理,生成与Latent Vector相同大小的图片,然后通过加噪和降噪生成中间结果。
4. VAE(变分自编码器)
  • 功能:降维和升维
  • 过程:
    1. 编码器将图片转换为较小的表示
    2. 解码器将较小的表示还原为原图大小
  • 优点:无需标签,可以从噪声中生成图片
5. 整体工作流程
  1. 文本通过Clip编码成向量
  2. 向量和Latent Vector一起输入到Unit
  3. Unit进行降噪处理,生成中间结果
  4. 中间结果通过VAE解码器还原为最终图片
6. ComfyUI低显存生成图片
  • 利用SD原理,ComfyUI可以在低显存条件下生成高质量图片
  • 通过理解SD的各个部件和工作流程,可以更好地使用ComfyUI
7. 总结
  • SD通过结合文本编码器、生成模型和变分自编码器,实现了从文本到图片的生成
  • ComfyUI利用SD原理,提供了一种在资源受限条件下生成图片的方法
  • 理解SD的架构和组件对于有效使用ComfyUI至关重要

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/874102.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Electron 结合 Selenium + chromedriver 驱动服务实现浏览器多开

背景 在调研浏览器多开的过程中,electron 有自带的 browserview,webview,但是上面两个受制于 electron 内核版本限制,升级不够灵活,对新版的网页支持可能不及时,甚至不兼容,必须通过发布新的客…

学习JavaScript第二天

文章目录 1.运算符(操作符)1.1运算符的分类1.2算数运算符1.3递增和递减运算符1.4比较运算符1.5逻辑运算符 2.选择结构2.1if语句2.1.1语法2.1.2案例1:判断闰年 2.2switch语句2.2.1语法2.2.2案例2:选择要进行的操作 3.循环结构3.1while循环3.1.1语法3.1.2案…

redis的学习(一):下载安装启动连接

简介 redis的下载,安装,启动,连接使用 nosql nosql,即非关系型数据库,和传统的关系型数据库的对比: sqlnosql数据结构结构化非结构化数据关联关联的非关联的查询方式sql查询非sql查询事务特性acidbase存…

使用Java实现分布式锁

使用Java实现分布式锁 大家好,我是微赚淘客系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿!在这篇文章中,我将详细介绍如何使用Java实现分布式锁,并结合实际代码示例,帮助大家更好地理解…

新版SpringSecurity5.x使用与配置

目录 一、了解SpringSecurity 1.1 什么是Spring Security? 1.2 Spring Security功能 1.3 Spring Security原理 1.4 RABC (Role-Based Access Control) 二、SpringSecurity简单案例 2.1 引入SpringSecurity依赖 2.2 创建一个简单的Controller 三、SpringSecu…

人工智能:改变我们日常生活的无形力量

简介 在21世纪的今天,人工智能(AI)已经不再是科幻小说中的幻想,而是我们日常生活中不可或缺的一部分。从智能手机的语音助手到自动驾驶汽车,AI正在以前所未有的速度和规模影响着我们的工作和生活方式。 AI在日常生活…

8.持久化

队列和消息都可以持久化。 持久化的目的就是让消息不丢失。 RabbitMQ本身退出,或者由于某种原因崩溃时造成的消息丢失。 RabbitMQ一旦宕机,就会造成队列和消息都丢失了。 RabbitMQ重启之后,非持久化的队列和消息都不存在了。 队列持久化…

C++:CLI11命令行分析工具

CLI11是一个比较方便的命令行分析工具 源码位于:GitHub - CLIUtils/CLI11: CLI11 is a command line parser for C++11 and beyond that provides a rich feature set with a simple and intuitive interface. 不需要安装,有两种方式导入: 1.创建目录/usr/include/CLI,然…

数据结构 —— B树

数据结构 —— B树 B树B树的插入操作分裂孩子分裂父亲分裂 我们之前学过了各种各样的树,二叉树,搜索二叉树,平衡二叉树,红黑树等等等等,其中平衡二叉树和红黑树都是控制树的高度来控制查找次数。 但是,这都…

C语言:数组-学习笔记(万字笔记)——翻新版

目录 前言: 1、 数组的概念 1.1 什么是数组 1.2 为什么学习数组? 2. ⼀维数组的创建和初始化 2.1 数组创建 2.2 数组的初始化 2.3 数组的类型 2.3.1 什么是数组类型? 2.3.2 数组类型的作用 3、 一维数组的使用 3.1 数组下标 3.2 数…

LC-617-合并二叉树

文章目录 1 题目描述2 思路优化代码完整输入输出 参考 1 题目描述 https://leetcode.cn/problems/merge-two-binary-trees/description/ 给你两棵二叉树: root1 和 root2 。 将其中一棵覆盖到另一棵之上时,两棵树上的一些节点将会重叠(而另…

用ComfyUI安装可图Kolors大模型做手机壁纸

一、Kolors简介 国内科技公司快手在人工智能领域取得了显著进展,特别推出了「可图 Kolors」这一开源模型,它在图像生成质量上超越了SD3,与Midjourney v6模型相媲美,并支持中文提示词识别与生成中文字符,成为国产AI绘画…

Windows图形界面(GUI)-DLG-C/C++ - 日期时间控件(DateTimePicker)

公开视频 -> 链接点击跳转公开课程博客首页 -> e​​​​​​链接点击跳转博客主页 目录 日期时间控件(DateTimePicker) 使用场景 消息处理 示例代码 日期时间控件(DateTimePicker) 使用场景 表单中需要用户输入日期或时间的地方,如旅行预订、预约系统等…

实习手计(3):前端菜鸟碎碎念

也是顺利熬过三周,感觉时间还蛮快的,但是感觉人变懒散了啊啊啊~本周的周报都没写,每天的学习计划也没完成。本来就菜,再这么懒和拖延怎么办!!!这周总的来说活不太多呢(挺好的&#x…

XMl基本操作

引言 使⽤Mybatis的注解⽅式,主要是来完成⼀些简单的增删改查功能. 如果需要实现复杂的SQL功能,建议使⽤XML来配置映射语句,也就是将SQL语句写在XML配置⽂件中. 之前,我们学习了,用注解的方式来实现MyBatis 接下来我们…

四、 简单工厂模式

文章目录 1 基本介绍2 案例2.1 Drink 抽象类2.2 Tea 类2.3 Coffee 类2.4 DrinkFactory 类2.5 Client 类2.6 Client 类运行结果2.7 总结 3 各角色之间的关系3.1 角色3.1.1 Product ( 抽象产品 )3.1.2 ConcreteProduct ( 具体产品 )3.1.3 Factory ( 工厂 )3.1.4 Client ( 客户端 …

Python实现精准判断并区分PDF文件是“图片内容”还是“文字内容”(8)

前言 本文是该专栏的第8篇,后面会持续分享Python办公自动化干货知识,记得关注。 对于pdf文件来说,pdf文件内容有的时候是“文字”,有的时候却是“图片”。pdf文件内容为图片的时候,不能进行复制粘贴;相反,当pdf文件内容为文字的时候,却可以进行复制粘贴。 如果说,有…

[译] Rust项目的基础设施

本篇是对 RustConf 2023中的Infrastructure for Rust这一视频的翻译与整理, 过程中为符合中文惯用表达有适当删改, 版权归原作者所有. 我今天要和大家讨论支持Rust及Rust项目的基础设施。Rust是一门令人惊叹的语言,我非常喜欢它,看到它的普及度和社区的成长令人非常满意。但从项…

es的内部数据存储逻辑,读取逻辑

Elasticsearch的内部数据存储逻辑和读取逻辑是非常复杂的,但是可以概括为以下几点: 索引(Index): 一个索引就是一个文档的容器,它包含了很多文档。 分片(Sharding): 为了处理大量数据&#xf…

CSA笔记4-包/源管理命令以及本地光盘仓库搭建

包/源管理命令 1.rpm是最基础的rmp包的安装命令,需要提前下载相关安装包和依赖包 2.yum/dnf是基于rpm包的自动安装命令,可以自动在仓库中匹配安装软件和依赖包 注意:以上是安装命令,以下是安装源 3.光盘源:是指安装系统时后的…