ComfyUI学习旅程

一、模型文件(Checkpoint)

首先它很大,这些文件是你从huggingface或者civitai下载而来的,

所以这些大文件如 .ckpt 或 .safetensors ,实际上包含了什么内容呢?

它包含了包含了三种不同模型的权重:CLIP、主模型和VAE。

在默认的ComfyUI工作流中,由这里的CheckpointLoader加载模型到ComfyUI中。

你能看到它会有3种输出。

二、CLIP文本编码器(CLIP Text Encode)

让我们先看CLIP文本编码器这一条分流,注意CLIP又有两条分流,分别流向正面条件和负面条件。

CLIP文本编码器的作用就是把人类语言转换成模型能够理解的数据格式。

三、K 采样器 (KSampler)

CLIP文本编码器会流动到K采样器,图片就是通过这个采样器生成的。

在K采样器中,主要输入是Stable Diffusion的模型。

同时,正向提示词和反向提示词也是作为K采样器的输入。

四、空的潜在图像

最后,需要再来一个空潜在图像作为输入。(Empty Latent Image)

这是因为我们当前的场景是文生图。

五、降噪

于是采样器会利用这个潜在空图像,向这个潜在空图像添加噪声,然后使用Stable Diffusion的模型进行降噪。

具体的降噪过程是:编码后的正面和负面提示被传递给模型,在每个采样步骤中被用来指导去噪。

这种逐渐去噪的图像生成方式,正是Stable Diffusion生成图片的方式。

最终,采样器会输出一张降噪之后的图片。

六、VAE模型解码(VAE Decode)

最后的最后,Stable Diffusion会用到VAE模型。

VAE模型被用于把处于潜在空间的图像,转换成肉眼可见的像素图像。

潜在空间的数据是Stable Diffusion模型能够理解的数据。

而像素空间的图像是图片浏览器和人类能够用肉眼观察到的图像。

这个步骤,你可以看到来自采样器的Latent潜在空间的图像作为VAE编码器的输入,通过VAE解码之后,输出常规图像。

这就是简易的工作流的基本流程

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/2663.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

做大模型产品,如何设计prompt?

做GenAI产品,除了要设计好的AI任务流程,合理的拆分业务以外,最重要的就是写好prompt,管理好prompt,持续迭代prompt。 prompt一般有两种形式:结构化prompt和对话式prompt。 结构化prompt的优点是通过规范的…

Odoo:全球排名第一的免费开源PLM管理系统介绍

概述 利用开源智造OdooPLM产品生命周期管理应用,重塑创新 实现产品生命周期管理数字化,高效定义、开发、交付和管理创新的可持续产品,拥抱数字化供应链。 通过开源智造基于Odoo开源技术平台打造数字化的产品生命周期管理(PLM&am…

allegro输出正反面bom

不是前面两条命令,而是component report

【Linux驱动层】iTOP-RK3568学习之路(五):并发与竞争

本人在听讯为的课时,哪怕是照抄,编译后,这里的代码执行不了,只能做笔记了。 一、原子操作 ​ 借用原子是"化学反应中最小的微粒“这个概念,用原子来表述—个操作是不可以被打断,拆分的操作。简单&…

李沐65_注意力分数——自学笔记

Additive Attention 等价于将key和value合并起来后放入到一个隐藏大小为h输出大小为1的单隐藏层 总结 1.注意力分数是query和key的相似度,注意力权重是分数的softmax结果 2.两种常见的分数计算: (1)将query和key合并起来进入一个单输出单…

Linux 防火墙端口设置常用命令

应对安全检查,服务器启用防火墙,关闭端口访问,以IP白名单方式对内开发 在Linux系统中设置防火墙端口通常涉及到以下步骤。这里以常用的firewalld服务为例进行说明,适用于大多数现代Linux发行版如RHEL、CentOS、Fedora等。如果您使用的是较旧的系统或配置了其他防火墙软件(…

模块三:二分——852.山脉数组的峰顶索引

文章目录 题目描述算法原理解法一:暴力查找解法二:二分查找 代码实现暴力查找二分——C二分——Java 题目描述 题目链接:852.山脉数组的峰顶索引 算法原理 解法一:暴力查找 峰顶:比左右区间都大 遍历整个数组&…

谷歌搜索SEO优化需要做什么?

最基本的要求,网站基础要优化好,让你的网站更加友好地服务于用户和搜索引擎,首先你要保证你的网站也适配手机端,现在手机端,如果你的网站在手机上打开慢,或者没有适配手机端,让用户用手机看着电…

激励与约束的协同效应—人力资源管理的新趋势

随着全球经济一体化的深入发展,企业间的竞争愈发激烈,人力资源作为企业最宝贵的资源之一,其管理的重要性日益凸显。在这样的背景下,激励与约束的协同效应成为了人力资源管理的新趋势,它不仅能够提高员工的工作积极性&a…

网络安全之WebShell截获

不知道这是哪个大哥的手笔有没有认领的20240424十一点四十分左右 大哥计算机的具体信息贴上了,还好大哥没有put成功,返回405! IP地址 31.49.67.43:36668 MAC地址 80:05:88:48:37:b5ToolB的MAC地址厂商信息查询网站:https://tool…

笔记:VMware之性能优化

目标:通过调整VMware设置,提高VMware中虚拟机性能 版本:16.2.2 build-19200509 一、首选项 针对所有虚拟机设置,对所有虚拟机都有效 1.1 设置路径:主页->编辑->首选项->更新 软件更新,取消“…

线程池嵌套导致的死锁问题

1、背景 有一个报告功能,报告需要生成1个word,6个excel附件,总共7个文件,需要记录报告生成进度,进度字段jd初始化是0,每个文件生成成功进度加1,生成失败就把生成状态置为失败。 更新进度语句&…

Win11系统变量打不开解决方法

Q: 下图所框选部分,变为灰色,点击不了 A: 1.可能是用户权限过低,升为管理员身份 按win R 调出运行,输入netplwiz 或 control userpasswords2效果都一样分别有两个组User和Administarations选中你的用户对应的组 …

3A开关降压型单节充电管理芯片CS5308D

CS5308D是一款30V耐压,单节锂电池或锂离子聚合物电池的降压型充电管理IC。集成功率MOS,芯片采用同步开关架构,使其在应用时仅需极少的外围器件,可有效减少整体方案尺寸,降低BOM成本。具有最大3A的充电电流能力&#xf…

华为云实验 -- 对云硬盘数据盘进行备份

文章目录 备份Linux系统备份1.购买Linux操作系统的ESC(云服务器)2.挂载数据盘--初始化--分区--格式化2.1.点击"远程登录"a.查看/dev/vdb数据盘b.新建主分区/dev/vdb1 2.2.查看新建分区大小,分区格式信息a.确定之前的分区操作是否正确b.确认完成后,将分区结…

Rust腐蚀服务器搭建架设教程ubuntu系统

Rust腐蚀服务器搭建架设教程ubuntu系统 大家好我是艾西一个做服务器租用的网络架构师。Rust腐蚀游戏对于服务器的配置有一定的要求很多小伙伴就思考用linux系统搭建的话占用会不会小一点,有一定电脑基础的小伙伴都知道Linux系统和windows系统相比较linux因为是面板…

小程序变更主体公证怎么做?

小程序迁移变更主体有什么作用?好多朋友都想做小程序迁移变更主体,但是又不太清楚具体有啥用,今天我就来详细说说。首先,小程序迁移变更主体最重要的作用就是可以修改主体。比如你的小程序原来是 A 公司的,现在 A 公司…

STM32G030F6P6TR 芯片TSSOP20 MCU单片机微控制器芯片

STM32G030F6P6TR 在物联网(IoT)设备中的典型应用案例包括但不限于以下几个方面: 1. 环境监测系统: 使用传感器来监测温度、湿度、气压等环境因素,并通过无线通信模块将数据发送到中央服务器或云端平台进行分析和监控。…

域名是什么 有什么用

域名是什么 有什么用 域 名(Domain Name):是互联网服务中的一个基本名称服务,是用户在互联网中用户 访问相关内容的符号标志;是由一串用“点”分隔的字符组成的 Internet 上某一台计 算机或计算机组的名称,…

【个人博客搭建】(14)仓储模式用户注册登录案例

1、准备工作&#xff1a; 1.1、新建Users的控制器、接口、服务层文件&#xff1b; 1.2、注入接口与服务层关系 builder.Services.AddTransient<IUsersService, UsersService>(); 1.3、添加MD5加密规则 public static string GetMd5Hash(string input){//using System.Sec…