ComfyUI学习旅程

一、模型文件(Checkpoint)

首先它很大,这些文件是你从huggingface或者civitai下载而来的,

所以这些大文件如 .ckpt 或 .safetensors ,实际上包含了什么内容呢?

它包含了包含了三种不同模型的权重:CLIP、主模型和VAE。

在默认的ComfyUI工作流中,由这里的CheckpointLoader加载模型到ComfyUI中。

你能看到它会有3种输出。

二、CLIP文本编码器(CLIP Text Encode)

让我们先看CLIP文本编码器这一条分流,注意CLIP又有两条分流,分别流向正面条件和负面条件。

CLIP文本编码器的作用就是把人类语言转换成模型能够理解的数据格式。

三、K 采样器 (KSampler)

CLIP文本编码器会流动到K采样器,图片就是通过这个采样器生成的。

在K采样器中,主要输入是Stable Diffusion的模型。

同时,正向提示词和反向提示词也是作为K采样器的输入。

四、空的潜在图像

最后,需要再来一个空潜在图像作为输入。(Empty Latent Image)

这是因为我们当前的场景是文生图。

五、降噪

于是采样器会利用这个潜在空图像,向这个潜在空图像添加噪声,然后使用Stable Diffusion的模型进行降噪。

具体的降噪过程是:编码后的正面和负面提示被传递给模型,在每个采样步骤中被用来指导去噪。

这种逐渐去噪的图像生成方式,正是Stable Diffusion生成图片的方式。

最终,采样器会输出一张降噪之后的图片。

六、VAE模型解码(VAE Decode)

最后的最后,Stable Diffusion会用到VAE模型。

VAE模型被用于把处于潜在空间的图像,转换成肉眼可见的像素图像。

潜在空间的数据是Stable Diffusion模型能够理解的数据。

而像素空间的图像是图片浏览器和人类能够用肉眼观察到的图像。

这个步骤,你可以看到来自采样器的Latent潜在空间的图像作为VAE编码器的输入,通过VAE解码之后,输出常规图像。

这就是简易的工作流的基本流程

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/2663.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

做大模型产品,如何设计prompt?

做GenAI产品,除了要设计好的AI任务流程,合理的拆分业务以外,最重要的就是写好prompt,管理好prompt,持续迭代prompt。 prompt一般有两种形式:结构化prompt和对话式prompt。 结构化prompt的优点是通过规范的…

Odoo:全球排名第一的免费开源PLM管理系统介绍

概述 利用开源智造OdooPLM产品生命周期管理应用,重塑创新 实现产品生命周期管理数字化,高效定义、开发、交付和管理创新的可持续产品,拥抱数字化供应链。 通过开源智造基于Odoo开源技术平台打造数字化的产品生命周期管理(PLM&am…

allegro输出正反面bom

不是前面两条命令,而是component report

李沐65_注意力分数——自学笔记

Additive Attention 等价于将key和value合并起来后放入到一个隐藏大小为h输出大小为1的单隐藏层 总结 1.注意力分数是query和key的相似度,注意力权重是分数的softmax结果 2.两种常见的分数计算: (1)将query和key合并起来进入一个单输出单…

模块三:二分——852.山脉数组的峰顶索引

文章目录 题目描述算法原理解法一:暴力查找解法二:二分查找 代码实现暴力查找二分——C二分——Java 题目描述 题目链接:852.山脉数组的峰顶索引 算法原理 解法一:暴力查找 峰顶:比左右区间都大 遍历整个数组&…

谷歌搜索SEO优化需要做什么?

最基本的要求,网站基础要优化好,让你的网站更加友好地服务于用户和搜索引擎,首先你要保证你的网站也适配手机端,现在手机端,如果你的网站在手机上打开慢,或者没有适配手机端,让用户用手机看着电…

笔记:VMware之性能优化

目标:通过调整VMware设置,提高VMware中虚拟机性能 版本:16.2.2 build-19200509 一、首选项 针对所有虚拟机设置,对所有虚拟机都有效 1.1 设置路径:主页->编辑->首选项->更新 软件更新,取消“…

线程池嵌套导致的死锁问题

1、背景 有一个报告功能,报告需要生成1个word,6个excel附件,总共7个文件,需要记录报告生成进度,进度字段jd初始化是0,每个文件生成成功进度加1,生成失败就把生成状态置为失败。 更新进度语句&…

Win11系统变量打不开解决方法

Q: 下图所框选部分,变为灰色,点击不了 A: 1.可能是用户权限过低,升为管理员身份 按win R 调出运行,输入netplwiz 或 control userpasswords2效果都一样分别有两个组User和Administarations选中你的用户对应的组 …

3A开关降压型单节充电管理芯片CS5308D

CS5308D是一款30V耐压,单节锂电池或锂离子聚合物电池的降压型充电管理IC。集成功率MOS,芯片采用同步开关架构,使其在应用时仅需极少的外围器件,可有效减少整体方案尺寸,降低BOM成本。具有最大3A的充电电流能力&#xf…

华为云实验 -- 对云硬盘数据盘进行备份

文章目录 备份Linux系统备份1.购买Linux操作系统的ESC(云服务器)2.挂载数据盘--初始化--分区--格式化2.1.点击"远程登录"a.查看/dev/vdb数据盘b.新建主分区/dev/vdb1 2.2.查看新建分区大小,分区格式信息a.确定之前的分区操作是否正确b.确认完成后,将分区结…

Rust腐蚀服务器搭建架设教程ubuntu系统

Rust腐蚀服务器搭建架设教程ubuntu系统 大家好我是艾西一个做服务器租用的网络架构师。Rust腐蚀游戏对于服务器的配置有一定的要求很多小伙伴就思考用linux系统搭建的话占用会不会小一点,有一定电脑基础的小伙伴都知道Linux系统和windows系统相比较linux因为是面板…

小程序变更主体公证怎么做?

小程序迁移变更主体有什么作用?好多朋友都想做小程序迁移变更主体,但是又不太清楚具体有啥用,今天我就来详细说说。首先,小程序迁移变更主体最重要的作用就是可以修改主体。比如你的小程序原来是 A 公司的,现在 A 公司…

STM32G030F6P6TR 芯片TSSOP20 MCU单片机微控制器芯片

STM32G030F6P6TR 在物联网(IoT)设备中的典型应用案例包括但不限于以下几个方面: 1. 环境监测系统: 使用传感器来监测温度、湿度、气压等环境因素,并通过无线通信模块将数据发送到中央服务器或云端平台进行分析和监控。…

探索RadSystems:低代码开发的新选择(三)

系列文章目录 探索RadSystems:低代码开发的新选择(一)🚪 探索RadSystems:低代码开发的新选择(二)🚪 文章目录 系列文章目录前言一、RadSystems Studio是什么?二、操作日…

机器学习理论基础—神经网络算法公式学习

机器学习理论基础—神经网络公式学习 M-P神经元 M-P神经元(一个用来模拟生物行为的数学模型):接收n个输入(通常是来自其他神经 元),并给各个输入赋予权重计算加权和,然后和自身特有的阈值进行比较 (作减法&#xff0…

​「Python绘图」绘制小猪佩奇

python 绘制小猪佩奇 一、预期结果 二、核心代码 import turtle print("开始绘制小猪佩奇") pen turtle.Turtle() pen.pensize(4) #pen.hideturtle()pen.speed(1000)pen.color("#ff9bc0","pink") pen.setheading(-30) pen.pu() pen.goto(-100,…

LLM学习笔记-2

在未标记数据上进行预训练 本章概要 在上节的笔记中,因为训练出的效果,并不是特别理想,在本节中,会用数据进行训练,使得模型更加的好; 计算文本生成损失 inputs torch.tensor([[16833, 3626, 6100],…

ARP 攻击神器:ARP Spoof 保姆级教程

一、介绍 arpspoof是一种网络工具,用于进行ARP欺骗攻击。它允许攻击者伪造网络设备的MAC地址,以欺骗其他设备,并截获其通信。arpspoof工具通常用于网络渗透测试和安全评估,以测试网络的安全性和漏洞。 以下是arpspoof工具的一些…

TensorRT plugins and ONNX parser编译

https://github.com/NVIDIA/TensorRT是TensorRT plugins and ONNX parser,并不包含TensorRT的nvinfer库(libinfer.so、nvinfer.dll),此部分并未开源,只能使用官方支持的平台、环境https://developer.nvidia.com/tensor…