三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM!

前言

大家好,这里是和你们一起探索 AI绘画月月~

最近一种新的图像生成形式逐渐兴起,即生成的图像会随输入的文字或笔画动作迅速变化,这让图像生成有了更多灵活探索和准确控制的空间。这种「实时反馈」的感觉源于模型能在几秒钟内,根据输入生成新的内容,而之所以能有这么快的生成速度,依靠的就是 LCM 这项新技术。

一、LCM 简介

LCM 项目主页: https://latent-consistency-models.github.io/

Github 主页: https://github.com/luosiallen/latent-consistency-model

LCM 全称 Latent Consistency Models(潜在一致性模型),是清华大学交叉信息科学研究院研发的一款生成模型。它的特点是可以通过少量步骤推理合成高分辨率图像,使图像生成速度提升 2-5 倍,需要的算力也更少。官方称 LCMs 是继 LDMs(Latent Diffusion Models 潜在扩散模型)之后的新一代生成模型。

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

LCM 的上一代是今年 6 月份的推出的 Consistency Models(CM,一致性模型)。用过 Stable Diffusion 的小伙伴都知道,我们在生成图像的时候需要设置「 采样步数 Steps」,这个参数,涉及到的是 Diffusion 模型中的去噪(Denoise)过程,即以迭代的方式从一张纯噪声图中一步步去除噪点,直至它变成一张清晰的图像。采样步数一般需要 20-50 步。

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

Consistentcy Models 则对去噪推理这一步进行了优化,它不再需要像 Diffusion 模型那样逐步迭代,而是追求“一步完成推理”,这样需要处理的步数减少了,图像的生成速度自然就提升了。LCM 则是在 Consistency Models 的基础上引入了 Lantent Space (潜空间),进一步压缩需要处理的数据量,从而实现超快速的图像推理合成。LCM 官方以此训练了一个新的模型 Dreamshaper-V7,仅通过 2-4 步就能生成一张 768*768 分辨率的清晰图像。

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

LCM 官方提供了 2 个可以免费在线试玩的 Demo,分别是文生图和图生图。文生图 Demo 使用的就是 Dreamshaper-V7 模型,我试了一下的确可以在几秒之内就生成 4 张图,速度非常惊人,大家也可以去体验一下。

文生图试玩 Demo: https://huggingface.co/spaces/SimianLuo/Latent_Consistency_Model

图生图试玩 Demo: fofr/latent-consistency-model – Run with an API on Replicate

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

目前可以用的 LCM 模型有 Dreamshaper-V7 和 LCM-SDXL,LCM 也以拓展插件的形式加入了 A1111 WebUI 和 ComfyUI,支持文生图、图生图和视频生成视频,安装插件后我们就可以在自己电脑上体验一下这种 2 款新模型的生成效率。如果你还不了解插件的安装方式,可以查看我之前写的 SD WebUI 插件安装教程 ,或者了解我最新制作的课程 《AI绘画入门完全指南》 ,系统全面地了解 SD WebUI 的使用方法和技巧。

① Dreamshaper-V7 模型下载: SimianLuo/LCM_Dreamshaper_v7 at main (huggingface.co) (文末有资源包)

② LCM-SDXL模型下载: latent-consistency/lcm-sdxl · Hugging Face — 潜在一致性/lcm-sdxl ·拥抱的脸 (文末有资源包)

③ LCM WebUI 插件安装使用: https://github.com/0xbitches/sd-webui-lcm

④ LCM ComfyUI 插件安装使用: https://github.com/0xbitches/ComfyUI-LCM

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

二、LCM-LoRA

LCM 可以有效缩短图像的生成时间,但它的模型需要单独训练,前面的提到的 Dreamshaper-V7 和 LCM-SDXL 是目前仅有的 2 款可以在 LCM 插件中使用的大模型,这显然不符合大家的使用需求。为了改变这种情况,官方又训练出了 LCM-LoRA 模型,可以搭配 SD1.5 和 SDXL 的所有大模型使用,这比上面安装 LCM 插件更方便。目前我们可以在 ComfyUI 和 Fooocus 中使用 LCM-LoRA。

① LCM-LoRA 项目主页: https://huggingface.co/blog/lcm_lora

② lcm-lora-sdv1-5 下载: https://huggingface.co/latent-consistency/lcm-lora-sdv1-5

③ lcm-lora-sdxl 下载: https://huggingface.co/latent-consistency/lcm-lora-sdxl

LoRA 模型在文末有资源包,下载后安装到 ComfyUI 根目录的 loras 文件夹内即可(如果是和 WebUI 共享的模型,就放到 WebUI 的 lora 文件夹内 )。在 ComfyUI 中使用 LCM-LoRA 需要注意以下几点:

  1. 模型下载链接内包含模型使用方法和注意事项,使用需要仔细阅读;
  2. 在 ComfyUI 中使用 lcm-lora 需要先安装 ComfyUI-LCM 插件;
  3. 采样步数 Steps 数值在 2 - 8 之间,CFG 参数在 1.0 - 2.0 之间。

下图是在 ComfyUI 中使用 lcm-lora-sdv1-5 的工作流(json 文件在文末资源包内),经测试生成 4 张图像仅需 3 秒。速度的确非常快,但图像质量比起正常的 Stable Diffusion 模型来说还是稍微差了一些。

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

如果想在 Fooocus 中使用 LCM-LoRA,需要安装最新版的 Fooocus ,然后将文末资源包内的 sdxl_lcm_lora 放入 Fooocus\models\loras 文件夹中。启动后,在 setting 中选择 Extreme Speed 模式,系统会启动 lcm-lora。然后在 Models 中选择一个 SDXL 大模型,lora 和 style 可以自定义,再点击生成即可。经测试生成一张 1024*1024 px 的图像只需要 9 秒,比之前快了 5 倍,图像质量依旧保持的不错。

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

三、Animatediff 与 LCM-LoRA

Animatediff 是目前最受关注的 AI 视频工具之一,可以通过文本生成流畅的动图或视频。有了 LCM 之后,Animatediff 的图像处理速度也得到了明显提升。据我个人测试,使用 lcm-lora 后生成一个 16 帧的动图只需要 27 秒,如果不使用则需要 75 秒,速度差了 3 倍。

ComfyUI 中使用 lcm-lora-sdv1-5 + Animatediff 的工作流(json 文件在文末资源包内):

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

效果图:

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

LCM 让我们看到了 SD 模型在生成速度上的突破,虽然目前质量稍微差了一些,但 AI 技术的发展速度是惊人的,未来肯定会有改善。而随着 LCM 的发展成熟,图像处理速度可能会进一步缩短到毫秒级,这将极大促进实时文生图、图生图以文生视频的发展,给用户带更好的使用体验;也可能会进一步和 Controlnet 或者 IP-Adapter 兼容,来提升这些插件的处理效率。

这里为了帮助大家更好地掌握 ComfyUI,分享一套字节大佬整理的ComfyUI工作流集合,其包含了很多好玩有趣,但又有点复杂的工作流节点和json配置。

涵盖了 Stable Scascade、3D、LLM+SD、Portrait Master、SVD 等相关类别的工作流,共计15个类目38项工作流。这些都放在了下方卡片,需要的点击免费获取:
在这里插入图片描述

img

对于初学者来说,最佳的学习方法是以这些现成的工作流为模板,一步步地复刻并理解它们。

通过观察和分析别人的工作流,你可以学习到各种节点搭建的技巧和方法。随着理解的深入,你将能够根据自己的需求创新和搭建属于自己的工作流。

希望本文能帮助你有效地提升你的设计效率和创造力。

对于从来没有接触过AI绘画的同学,我已经帮你们准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。

img

这份完整版的AI绘画资料和SD整合包已经打包好了,需要的点击下方插件,即可前往免费领取!
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/863336.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

springMVC中的拦截器

文章目录 11、拦截器11.1书写拦截器的步骤一、首先需要在SpringMVC.xml中配置拦截器二、处理完配置文件进行配置类的书写书写的类需要实现HandlerInterceptor接口 11.2多个拦截器的执行顺序⑴如果每个拦截器的preHandle()都返回true⑵如果某个拦截器的preHandle()返回了false⑵…

fiddler 返回Raw乱码

有时会发现自己发送的请求后,返回结果Raw里面是乱码,可以勾选Decode并重新发送请求就解决了 这个时候将Decode勾选一下 此时就好了

【C++ | 委托构造函数】委托构造函数 详解 及 例子源码

😁博客主页😁:🚀https://blog.csdn.net/wkd_007🚀 🤑博客内容🤑:🍭嵌入式开发、Linux、C语言、C、数据结构、音视频🍭 🤣本文内容🤣&a…

解释一下MVP和MVVM设计模式及其优缺点

MVP(Model-View-Presenter)设计模式 定义: MVP是一种软件架构设计模式,它将应用程序分为三个主要部分:模型(Model)、视图(View)和展示器(Presenter&#xff…

模版总结小全

BFS 最短步数问题 #include<iostream> #include<queue> #include<cstring> using namespace std;const int N 50; char g[N][N],d[N][N]; int dx[] {-1,0,1,0}; int dy[] {0,1,0,-1}; int n,m;int bfs(int x,int y){queue<pair<int,int> > q…

【Ubuntu】如何用指令设置静态IP

这里介绍的是利用netplan 的配置文件一般在 /etc/netplan/ 目录下&#xff0c;文件名类似 01-network-manager-all.yaml。 用 nano/ vim 编辑器打开配置文件&#xff1a; sudo nano /etc/netplan/01-network-manager-all.yaml # 替换成你的文件名修改配置文件 network:versi…

MySQL高级-SQL优化-insert优化-批量插入-手动提交事务-主键顺序插入

文章目录 1、批量插入1.1、大批量插入数据1.2、启动Linux中的mysql服务1.3、客户端连接到mysql数据库&#xff0c;加上参数 --local-infile1.4、查询当前会话中 local_infile 系统变量的值。1.5、开启从本地文件加载数据到服务器的功能1.6、创建表 tb_user 结构1.7、上传文件到…

mysql_config 命令, 可以查看mysqlclient库的位置在/usr/lib64/mysql下

好吧&#xff0c;其实我是从这里知道了 -l 后面加的库名和so文件这种名不一样&#xff0c;因为库文件实际叫下面这个名&#xff08;前面有lib)。

策略模式、工厂模式和模板模式的应用

1、策略模式、工厂模式解决if else Cal package com.example.dyc.cal;import org.springframework.beans.factory.InitializingBean;public interface Cal extends InitializingBean {public Integer cal(Integer a, Integer b); }Cal工厂 package com.example.dyc.cal;impo…

一分钟彻底掌握Java迭代器Iterator

Iterator Iterator 是 Java 的 java.util 包中的一个接口 iterator() 是 Java 集合框架中的一个方法&#xff0c;它返回一个 Iterator 对象&#xff0c;该对象可以用来遍历集合中的元素。 Iterator确实是一个接口&#xff0c;你不能直接实例化一个接口。但是&#xff0c;你可以…

MySQL之覆盖索引

什么是覆盖索引&#xff1f; 覆盖索引&#xff1a;查询时使用了索引&#xff0c;且需要返回的列&#xff0c;在改索引中已经全部能找到。 示例&#xff1a;有user表如下&#xff1a; CREATE TABLE user (id bigint(20) NOT NULL AUTO_INCREMENT COMMENT 技术主键,name varch…

Git企业开发---初识Git

顾得泉&#xff1a;个人主页 个人专栏&#xff1a;《Linux操作系统》 《C从入门到精通》 《LeedCode刷题》 键盘敲烂&#xff0c;年薪百万&#xff01; 引言 不知道大家有没有经历这种困惑&#xff0c;当我们要去交某文档时&#xff0c;总是要进行修改&#xff0c;修改后再交…

Softmax函数的作用

Softmax 函数主要用于多类别分类问题&#xff0c;它将输入的数值转换为概率分布。 具体来说&#xff0c;对于给定的输入向量 x [x_1, x_2,..., x_n] &#xff0c;Softmax 函数的输出为 y [y_1, y_2,..., y_n] &#xff0c;其中&#xff1a; 这样&#xff0c;Softmax 函数的输…

人生最有力,最棒的十句话!

人生最有力&#xff0c;最棒的十句话 1、允许一切事发生&#xff0c;所有一切发生的事不是你能阻挡了的&#xff0c;你接受&#xff0c;他也发生&#xff0c;你不接受&#xff0c;他也发生&#xff0c;你还不如坦然面对接受现实。 2、你焦虑的时候千万不要躺着啥也不干&#xf…

全网唯一免费无水印AI视频工具!

最近Morph Studio开始免费公测&#xff01;支持高清画质&#xff0c;可以上传语音&#xff0c;同步口型&#xff0c;最重要的是生成的视频没有水印&#xff01; Morph Studio国内就可以访问&#xff0c;可以使用国内邮箱注册&#xff08;我用的163邮箱&#xff09;&#xff0c;…

Java--回顾方法的调用

1.静态方法与非静态方法 1.当二者皆为静态方式时&#xff0c;可直接类名.方法名调用其方法 2.当调用的方法是静态&#xff0c;被调用的方法为非静态时&#xff0c;调用将会报错 3.出现2情况可通过进行实例化这个类的方式进行调用&#xff0c;如图所示 4.当处于一个类下&#xf…

安卓开发中margin和padding的区别

在 Android 开发中&#xff0c;margin 和 padding 都是用来定义视图&#xff08;View&#xff09;的空间属性&#xff0c;但它们的作用和应用场景有所不同&#xff1a; Margin&#xff08;外边距&#xff09;&#xff1a; Margin 是视图与其他视图之间的空间。它定义了视图之间…

在IDEA中创建Maven项目

2023版IDEA创建Maven项目&#xff08;新版&#xff09; 1.打开IDEA&#xff0c;点击 文件 -> 新建 -> 项目 2.创建Maven项目 3.编写java文件并运行 在src -> java -> 创建一个java文件并运行 如果出现下图 解决办法&#xff1a; 2022版IDEA创建Maven项目&#xf…

GitHub每日最火火火项目(6.29)

1. 项目名称&#xff1a;modelscope / DiffSynth - Studio 项目介绍&#xff1a;该项目能让用户享受扩散模型的神奇之处。扩散模型是一种强大的机器学习技术&#xff0c;在图像生成、音频合成等领域有广泛应用。通过这个项目&#xff0c;用户可以体验到扩散模型带来的创新和有…

判断时间序列中的元素是否为:年初、年末、季初、季末

【小白从小学Python、C、Java】 【考研初试复试毕业设计】 【Python基础AI数据分析】 判断时间序列中的元素是否为&#xff1a; 年初、年末、季初、季末 Series.dt.is_year_start Series.dt.is_year_end Series.dt.is_quarter_start Series.dt.is_quarter_end 选择题 关于以下…