ComfyUI | 5分钟部署最新Flux大模型

Midjourney 和 Stable Diffusion 都是目前流行的 AI 图像生成工具,它们能够根据文本描述生成高质量的图像。都是基于深度学习技术的文本到图像生成模型,但它们各自基于不同的大模型。

但最近推出了一款比前两者更强大,生成图像更加逼真,在细节上更符合现实世界的模型,就是FLUX!

flux模型可以扫描下方,免费获取

在这里插入图片描述

一、什么是Flux?

Flux AI是由Black Forest Labs推出的一款最新的文本生成图像模型,这个团队是由从Stable Diffusion离开的原班人马,创立的全新用于AI绘图的大模型。Flux AI模型以其卓越的视觉质量、精确的提示词遵循、多样化的风格和复杂场景生成能力而著称。它包含三个版本:FLUX.1 [pro]、FLUX.1 [dev]和FLUX.1 [schnell],分别针对不同的使用场景和需求。

FLUX.1 Pro

是专为商业用途设计的闭源模型,提供最先进的图像生成性能。

FLUX.1 Dev

是一个开源的引导蒸馏模型,适用于非商业应用。

FLUX.1 Schnell

是专为本地开发和个人使用设计的快速版本。

Flux AI模型采用了创新的混合架构,结合了多模态处理能力和并行扩散机制的Transformer技术,并扩展至高达120亿个参数。这些模型在训练生成模型的方法上采用了流匹配技术,这种方法不仅通用性强,而且概念简洁,特别适用于包括扩散过程在内的各种情况。

图片

官网展示图片样例:

图片

图片

图片

以下是Flux、Midjourney和Stable Diffusion模型的对比:

图像质量

Flux: 不需要其他插件的参与,本身就擅长生成高分辨率、细节丰富的图像,特别是在复杂场景和人体解剖学方面表现出色。

Midjourney: 以其艺术风格和高质量输出闻名,尤其在艺术性和风格多样性上有优势。

Stable Diffusion: 能够生成逼真的图像,适合需要真实感输出的项目。

速度和效率

Flux: 提供快速的图像生成,特别是schnell变体,适合需要快速原型制作和迭代设计的过程。大多数情况下不需要额外的下载风格模型,即可输出各种风格的图片。

Midjourney: 未明确提及速度,但通常商业模型可能会在云服务器上运行,可能存在排队等候的情况。

Stable Diffusion: 生成速度较慢,但在图像优化过程中提供更多控制。

处理复杂场景

Flux: 在处理复杂构图方面表现出色,得益于其先进的架构。特别是文字方面,flux可以输出带文字的图片,只要提示词足够的准确可以直接输出设计海报级别的图片。

Midjourney: 能够处理复杂场景,但在某些情况下可能需要更多的迭代来达到理想效果。

Stable Diffusion: 在处理复杂场景方面可能存在一些限制。

人体解剖渲染

Flux: 在渲染人体解剖方面表现出色,尤其是手部细节,更加的完整还原。

Midjourney: 未特别提及,但通常能够生成具有艺术感的人物图像,难以指定准确描绘。

Stable Diffusion: 可能在准确描绘人体特征方面遇到困难。需要额外的插件或者后期的处理才能勉强更正或基本达到效果

灵活性和集成

Flux: 提供多种变体,适合不同的使用场景和需求,包括开源和专业模型。

Midjourney: 作为商业工具,可能在定制化方面有一定的限制。

Stable Diffusion: 开源模型,社区驱动,提供了丰富的定制化和集成选项。

开源与商业模型

Flux: 提供开源模型,鼓励社区参与和创新。

Midjourney: 为商业模型,提供专业的图像生成服务。

Stable Diffusion: 开源模型,有活跃的社区支持和持续的改进。

特定应用

FluxI: 适合需要高细节和准确表现复杂场景的项目。

Midjourney: 适合艺术创作和设计,尤其是在需要艺术风格和创意表现的领域。

Stable Diffusion: 适合对最终图像控制至关重要的真实感输出。

总结来说flux:

(1)画面更细节,效果更好

(2)图片文字支持更突出完整,输出更准确

(3)人物手部完整,符合现实,基本不会出错

(4)模型包含风格多,支持风格多样,不依赖额外的模型协助补充

(5)可忽略输入负面提示词,单靠正面提示词即可准确输出

通过以上对比,flux之所以更强,是因为它的训练参数是比前两者更大,stable diffusion 3是最高8B的训练参数,约80亿,而flux 1的开始就是12B的训练参数,足足120亿,多了好几倍!单个模型的大小就有23G大小,可想而知,Flux强大是很有实力的。

二、Flux模型的区别:主要分为下面三大模型

图片

图片

图片

图片

*注意:如果使用GGUF和NF4,需额外安装插件:

GGUF节点:https://github.com/city96/ComfyUI-GGUF

图片

NF4节点:https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4

图片

三、如何部署安装flux?

1、保证你的comfyui是最新的版本。(本文使用秋叶老师的启动器)

点击启动器的版本,看到顶部的内核、扩展,依次点击右上角的一键更新按钮,更新到最新的即可。因为flux是8月前发布的,保证自己的comfyui是更新到8月1日之后的最新版本哦。

图片

2、进入官网的汉堡主页https://huggingface.com/black-forest-labs/flux.1-dev

图片

下载 ae.safetensors(即vae)、flux1-dev.safetensors(即unet)

图片

3、下载clip文件,进入comfyui的github主页找到flux:https://github.com/comfyanonymous/ComfyUI_examples/tree/master/flux

图片

从这里进入,看到clip_l.safetensors、t5xxl_fp16.safetensors、t5xxl_fp8_e4m3fn.safetensors这三个文件下载。

图片

图片

4、文件放置位置:

图片

5、其他资源包括controlnet及lora,在xlab-ai主页https://huggingface.co/XLabs-AI

图片

图片

*注意如想使用flux模型的controlnet、flux模型的iPadapter等功能,,还需要在comfyui里面下载安装XLabs-Ai插件。在comfyui管理器里打开节点管理,然后搜索该插件并安装,然后重启comfyui即可。

图片

6、系统内存设置

注意采用的模型运行占内存比较大时,建议打开系统的虚拟内存:系统设置-高级-性能设置-高级-虚拟内存-勾选自动管理。

图片

四、如何快速使用?

官方给出了相关使用的工作流,只需要把官方github的案例图片拖放到comfyui即可。看图片命名对应使用,值得我们学习。

图片

官方案例工作流

如用flux_dev_example工作流为例子,将图片拖放到comfyui

图片

得到下面的工作流:

图片

把flux_schnell_example拖入则得到如下:

图片

划分结构:

图片

flux_schnell_example是最为简单的,4步骤即可出图。

从简单的入手,在flux_schnell_example工作流里面尝试使用下面提示词:

一个穿着校服的女孩,拿着粉笔在黑板上写着开心文字,真实摄影,学校教室,半身构图,电影灯光,细节丰富,日式低饱和度

A girl wearing a school uniform, holding chalk to write happy words on the blackboard, real photography, school classroom, half body composition, movie lighting, rich details, Japanese low saturation

得到的出图:

图片

(1)黑板上的字准确体验

(2)人物的手结构正常

(3)质感效果按提示词的真实风格符合

(4)出图效率高,无等待感,跟提示词吻合

接着我们在模型之间插入一个lora加载器,并且在网上下载了一个黑神话悟空的lora模型,加载进去

图片

模型先使用fp8 schnell,使用lora作者提供的描述词,然后启动队列,看到作者电脑32G内存,可以去到85%到98%上,显卡是英伟达2080。

图片

输入提示词:

悟空,在绘画室内,绘画,素描,画笔,写字,努力工作,(大文字“不想工作”)

Wukong,in the painting studio,painting,sketching,using a paintbrush, writing,and working hard (big text says’ don’t want to work ')

得到图像:

图片

简单的描述,无需负面提示词,添加lora后人物手部,文字等都很好。

总的来说flux除了大模型需要强配置的电脑,较小的模型其实效果也错不了多少,对于普通的自媒体应用、方案创意等足够使用了。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/54805.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

windows端口被占用但是查不到进程的问题排查

在开发环境上经常遇到端口被占用,但是 netstat -ano|findstr 3306 查不到进程号,没法强杀解决。 这种情况,很有可能端口被排除了,可用命令: netsh interface ipv4 show excludedportrange protocoltcp 可以看到mysql的…

一、制作UI自适应

当前分辨率 更改分辨率 一、原因 一款游戏的UI,可能会根据玩家的分辨率和屏幕尺寸,产生不同的变化 例如:某一个Image位移到了摄像机外面 因此需要通过锚点和屏幕自适应来制作完美的效果 二、解决方法 1、锚点 作用是:根据当…

Unity3D相关知识点总结

Unity3D使用的是笛卡尔三维坐标系,并且是以左手坐标系进行展示的。 1.全局坐标系(global) 全局坐标系描述的是游戏对象在整个世界(场景)中的相对于坐标原点(0,0,0)的位置…

前端接收到的日期格式为 2021-12-07T16:44:53.298+00:00 怎么办?

在写项目的时候,给前端发送了一个 Date 类型的数据,发现格式不对: 可以通过在application 配置文件中进行如下配置: spring:jackson:date-format: yyyy-MM-dd HH:mm:sstime-zone: GMT8 前端在获取就发现格式正确

嵌入式硬件设计:从原理到实践

嵌入式硬件设计:从原理到实践 嵌入式硬件设计在物联网、智能设备、工业自动化等领域中扮演着至关重要的角色。随着技术的发展,越来越多的设备依赖于嵌入式系统进行实时控制与数据处理。本文将详细介绍嵌入式硬件设计的各个方面,从设计原理到…

Study-Oracle-11-ORALCE19C-ADG集群搭建

一路走来,所有遇到的人,帮助过我的、伤害过我的都是朋友,没有一个是敌人。 一、ORACLE--ADG VS ORACLE--DG的区别 1、DG是Oracle数据库的一种灾难恢复和数据保护解决方案,它通过在主数据库和一个或多个备用数据库之间实时复制数据,提供了数据的冗余备份和故障切换功能。…

实现一个时钟

头文件 #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include<QPainter>//画家类 #include<QTime>//时间类 #include<QTimer>//定时器类QT_BEGIN_NAMESPACE namespace Ui { class Widget; } QT_END_NAMESPACEclass Widget : public QWidget …

项目管理——Gantt图与Pert图

目录 前言相关知识点相关题目 前言 本文是在关于软考中软件设计师中的项目管理中的知识点&#xff0c;关于Gantt图与Pert图 相关知识点 甘特&#xff08;Gantt&#xff09;图 优点 可以清晰的描述每个任务从何时开始的&#xff0c;到何时结束&#xff0c;任务的进程情况以及…

C++和OpenGL实现3D游戏编程【连载14】——VBO、VAO和EBO应用

&#x1f525;C和OpenGL实现3D游戏编程【目录】 1、本节实现的内容 我们从一开始学OpenGL到现在&#xff0c;OpenGL的图形绘图必须在glBegin()和glEnd()函数之间完成&#xff0c;在此基础之上&#xff0c;才能进行后续操作功能。但是我们今天要讨论一下OpenGL图形绘制的模式&a…

SSM(5)(动态sql <if>、<where>、返回主键值)

返回主键值&#xff1a; 方法一&#xff1a; useGeneratedKeys 为ture 声明 返回主键 keyProperty 表示要返回的值 封装到对象的属性中 但是这一种方法不支持Orcal数据库。 <insert id"save2" parameterType"com.findyou.entity.User" useGenerated…

使用IMX6UL定时器EPTI实现延时

上一节&#xff0c;我们讲解了如何使用Imx6uL上面的定时器EPTI&#xff0c;这一节我们将使用EPTI进行实战&#xff0c;也就是使用定时器的效果来使用延时 在之前的实验中我们都使用到了按键&#xff0c;用到按键就要处理因为机械结构带来的按键抖动问题&#xff0c;也就是按键消…

01 为什么要学习数据结构与算法

为什么要学习数据结构与算法 一、问题提出 ​ 最早计算机的设计初衷主要用于军事上枪炮的弹道计算和火力表的测试&#xff0c;后来更多的用于科学计算&#xff0c;即数值类的计算&#xff0c;而现在&#xff0c;计算机深入到日常生活的各个方面&#xff0c;其计算的数据早已从…

毕业设计选题:基于php+vue+uniapp的新闻资讯小程序

开发语言&#xff1a;PHP框架&#xff1a;phpuniapp数据库&#xff1a;mysql 5.7&#xff08;一定要5.7版本&#xff09;数据库工具&#xff1a;Navicat11开发软件&#xff1a;PhpStorm 系统展示 管理员登录界面 管理员功能界面 新闻类别管理 新闻信息管理 用户管理 管理员管…

基于SpringBoot+Uniapp的家庭记账本微信小程序系统设计与实现

项目运行截图 展示效果图 展示效果图 展示效果图 展示效果图 展示效果图 5. 技术框架 5.1 后端采用SpringBoot框架 Spring Boot 是一个用于快速开发基于 Spring 框架的应用程序的开源框架。它采用约定大于配置的理念&#xff0c;提供了一套默认的配置&#xff0c;让开发者可以更…

MicroFlow:一种高效的基于Rust的TinyML推理引擎

英文论文标题&#xff1a;MICROFLOW: AN EFFICIENT RUST-BASED INFERENCE ENGINE FOR TINYML 中文论文标题&#xff1a;MicroFlow&#xff1a;一种高效的基于Rust的TinyML推理引擎 作者信息&#xff1a; Matteo Carnelos&#xff0c;意大利帕多瓦大学&#xff0c;Grepit AB,…

潜水打捞系统助力,破解汽车打捞难题

随着人类活动的不断扩展&#xff0c;汽车落水事故频发&#xff0c;成为救援工作中的一大难题。汽车因其重量和结构特性&#xff0c;一旦沉入水体&#xff0c;打捞工作将面临巨大挑战。传统的打捞方法往往效率低下&#xff0c;且在操作过程中可能会对汽车造成进一步的损害&#…

Excel中使用SQL语句的四种方法

总结在 Excel 中使用 SQL 语句的四种方法&#xff0c;各种方法都有各自的适用场景&#xff0c;可以选择自己熟悉的或喜欢方式。本文以在 Excel 中操作 MS SQL 数据库的数据为例进行说明。MS SQL 的数据如下&#xff0c;使用微软 SQLExpress 版本。 方法 1&#xff1a; Excel 现…

RSA - 共模攻击

概念 RSA 共模攻击&#xff08;Common Modulus Attack&#xff09;是一种在特定条件下可以利用的 RSA 加密算法的攻击方法。它利用了当多个密文使用同一个 RSA 公钥&#xff08;即相同的模数 n&#xff09;进行加密时&#xff0c;可能可以通过密文之间的关系来获取明文信息&am…

spring揭秘25-springmvc04-servlet容器与springmvc容器总结

文章目录 【README】【1】DelegatingFilterProxy回顾【1.1】DelegatingFilterProxy初始化过滤器bean 【2】从servlet容器获取springmvc顶级web容器【2.1】从Servlet容器中获取springmvc容器总结【2.2】ContextLoaderListener加载springmvc顶级web容器并将其添加到servlet容器【…

Android开发视频预览效果

Android开发视频预览效果 视频播放不是一个简单的事情&#xff0c;得有暂停&#xff0c;继续播放等功能&#xff0c;屏幕的适配也是头疼的事情 一、思路&#xff1a; 引用的是腾讯播放器TXVodPlayer 二、效果图&#xff1a; 图片不是很直观&#xff0c;也可以看下视频 And…