【ComfyUI】Stable Diffusion 3 加Controlnet

基于 instantX-research/diffusers_sd3_control: 🤗 Diffusers: State-of-the-art diffusion models for image and audio generation in PyTorch and FLAX. (github.com)

和 

ZHO-ZHO-ZHO/ComfyUI-SD3-Medium-CN-Diffusers: ComfyUI SD3-Medium ControlNet(Diffusers) (github.com)

改的,这两个repo都有些问题,中间看提交记录,有好些人在参与改动,为了能跑的了,我分别fork了这两个分支, 在这里:

prodogape/ComfyUI-SD3-Medium-CN-Diffusers: ComfyUI SD3-Medium ControlNet(Diffusers) (github.com)

prodogape/diffusers_sd3_control: refactor name from "diffusers" to "diffusers_sd3_control" (github.com)

1. 先说怎么装

打开第一个橘色背景的repo:

prodogape/ComfyUI-SD3-Medium-CN-Diffusers: ComfyUI SD3-Medium ControlNet(Diffusers) (github.com)

按照Install这里的步骤安装

时间有限只写了手动安装的步骤,分4步:

(1)git 克隆 comfyui的节点

(2)下载hf的两个仓库的模型(一个controlnet一个sd3)

(3)修改sd3模型文件夹下的文件model_index.json,因为要安装的特殊版本的diffusers我改名为diffusers_sd3_control了

(4)安装diffusers_sd3_control

2. 工作流及效果

这个版本的实现应该还是有些问题的,可能跟control的百分比和control了不太对的部分有关

3. 上图的工作流(非API版本工作流)

{"last_node_id": 82,"last_link_id": 139,"nodes": [{"id": 77,"type": "CannyEdgePreprocessor","pos": [-1756,-33],"size": {"0": 315,"1": 106},"flags": {},"order": 2,"mode": 0,"inputs": [{"name": "image","type": "IMAGE","link": 133}],"outputs": [{"name": "IMAGE","type": "IMAGE","links": [134,139],"shape": 3,"slot_index": 0}],"properties": {"Node name for S&R": "CannyEdgePreprocessor"},"widgets_values": [100,200,512]},{"id": 82,"type": "PreviewImage","pos": [-1753,110],"size": {"0": 299.701171875,"1": 326.380859375},"flags": {},"order": 4,"mode": 0,"inputs": [{"name": "images","type": "IMAGE","link": 139}],"properties": {"Node name for S&R": "PreviewImage"}},{"id": 80,"type": "PreviewImage","pos": [-970,-40],"size": {"0": 438.1802978515625,"1": 471.4967041015625},"flags": {},"order": 5,"mode": 0,"inputs": [{"name": "images","type": "IMAGE","link": 137}],"properties": {"Node name for S&R": "PreviewImage"}},{"id": 74,"type": "LoadImage","pos": [-2113,-24],"size": {"0": 349.269775390625,"1": 459.3564147949219},"flags": {},"order": 0,"mode": 0,"outputs": [{"name": "IMAGE","type": "IMAGE","links": [133],"shape": 3,"slot_index": 0},{"name": "MASK","type": "MASK","links": null,"shape": 3}],"properties": {"Node name for S&R": "LoadImage"},"widgets_values": ["IMG_20240617_070212_131.jpeg","image"]},{"id": 76,"type": "SD3MCN_BaseModelLoader_Zho","pos": [-1424,-42],"size": {"0": 428.3705749511719,"1": 95.87933349609375},"flags": {},"order": 1,"mode": 0,"outputs": [{"name": "pipe","type": "SD3MMODEL","links": [132],"shape": 3,"slot_index": 0}],"properties": {"Node name for S&R": "SD3MCN_BaseModelLoader_Zho"},"widgets_values": ["stabilityai/stable-diffusion-3-medium-diffusers","InstantX/SD3-Controlnet-Canny"]},{"id": 78,"type": "SD3MCN_Generation_Zho","pos": [-1436,94],"size": {"0": 444.2547607421875,"1": 344.82293701171875},"flags": {},"order": 3,"mode": 0,"inputs": [{"name": "pipe","type": "SD3MMODEL","link": 132},{"name": "image","type": "IMAGE","link": 134}],"outputs": [{"name": "IMAGE","type": "IMAGE","links": [137],"shape": 3,"slot_index": 0}],"properties": {"Node name for S&R": "SD3MCN_Generation_Zho"},"widgets_values": ["close-up of a young girl, masterpiece, best quality, photo, realistic, very aesthetic","worst quality, low quality, toon",512,512,40,9,1,542410872807786,"randomize"]}],"links": [[132,76,0,78,0,"SD3MMODEL"],[133,74,0,77,0,"IMAGE"],[134,77,0,78,1,"IMAGE"],[137,78,0,80,0,"IMAGE"],[139,77,0,82,0,"IMAGE"]],"groups": [],"config": {},"extra": {"workspace_info": {"id": "-gBBQ2xIYibjLVAhj5iML"},"ds": {"scale": 1.3513057093104035,"offset": {"0": 2165.8774539604974,"1": 287.4375476041587}}},"version": 0.4
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/29271.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

html入门综合练习

综合练习 通过实际项目练习可以更好地理解和掌握HTML、CSS和JavaScript。以下是几个综合练习项目的建议: 项目1:个人简历网页 创建一个包含以下内容的个人简历网页: 个人简介(姓名、照片、联系方式)教育背景工作经…

Survival Animations

一套生存游戏的动画集,包括采集、建造、捕鱼、剥皮/鞣制、篝火等更多内容。 总动画数:89 建造/制作 30 篝火 28 饮水 3 水壶 3 觅食 2 治疗 3 空闲 1 原始捕鱼 7 剥皮 1 矛捕鱼 4 伐木 5 下载:​​Unity资源商店链接资源下载链接 效果图:

[自动驾驶 SoC]-4 特斯拉FSD

FSD, 参考资料来源FSD Chip - Tesla - WikiChip 另外可参考笔者之前分享文章:[自动驾驶技术]-6 Tesla自动驾驶方案之硬件(AI Day 2021),​​​​​​​[自动驾驶技术]-8 Tesla自动驾驶方案之硬件(AI Day 2022&#xf…

Java多线程下载工具,多线程,多任务,断点续传,GUI

目录 一、题目要求 二、效果展示 三、功能实现 四、代码 一、题目要求 序号 功能名称 功能需求标识 简要描述 1 下载功能 Download 当用户输入一个下载链接后,能识别链接并开始多线程下载工作,包括线程监听、线程管理等。 2 续传功能 …

MMpose安装实例

摘要: 这个大数据训练发展较快,各种版本问题,不太好匹配,仅是安装就会大费周章。本文图文并茂的描述了一种成功的安装方式。仅供参考。 使用的win版本是win11,英伟达显卡是GeForce GTX 1660 SUPER。 1.cuda版本选择 通…

浏览器f12控制台怎么获取vue实例,并且修改data数据

我们在日常的生产工作中,经常会遇到一些问题,比如,若产品已经部署,或是目前无法查看源代码,或者向用命令直接修改查询默认表单数据,那我们怎么去查看Vue实例呢? 我们在浏览器直接打印this不能得…

基于JSP技术的弹幕视频网站系统

开头语 你好,你好呀,我是计算机学长猫哥!如果有相关需求,可以通过文末的联系方式找到我。 开发语言 JSP 数据库 MySQL 技术 JSP JavaBeans 工具 MyEclipse、Tomcat、Navicat 系统展示 首页 用户登录界面 视频信息界面…

《跟我一起学“网络安全”》——等保风评加固应急响应

等保风评加固应急响应 一、安全加固 背景 随着IP技术的飞速发展,一个组织的信息系统经常会面临内部和外部威胁的风险,网络安全已经成为影响信息系统的关键问题。 虽然传统的防火墙等各类安全产品能提供外围的安全防护,但并不能真正彻底的消…

新闻稿标题怎么写吸引人?建议收藏

一个好的标题,不仅能激发读者的好奇心,还能引导他们继续深入了解文章内容。本文伯乐网络传媒将为你揭秘新闻稿标题写作的十大技巧,让你轻松写出吸引人的标题。 1. 激发好奇心 a. 提出疑问:以问句的形式提出问题,让读者…

C# Winform图形绘制

WinForms 应用程序中的控件是基于窗体的,当控件需要重绘时,它会向父窗体发送一个消息请求重绘。但是,控件本身并不直接处理绘制命令,所以你不能直接在控件上绘制图形。 解决方法: 重写控件的OnPaint方法使用CreateGr…

推荐3款轻量的window工具,免费好用

Rufus Rufus是一个制作U盘启动的工具,可以将window和linux操作系统制作成U盘启动,方便安装系统。 DesktopOK DesktopOK是一个电脑桌面图标备份工具,支持备份多个时间节点的桌面信息。一旦你的电脑桌面由于游戏或者其他软件导致你的桌面变得乱…

5.华为交换机局域网vlan网段隔离配置

目的:PC1与PC2互通 与PC3隔离 LSW1配置 [Huawei]vlan batch 10 20 [Huawei]int g0/0/1 [Huawei-GigabitEthernet0/0/1]port link-type access [Huawei-GigabitEthernet0/0/1]port default vlan 10 [Huawei-GigabitEthernet0/0/1]int g0/0/2 [Huawei-GigabitEthernet0/0/2]port…

C#调用OpenCvSharp和SkiaSharp绘制图像直方图

最近在B站上学习OpenCv教程,学到图像直方图,后者描述的是不同色彩在整幅图像中所占的比例(统计不同色彩在图像中的出现次数),可以对灰度图、彩色图等计算并绘制图像直方图。本文学习OpenCvSharp中与计算直方图相关的函…

PS插件创成式填充功能全面测评:轻松实现AI修图新高度

大家好,我是你们的AIGC测评博主。今天,我将为大家带来一款ps插件创成式填充功能——深度体验 在图像处理领域,AI技术的应用已经越来越广泛。而创成式填充功能,无疑是其中的佼佼者。它利用AI技术,能够根据用户输入的关…

数据库系统概论(个人笔记)(第四部分)

数据库系统概论(个人笔记) 文章目录 数据库系统概论(个人笔记)4、中间的SQL4.1 连接表达式4.2 视图4.3 事务4.4 完整性约束4.5 SQL数据类型和模式4.6 SQL中的索引定义4.7 授权 4、中间的SQL 4.1 连接表达式 Join Expressions Join…

使用mysqldump导出mysql数据库的数据

使用mysqldump导出mysql数据库的数据 mysqldump是mysql自带的一个工具,路径一般是C:\Program Files\MySQL\MySQL Server 5.7\bin\mysqldump.exe 有点需要导出的数据库,选择导入/导出,选择用mysqldump导出 在使用 IntelliJ IDEA 通过 mysqldum…

车载ADAS面试题,零基础也能看得懂!

周一来刷刷ADAS相关的面试题吧!相信看完这些题目,你会对ADAS有个更清晰的认识,即使你是零基础也可以轻松明白! 1、描述 ADAS 系统的基本组成和功能 答案:高级驾驶辅助系统(ADAS)是一套融合了多种…

Mathtype插入word,以及mathtype在word上的卸载

1.Mathtype插入word 花了两个小时,最终得出的极品简单的安装方法!!!!! mathype下载地址:https://store.wiris.com/zh/products/mathtype/download/windows 下载完傻瓜式安装,不要…

CAD二次开发(9)- CAD中对象的实时选择

1. 点的拾取 有时候我们需要在CAD画布上实时选取起始点和结束点,然后绘制出来一条直线。实现如下: public void getPoint(){var doc Application.DocumentManager.MdiActiveDocument;var editor doc.Editor;var docDatabase doc.Database;PromptPoi…

手写操作系统

对喜欢操作系统的伙伴强推一门课程 从0开始实现了支持文件系统、任务切换和网络协议栈的操作系统。 具体见 :http://www.ziyuanwang.online/977.html