前言
距离我们上次介绍 joy_caption 还没几天呢,这就又出新模型来与 joy_caption 一争高下了。
今天我们要介绍的是:Florence-2-X-PromptGen-v1.5,是在 Florence-2 的基础上进行精细调优的一款高级图像标注工具,专门为生成和标注提示词而训练。
相比 Florence-2,不仅提升了反推质量以及准确度,最重要的是继承了 Florence-2 的低显存和超快的推理速度。
最低只需要 1G 左右的显存就可以完成推理,性价比是相当高的。
接下来,我们就来对比下 Florence-2-X-PromptGen-v1.5 和 joy_caption 的反推效果吧!
好了,话不多说,我们直接开整。
Florence-2-X-PromptGen-v1.5 也和 Florence-2 一样有 base 版 和 large 版之分,也就是基础版和升级版,大小分别是 1G 和 3G,显存占用分别是 0.7G 和 1.8G 的样子。joy_caption 占用的显存大概是 7.7G 的样子。
接下来,我们就来对比下 Florence-2-X-PromptGen-v1.5 的 base 版、large 版 和 joy_caption 的反推效果吧。
本文涉及的工作流和插件,需要的朋友请扫描免费获取哦 ~
左边是原图,右边是反推的提示词。
这里可以看到 base 没有识别出和服,还多了一枚戒指;large 这里精准的识别出了粉色的指甲,不过把耳环漏了,手的位置也不太对;joy 这里也有一些不太准确的地方,比如波浪型头发、项链、胸前敞开、握手等等。
来看下出图效果,总体来看的话,还是 large 要准确一些。
换个真实的风格试试。
总体来看的话,也还是 large 的出图效果更相似,不过头上的花漏了一朵。
来换个拟人的动物风格。
看上边的反推提示词,large 其实是识别出了是黑色三角帽,但是 flux.1 没画出来,joy 这里是把帽子给漏了。
来个抽象一点的,看提示词的话,large 总体上来说更准确一些。
从生成的图像来看,也还是 large 最符合原图的风格框架。
演示完毕,我们来看下这个模型具体如何使用,如果安装了 Comfyui_CXH_joy_caption 这个插件的小伙伴可以直接使用 base 版,现在 large 版还不支持,不过后续应该也会支持。
想要现在就用上 large 版本的小伙伴,或者 Comfyui_CXH_joy_caption 安装不上的小伙伴,可以安装这个插件:ComfyUI-Miaoshouai-Tagger,这个 Florence-2-X-PromptGen-v1.5 模型官方指定的插件。
以下分别是两个插件使用 Florence-2-X-PromptGen-v1.5 反推提示词的工作流 。
从性比价上来说,large 是完胜 joy 的,毕竟显存占用不到 2G,推理速度也比 joy 快,而且准确率也不比 joy 低。
当然这个只是一家之言哈,小伙伴们还是可以多尝试一些场景,看看哪个更符合自己。
好了,今天的分享就到这里了,感兴趣的小伙伴快去试试吧!
为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
一、ComfyUI配置指南
- 报错指南
- 环境配置
- 脚本更新
- 后记
- …
二、ComfyUI基础入门
- 软件安装篇
- 插件安装篇
- …
三、 ComfyUI工作流节点/底层逻辑详解
- ComfyUI 基础概念理解
- Stable diffusion 工作原理
- 工作流底层逻辑
- 必备插件补全
- …
四、ComfyUI节点技巧进阶/多模型串联
- 节点进阶详解
- 提词技巧精通
- 多模型节点串联
- …
五、ComfyUI遮罩修改重绘/Inpenting模块详解
- 图像分辨率
- 姿势
- …
六、ComfyUI超实用SDXL工作流手把手搭建
- Refined模型
- SDXL风格化提示词
- SDXL工作流搭建
- …
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取