Stable Diffusion + Segment Anything试用

安装

  1. 从continue-revolution/sd-webui-segment-anything安装插件
  2. 分割模型下载后放到这个位置：${sd-webui}/extension/sd-webui-segment-anything/models/sam下，可以下载3个不同大小的模型，从大到小如下：vit_h is 2.56GB, vit_l is 1.25GB, vit_b is 375MB。如果显存不够的话，可以考虑使用小模型。当然效果也可能会有损失。 经过上述步骤后，插件就安装好了。

使用教程

图片分割

安装

  1. 从continue-revolution/sd-webui-segment-anything安装插件
  2. 分割模型下载后放到这个位置：${sd-webui}/extension/sd-webui-segment-anything/models/sam下，可以下载3个不同大小的模型，从大到小如下：vit_h is 2.56GB, vit_l is 1.25GB, vit_b is 375MB。如果显存不够的话，可以考虑使用小模型。当然效果也可能会有损失。 经过上述步骤后，插件就安装好了。

使用教程

图片分割

手动方式

  • 标注图片

左键标记成黑点代表想要的物体，右键标记成红点代表不需要分割的物体

  • 分割结果 使用Preview Segmentation按钮生成分割图

image.png 根据分割的多个结果中选择1个最满意的节点

使用GroundingDINO加提示词自动识别分割物

image.png

勾选Enable GroundingDINO,就会出现下面的GroundingDINO Model (Auto download from huggingface)和GroundingDINO Detection Prompt,其中GroundingDINO Detection Prompt填上想要分割的物体，比如"dress" 点击Generate bounding box按钮，就可以看到分割效果，如下所示：

  • 分割结果 使用Preview Segmentation按钮生成分割图，和上面一样。

  • 扩充（可选）

image.png

如果分割图里面会有一些点没有完全覆盖的话，可以考虑扩充mask来使分割结果更好。比如上面手动分割图中裙子会有一些点没有覆盖到，可以考虑扩充像素。

点击Switch to Inpaint Upload，接下来就是使用【局部重绘（上传蒙版）】来做局部重绘了。

局部重绘（上传蒙版）

  • 除了把“重绘区域”修改成“仅蒙版”，这里大部分使用默认的参数。

image.png

  • 选择对应的controlNet，比如上面选择的是第1个分割结果，那就选择ControlNet Unit 1:
  1. 勾选启用、勾选Pixel Perfect，如果显存不够可以勾选低显存优化
  2. 选择预处理：inpait_global_harmonious，模型：control_v11_sd15_inpaint
  3. 其他参数默认

效果

使用X/Y/Z Plot脚本来替换提示词，如下：

red dress, pink dress,white dress,blue dress, frilled dress

效果如下：

image.png

可以看到还是比较完美的做了换装。

总结

本文简单使用了stable diffusion webui的Segment Anything来实验了换装操作，整体效果还是比较好的，当然目前选择的还是比较简单的图片，如果比较复杂的图片，是否还有这么好的效果，还需继续研究和试验。 当然作者认为它主要是为了方便做局部重绘时需要手动标记重绘区域时的不便，有了Segment Anything可以提高标记效率。

附录

遇到的问题

  1. 显存不够
torch.cuda.OutOfMemoryError: CUDA out of memory. ......

查看后台运行程序可能会时长出现上面的问题，这就是显存不够导致的，可以尝试把SAM Model修改成最小的vit_b，让流程跑起来。当然也可能目前该扩展还有一些显存的问题，看Issue上面也有挺多人遇到类似问题。

image.png

  1. 安装的版本不对
The detected CUDA version (12.1) mismatches the version that was used to compile PyTorch (11.7). Please make sure to use the same CUDA versions.
  • 需要保证保证nvcc --version显示的版本和nvidia-smi显示的版本保持一致。如果不一致，可能需要重新编译cuda版本。

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。
​

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 
在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述
​

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/754580.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Java后端八股----JVM篇

Java后端八股----JVM篇

上图中线程1，2如果资源被抢占了，则程序计数器记录一下执行的行号，等到资源就绪后会从记录的行号继续向后执行。 Java8把静态变量以及常量放到了线程的本地内存原空间中(避免放在堆中不可控)。 👆图中第二种情况不太容易出现…
阅读更多...
Linux docker2--镜像及容器操作-nginx部署示例

Linux docker2--镜像及容器操作-nginx部署示例

一、上一篇已经完成了docker的基础环境搭建&#xff0c;和docker的安装。不清楚的小伙伴可以自己找上一篇看一下。本例以部署nginx为例展示 二、镜像相关 1、切换docker的镜像源为阿里云 命令&#xff1a; sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json <&l…
阅读更多...
敏捷开发——elementUI/Vue使用/服务器部署

敏捷开发——elementUI/Vue使用/服务器部署

1. 创建vue项目 2. 安装element-ui组件库 npm i -S element-ui或 npm install element-ui3. 在main.js中导入element-ui组件 import ElementUI from element-ui import element-ui/lib/theme-chalk/index.css Vue.use(ElementUI)4. 运行 npm run serve后可以使用 ctrc终止进…
阅读更多...
如何选择合适的数据可视化工具？

如何选择合适的数据可视化工具？

如果是入门级的数据可视化工具&#xff0c;使用Excel插件就足够了&#xff01; Excel插件&#xff0c;tusimpleBI 是一款 Excel 图表插件&#xff0c;提供超过120项图表功能&#xff0c;帮助用户制作各种 Excel 所没有的高级图表&#xff0c;轻轻松松一键出图。 它能够制作10…
阅读更多...
VUE3 组件通信

VUE3 组件通信

props 用途&#xff1a;可以实现父子组件、子父组件、甚至兄弟组件通信 父组件 <template><div><Son :money"money"></Son></div> </template><script setup lang"ts"> import Son from ./son.vue import { re…
阅读更多...
量子加速超算简介

量子加速超算简介

量子加速超算简介 有用的量子计算的发展是全球政府、企业和学术界的巨大努力。 量子计算的优势可以帮助解决世界上一些与材料模拟、气候建模、风险管理、供应链优化和生物信息学等应用相关的最具挑战性的问题。 要实现量子计算的优势&#xff0c;需要将量子计算机集成到现有的…
阅读更多...
容器部署对比：通用容器部署 vs 使用腾讯云容器镜像服务（TCR）部署 Stable Diffusion

容器部署对比：通用容器部署 vs 使用腾讯云容器镜像服务（TCR）部署 Stable Diffusion

目录 引言1 通用容器部署的主要步骤1.1 准备环境1.2 构建 Docker 镜像1.3 上传镜像1.4 部署容器1.5 配置网络1.6 监控和维护 2 使用腾讯云容器镜像服务&#xff08;TCR&#xff09;部署的主要步骤2.1 下载 Stable Diffusion web UI 代码2.2 制作 Docker 镜像2.3 上传镜像到 TCR…
阅读更多...
Scala--02--IDEA编写Hello World

Scala--02--IDEA编写Hello World

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 1.Scala 插件安装1&#xff09;插件离线安装步骤2&#xff09; 插件在线安装&#xff08;推荐可选&#xff09; 2.HelloWorld 案例1&#xff09;打开 IDEA->点击…
阅读更多...
Javaweb学习记录（三）请求响应案例

Javaweb学习记录（三）请求响应案例

下面为一个请求响应案例&#xff0c;postman发送请求&#xff0c;服务器响应将一个xml文件中的数据通过读取解析&#xff0c;将其用Result类标准的格式返回前端&#xff0c;在前端用json的方式显示 后端Controller代码 1、通过本类的字节码文件得到类加载器并寻找到需要解析的…
阅读更多...
Jenkins-pipeline流水线构建完钉钉通知

Jenkins-pipeline流水线构建完钉钉通知

添加钉钉机器人 在钉钉群设置里添加机器人拿出Webhook地址&#xff0c;设置关键词 Jenkins安装钉钉插件 Dashboard > 系统管理 > 插件管理&#xff0c;搜索构建通知&#xff0c;直接搜索Ding Talk也行 安装DingTalk插件&#xff0c;重启Jenkins 来到Dashboard > 系…
阅读更多...
汽车专业翻译应该如何进行呢？

汽车专业翻译应该如何进行呢？

随着全球汽车行业的不断发展&#xff0c;大量的汽车业相关技术资料、产品说明、会议交流、推广分享等都需要进行语言转换&#xff0c;进而促进了汽车翻译业务的需求旺盛。那么&#xff0c;汽车专业翻译应该如何进行呢&#xff0c;北京哪个翻译公司比较好&#xff1f; 业内人士指…
阅读更多...
Webpack学习记录

Webpack学习记录

记录学习笔记&#xff0c;欢迎指正 1.大型项目为什么需要打包 1.1 使用打包工具原因 编译或转译文件&#xff1a; 项目中可能用到ES6语法&#xff0c;可能有浏览器不支持。需要打包工具将代码编译输出为ES5语法的代码。项目中可能使用Sass&#xff0c;Less等预处理器&#xff…
阅读更多...
【Selenium（一）】

【Selenium（一）】

简介 Selenium是一个开源的自动化测试工具&#xff0c;主要用于Web应用程序的自动化测试。它支持多种浏览器&#xff0c;包括Chrome、Firefox、Internet Explorer等&#xff0c;以及多种编程语言&#xff0c;如Java、Python、C#、Ruby等&#xff0c;使得它成为Web自动化测试中…
阅读更多...
python（Django）自动化之链接数据库

python（Django）自动化之链接数据库

1、安装数据库 具体安装mysql的教程其实在csdn上都有具体教程大家可以看看 2、更换django的配置 具体是在settings.py中将代码更改成如下&#xff1a; DATABASES {default: {ENGINE: django.db.backends.mysql,NAME: autotest,USER: root,PASSWORD: chengxian8.8,HOST: 12…
阅读更多...
腾讯云Kubernetes的容器服务平台TKE以及函数计算服务云感受

腾讯云Kubernetes的容器服务平台TKE以及函数计算服务云感受

目录 一、整体结构 二、内容深度 三、技术实用性 一、容器技术 1. 腾讯自身 2. 美团 二、函数计算技术 1. 滴滴出行 2. 小红书 实际应用 容器技术实践示例 函数计算技术实践示例 高级技术探讨示例 书中感受 这边文章是对《2023腾讯云容器和函数计算技术实践精选集…
阅读更多...
【iOS】——Blocks

【iOS】——Blocks

文章目录 前言一、Blocks概要1.什么是Blocks 二、Block模式1.block语法2.block类型变量3.截获自动变量值4._Block修饰符5.截获的自动变量 三、Blocks的实现1.Block的实质2.截获自动变量值3._Block说明符4.Block存储域 前言 一、Blocks概要 1.什么是Blocks Blocks是C语言的扩…
阅读更多...
Github 2024-03-18开源项目日报Top10

Github 2024-03-18开源项目日报Top10

根据Github Trendings的统计，今日(2024-03-18统计)共有10个项目上榜。根据开发语言中项目的数量，汇总情况如下： 开发语言项目数量Python项目7TypeScript项目3非开发语言项目1Solidity项目1《Hello 算法》：动画图解、一键运行的数据结构与算法教程 创建周期：476 天协议类型…
阅读更多...
mac清除dns缓存指令 mac清除缓存怎么清理

mac清除dns缓存指令 mac清除缓存怎么清理

你是否曾经被要求清理dns缓存并刷新&#xff1f;清理dns缓存一般是由于修改了主机文件&#xff0c;或者想排除一些网络上的故障。在Mac上清除dns缓存需要使用命令行来实现。在本文中&#xff0c;软妹子将向大家介绍mac清除dns缓存指令&#xff0c;并展示mac清除缓存怎么清理。 …
阅读更多...
超越传统的极限：解密B树与B+树的数据结构之美！

超越传统的极限：解密B树与B+树的数据结构之美！

超越传统的极限&#xff1a;解密B树与B树的数据结构之美&#xff01; B树和B树是在计算机科学中常用的平衡查找树数据结构&#xff0c;它们在处理大规模数据和磁盘存储方面具有重要的优势。本文将深入介绍B树和B树的基本概念、特点以及它们在数据库和文件系统中的应用&#xff…
阅读更多...
嵌入式-4种经典继电器驱动电路-单片机IO端口/三极管/达林顿管/嵌套连接

嵌入式-4种经典继电器驱动电路-单片机IO端口/三极管/达林顿管/嵌套连接

文章目录 一&#xff1a;继电器原理二&#xff1a;单片机驱动电路三&#xff1a;经典继电器驱动电路方案3.1 继电器驱动电路方案一&#xff1a;I/O端口灌电流方式的直接连接3.1.1 方案一的继电器特性要求3.1.2 方案一可能会损坏I/O口 3.2 继电器驱动电路方案二&#xff1a;三极…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023