玩转 AIGC！使用 SD-WebUI 实现从文本到图像转换

节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

基于大家的讨论和大模型实践，我们写了：

《大模型面试宝典》(2024版) 发布！
《大模型实战宝典》(2024版) 发布！

stable-diffusion-webui是一个很棒的开源项目，它是一款基于web的GUI应用，让用户能够方便地与 stable-diffusion模型进行交互，选择不同的模型，并实现从文本到图像（txt2img）的以及其他图像处理任务。也可进行图像生成图像以及图像高分辨、重绘（inpainting）、编辑等工作。

stable-diffusion-webui为创作者们提供了友好且直观的操作界面，无需直接编写代码就能够利用丰富的模型进行创作。用户也可以通过简单的参数配置，比如调整生成图片的尺寸、采样方式和步数、选择不同的预训练模型、调整seed等，来定制和优化生成图像的效果。同时，该Web UI也支持用户进行个性化训练，即在一定条件下训练自己的模型。

stable-diffusion-webui是一个便捷的工具，大大降低了复杂AI技术的使用门槛，让更多人能享受到AI驱动的图像生成技术带来的便利与创新可能。

图片

技术交流&资料

技术要学会分享、交流，不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。

成立了大模型面试和技术交流群，相关资料、技术交流&答疑，均可加我们的交流群获取，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2040，备注：来自CSDN + 技术交流

最佳实践

环境配置和安装：

  1. python 3.10及以上版本

  2. pytorch推荐2.0及以上版本

  3. 建议使用CUDA 11.8及以上

GPU环境镜像(python3.10)：

registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.13.1
registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.13.1
registry.us-west-1.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.13.1

下载和部署stable-diffusion-webui

clone代码，并安装相关依赖：

%cd /mnt/workspace/
# 安装依赖和下载源码
!apt update
!apt install -y aria2
!pip install gradio==3.41.2
!pip install insightface
!pip install gdown
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

下载一些经典的文生图模型（包含SD基础模型，Lora，Controlnet等），并存放到models目录的相关子目录下。小伙伴们可以选择自己希望使用的模型并下载，如下代码注释了模型类型，并映射到了对应的存储文件夹。

# 基础模型下载
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/stable-diffusion-2-1/repo?Revision=master&FilePath=v2-1_768-ema-pruned.ckpt" -d /mnt/workspace/stable-diffusion-webui/models/Stable-diffusion -o v2-1_768-ema-pruned.ckpt
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/stable-diffusion-2-base/repo?Revision=master&FilePath=512-base-ema.ckpt" -d /mnt/workspace/stable-diffusion-webui/models/Stable-diffusion -o 512-base-ema.ckpt
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/anything-v3.0/repo?Revision=master&FilePath=Anything-V3.0-pruned.ckpt" -d /mnt/workspace/stable-diffusion-webui/models/Stable-diffusion -o Anything-V3.0-pruned.ckpt# VAE模型下载
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/sd-vae-ft-mse-original/repo?Revision=master&FilePath=vae-ft-mse-840000-ema-pruned.ckpt" -d /mnt/workspace/stable-diffusion-webui/models/Stable-diffusion -o Anything-V3.0-pruned.vae.pt# clip模型下载
!git clone https://www.modelscope.cn/AI-ModelScope/clip-vit-large-patch14.git /mnt/workspace/stable-diffusion-webui/openai/clip-vit-large-patch14# controlnet模型下载
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=canny-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o canny-sd21-safe.safetensors
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=depth-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o depth-sd21-safe.safetensors
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=hed-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o hed-sd21-safe.safetensors
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=openpose-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o openpose-sd21-safe.safetensors
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=scribble-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o scribble-sd21-safe.safetensors
# Embedding模型下载
!git clone https://www.modelscope.cn/AI-ModelScope/negative.git /mnt/workspace/stable-diffusion-webui/embeddings/negative# lora模型下载
!git clone https://www.modelscope.cn/sd_lora/embed_lora.git /mnt/workspace/stable-diffusion-webui/models/Lora/positive# 放大模型（upscaler）下载
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/upscale/repo?Revision=master&FilePath=4x-UltraSharp.pth" -d /mnt/workspace/stable-diffusion-webui/models/ESRGAN -o 4x-UltraSharp.pth

运行sd-webui的前端gradio组件，拉起服务：

%cd stable-diffusion-webui
!python launch.py --listen --xformers --enable-insecure-extension-access --theme dark --gradio-queue --lowvram

切换模型，可以看到不同的生成效果：

Anything-V3.0

图片

sd2.1

图片

通俗易懂讲解大模型系列

  • 重磅消息！《大模型面试宝典》(2024版) 正式发布！

  • 重磅消息！《大模型实战宝典》(2024版) 正式发布！

  • 做大模型也有1年多了，聊聊这段时间的感悟！

  • 用通俗易懂的方式讲解：大模型算法工程师最全面试题汇总

  • 用通俗易懂的方式讲解：不要再苦苦寻觅了！AI 大模型面试指南（含答案）的最全总结来了！

  • 用通俗易懂的方式讲解：我的大模型岗位面试总结：共24家，9个offer

  • 用通俗易懂的方式讲解：大模型 RAG 在 LangChain 中的应用实战

  • 用通俗易懂的方式讲解：ChatGPT 开放的多模态的DALL-E 3功能，好玩到停不下来！

  • 用通俗易懂的方式讲解：基于扩散模型（Diffusion）,文生图 AnyText 的效果太棒了

  • 用通俗易懂的方式讲解：在 CPU 服务器上部署 ChatGLM3-6B 模型

  • 用通俗易懂的方式讲解：ChatGLM3-6B 部署指南

  • 用通俗易懂的方式讲解：使用 LangChain 封装自定义的 LLM，太棒了

  • 用通俗易懂的方式讲解：基于 Langchain 和 ChatChat 部署本地知识库问答系统

  • 用通俗易懂的方式讲解：Llama2 部署讲解及试用方式

  • 用通俗易懂的方式讲解：一份保姆级的 Stable Diffusion 部署教程，开启你的炼丹之路

  • 用通俗易懂的方式讲解：LlamaIndex 官方发布高清大图，纵览高级 RAG技术

  • 用通俗易懂的方式讲解：为什么大模型 Advanced RAG 方法对于AI的未来至关重要？

  • 用通俗易懂的方式讲解：基于 Langchain 框架，利用 MongoDB 矢量搜索实现大模型 RAG 高级检索方法

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/1888.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

javaScript常用知识点

javaScript常用知识点

1. this指向问题 在绝大多数情况下，函数的调用方式决定了this的值。this不能在执行期间被赋值，并且在每次函数被调用时this的值也可能会不同。 this指向的对象称为函数的上下文对象context；this的指向取决于函数被调用方式this的指向不是函数…
阅读更多...
【更新】cyのMemo（20240422~）

【更新】cyのMemo（20240422~）

序言 胡哥首马在淮安325完赛，他的本硕都在淮安度过，七年的跑步生涯画上句号，真的是很圆满。七年，从180斤瘦到120斤，历经种种，胡哥理解的跑步，不是快，而是稳，他在比赛中从…
阅读更多...
力扣HOT100 - 226. 翻转二叉树

力扣HOT100 - 226. 翻转二叉树

解题思路： class Solution {public TreeNode invertTree(TreeNode root) {if (root null) return null;TreeNode left invertTree(root.left);TreeNode right invertTree(root.right);root.left right;root.right left;return root;} }
阅读更多...
《ElementUI 基础知识》png 图片扩展 icon用法

《ElementUI 基础知识》png 图片扩展 icon用法

前言 UI 设计给的切图是 .png 格式。但想与 Element UI icon 用法类似，方案如下。 实现 步骤一 准备图片 步骤二 新建文件，可使用 CSS 预处理语言 styl 或 scss。 stylus 方式 文件 icon.styl /* 定义一个混合 */ cfgIcon(w, h) {display: inlin…
阅读更多...
如何判别三角形和求10 个整数中最大值？

如何判别三角形和求10 个整数中最大值？

分享每日小题，不断进步，今天的你也要加油哦！接下来请看题------> 一、已知三条边a，b，c能否构成三角形，如果能构成三角形，判断三角形的类型（等边三角形、等腰三角形或普通三角形 …
阅读更多...
DAPP的商业模型创新: 探索可持续盈利路径

DAPP的商业模型创新: 探索可持续盈利路径

去中心化应用（Decentralized Applications，DAPPs）作为区块链技术的重要应用之一，在近年来蓬勃发展。然而，随着市场竞争的加剧和用户需求的不断变化，DAPP开发者们面临着寻找可持续盈利路径的挑战。本文将探讨…
阅读更多...
注意libaudioProcess.so和libdevice.a是不一样的，一个是动态链接，一个是静态

注意libaudioProcess.so和libdevice.a是不一样的，一个是动态链接，一个是静态

libaudioProcess.so是动态链接，修改需要改根文件系统，需要bsp重新配置 libdevice.a是静态链接，直接替换就行 动态链接文件修改 然后执行fw_update.sh
阅读更多...
最优控制理论笔记 - 03无约束条件下的泛函极值问题

最优控制理论笔记 - 03无约束条件下的泛函极值问题

一、始端时刻t0和终端时刻tf时刻都给定的泛函极值问题 其中式子2.8为欧拉方程，式子2.9为横截条件。 上述推导的重要作用在于将求泛函的极值问题转化为求解欧拉方程在满足边界条件和横截条件下的定解问题。 1. 固定始端和终端 2. 自由始端和自由终端 3. 自由始端和…
阅读更多...
一文读懂链游！探索链游的前世今生，区块链与游戏结合的新兴趋势

一文读懂链游！探索链游的前世今生，区块链与游戏结合的新兴趋势

区块链技术的崛起给游戏行业带来了前所未有的变革，而链游（Blockchain Games）正是这一变革的产物。本文将带您一览链游的前世今生，探索区块链与游戏结合的新兴趋势。 1. 链游的起源 链游，顾名思义，是指利用…
阅读更多...
恶心透了的小日子，害人终害己，国货呼吁关注抵制日本核废水排放

恶心透了的小日子，害人终害己，国货呼吁关注抵制日本核废水排放

​|日本排放核废水 日本政府决定将福岛第一核电站的核污染水经过处理后排放入海，这一决定引发了多方面的担忧和反对，特别是在周边国家，包括中国和韩国。关于日本排放核污染水这一新闻事件，我们必须首先认识到，核能利用…
阅读更多...
【MySQL 数据宝典】【磁盘结构】- 002 数据字典

【MySQL 数据宝典】【磁盘结构】- 002 数据字典

一、数据字典 ( Data Dictionary ) 1.1 背景介绍 我们平时使用 INSERT 语句向表中插入的那些记录称之为用户数据，MySQL只是作为一个软件来为我们来保管这 些数据，提供方便的增删改查接口而已。但是每当我们向一个表中插入一条记录的时候，MyS…
阅读更多...
前端学习之DOM编程案例：点名案例和秒表案例

前端学习之DOM编程案例：点名案例和秒表案例

点名 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>点名案例</title><style>*{margin: 0;padding: 0;}</style> </head> <body><div id"container">…
阅读更多...
H5 台球猜位置小游戏

H5 台球猜位置小游戏

刷到抖音有人这样玩&#xff0c;就写了一个这样的小游戏练习一下H5的知识点。 小游戏预览 w(&#xff9f;Д&#xff9f;)w 不开挂越急越完成不了&#xff0c;&#x1f47f;确认15次也没全对… 知识点 获取坐标位置的DOM元素&#xff0c;感觉应该是新的吧&#xff0c;以前的…
阅读更多...
使用Python进行容器编排Docker Compose与Kubernetes的比较

使用Python进行容器编排Docker Compose与Kubernetes的比较

&#x1f47d;发现宝藏 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。【点击进入巨牛的人工智能学习网站】。 随着容器化技术的普及&#xff0c;容器编排成为了管理和部署容器化应用程序的重要环节。在容…
阅读更多...
[C++][算法基础]求约数(试除法)

[C++][算法基础]求约数(试除法)

给定 n 个正整数 &#xff0c;对于每个整数 &#xff0c;请你按照从小到大的顺序输出它的所有约数。 输入格式 第一行包含整数 n。 接下来 n 行&#xff0c;每行包含一个整数 。 输出格式 输出共 n 行&#xff0c;其中第 i 行输出第 i 个整数 的所有约数。 数据范围 1≤…
阅读更多...
上传文件到HDFS

上传文件到HDFS

1.创建文件夹 hdfs -dfs -mkdir -p /opt/mydoc 2.查看创建的文件夹 hdfs -dfs -ls /opt 注意改文件夹是创建在hdfs中的&#xff0c;不是本地&#xff0c;查看本地/opt&#xff0c;并没有该文件夹。 3.上传文件 hdfs dfs -put -f file:///usr/local/testspark.txt hdfs://m…
阅读更多...
插值与重采样在AI去衣技术中的关键作用

插值与重采样在AI去衣技术中的关键作用

在人工智能&#xff08;AI&#xff09;的众多应用中&#xff0c;去衣技术作为一种新兴的图像处理技术&#xff0c;逐渐引起了广泛关注。这项技术不仅涉及复杂的计算机视觉和深度学习算法&#xff0c;还需要对图像处理中的插值与重采样技术有深入的理解。本文将详细探讨插值与重…
阅读更多...
【智能算法】寄生捕食算法（PPA）原理及实现

【智能算法】寄生捕食算法（PPA）原理及实现

目录 1.背景2.算法原理2.1算法思想2.2算法过程 3.结果展示4.参考文献 1.背景 2020年&#xff0c;AAA Mohamed等人受到自然界乌鸦-布谷鸟-猫寄生系统启发&#xff0c;提出了寄生捕食算法&#xff08;Parasitism – Predation Algorithm, PPA&#xff09;。 2.算法原理 2.1算法…
阅读更多...
密钥密码学（一）

密钥密码学（一）

原文&#xff1a;annas-archive.org/md5/b5abcf9a07e32fc6f42b907f001224a1 译者&#xff1a;飞龙 协议&#xff1a;CC BY-NC-SA 4.0 前言 序言 从秘密解码环到政府政策声明&#xff0c;隐藏和发现信息的挑战长期以来一直吸引着智慧。密码学是一个引人入胜的主题&#xff0c;…
阅读更多...
网络安全与密码学--AES加密

网络安全与密码学--AES加密

分组加密之AES加密算法 AES算法的诞生 python实现AES加密 AES加密详细流程 AES解密过程 AES的应用 1997年 NIST征集AES&#xff08;Advanced Encryption Standard&#xff09;2000年选中 https://www.nist.gov/ https://csrc.nist.gov/projects/block-cipher-techniques A…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023