【亚马逊云新春特辑②】构生成式 AI 文生图工具之借助ControlNet进行AI绘画创作【生成艺术二维码】

文章目录

      • 1.1 生成艺术二维码
        • 1)制作基础二维码
        • 2)确定艺术风格
        • 3)生成艺术二维码
        • 4)结果优化

AIGC 的可控性是它进入实际生产最关键的一环。在此之前,许多用户希望 AI 生成的结果尽可能符合要求,但都不尽如人意。ControlNet 提供一个新的神经网络概念,该网络可以控制Stable Diffusion模型并让Stable Diffusion模型支持更多的输入条件。原始的SDStable Diffusion能接受prompt以及source image的输入,ControlNet提供了包括canny边缘,语义分割图,姿态识别,涂鸦在内的多种输入条件,拓展了Stable Diffusion的能力边界,使得AI绘画的可控性大幅提高。

imAgine在Stable Diffusion Webui中预装了ControlNet插件以及模型,可以通过使用 ControlNet 预处理器和 ControlNet 模型,来进行您的创作。本次动手训练营您将通过利用ControlNet体验到以下能力:

  • 生成艺术二维码
  • 使用Openpose优化人物二维码
  • 生成艺术字照片

ControlNet提供多种模型选择,每一种模型对图片的关注不同,例如一些是关注主体边缘,一些是关注建筑线条,一些是关注人物姿势等:

注意:目前ControlNet是AI绘画界的热点,其更新速度极快,考虑到时效性,仅作当前参考

1.1 生成艺术二维码

1)制作基础二维码

完成二维码制作后,点击 “Send to ControlNet”,直接将二维码发送至 ControlNet,或点击右侧的 “Download” 以下载到本地以进行下一步操作。

image-20240201170540180

2)确定艺术风格
mountain, green grassland, sky, cloud, bird, blue sky, no human, day, wide shot, flower, flying, border, outdoors, white bird, scenery

image-20240201171231641

3)生成艺术二维码

确认好图片风格后,我们将未经处理的二维码上传 ControlNet。请在“文生图”标签页中展开ControlNet标签,并注意以下几个选项的配置:

  • 勾选 “启用” 按钮 :以确保 ControlNet 在图片生成过程中生效;
  • 模型选框:请选择 “control_v1p_sd15_qrcode_monster” 来使用ControlNet二维码控制模型;
  • 控制权重:对于 qrcode_monster 模型,建议设置在 1.1-1.6 之间;
  • 引导介入/终止时机:介入时机建议在 0-0.1 之间,终止时机建议为 1

image-20240201173030903

在文生图配置中建议调整两组数值:

  • 迭代步数:在 30-50 之间,默认值 20 不足以引导生成一个高质量的二维码图片
  • 宽度/高度:直接从 ControlNet 发送二维码原图的宽高比至上方

image-20240201172940317
image-20240201172828949

4)结果优化

ontrolNet 的参数会影响何时以及如何将控制应用于生成过程。

  • 控制权重 - ControlNet 的权重。 权重越高,输出受 ControlNet 的影响就越大。
  • 开始控制步骤 - ControlNet 开始生效时生成过程的百分比。
  • 结束控制步骤 - ControlNet 停止生效时生成过程的百分比。

启动控制步骤将允许提示和模型在知道 QR 码控件存在之前发挥创意。 最终控制步骤将允许模型尝试将 QR 码更多地融入到艺术品中(但会使二维码更难扫描)。 它需要几次尝试和错误才能找到适当的平衡,以便 ControlNet 有足够的时间进行干预,但又不能太多,这样代码就足够艺术化。

如果生成的二维码不能够达到期望,可以选择微调以下几个参数,并增加生成的总批次数,不断尝试抽卡以逼近最终期望的效果:

  • 提示词
  • 采样方法
  • ControlNet 控制权重
  • ControlNet 引导介入/终止时机

必要时可以选择使用 “脚本” 中的 X/Y/Z Plot,来对比不同参数下生成二维码的效果。要使用X/Y/Z Plot,请在WebUI页面底部“脚本”处选择X/Y/Z Plot,您可以尝试通过选中X与Y轴的类型(Type),以控制ControlNet 控制权重(ControlNet Weight)和 ControlNet引导介入/终止时机(ContolNet Guidance Start)来观察不同生成的效果。

image-20240201173451629
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/707825.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

961. 最大获利(网络流,最小割,最大权闭合图)

活动 - AcWing 新的技术正冲击着手机通讯市场,对于各大运营商来说,这既是机遇,更是挑战。 THU 集团旗下的 CS&T 通讯公司在新一代通讯技术血战的前夜,需要做太多的准备工作,仅就站址选择一项,就需要完…

linux centos7.9改dns和ip

vi /etc/sysconfig/network-scripts/ifcfg-ens32 :wq后 重启网络服务 systemctl restart network —————————————————————————— 篇外话题 软件下载 xshell可以从腾讯软件中心下载

基于Rust语言,和WebAssembly技术,与JavaScript结合,的具体应用场景

基于Rust语言与WebAssembly(Wasm)技术并与JavaScript结合,可以应用于多个场景,特别是在需要高性能和/或低级系统访问的情况下。下面是一些具体的应用场景: 性能密集型任务: Rust加上Wasm适合执行计算密集型任务&#x…

笔记电商人工智能客服

天猫-店小蜜 标准模式 全自动接待:机器接待。若答不出,转人工引导语,顾客手动转人工。 智能辅助接待:机器人将辅助客服接待,在客服接待过程中提供话术推荐,并自动回复客服尚未接起的买家咨询。 混合接待…

在达梦DM8数据库的运行日志中出现大量 Failure occurs in data_recv_inet_once 警告信息

【问题描述】: 在 DM 达梦数据库的运行日志中出现大量 Failure occurs in data_recv_inet_once 警告信息,如下图: [WARNING] database P0000005986 T0000000000000022168 Failure occurs in data_recv_inet_once, code(13) len(32576, 0) [W…

使用 C++23 协程实现第一个 co_yield 同步风格调用接口--Qt计算排列组合

上一篇介绍了 co_await 的例子。与 co_await 类似,在C23的协程特性里, co_yield 用于从协程执行过程中暂停,并返回值。这个功能乍一听起来很奇怪,网上的例子大多是用一个计数器来演示多次中断协程函数,返回顺序的计数值…

【MySQL】DCL

DCL英文全称是Data Control Language(数据控制语言),用来管理数据库用户、控制数据库的访问权限。 1. 管理用户 在MySQL数据库中,DCL(数据控制语言)是用来管理用户和权限的语句集合。通过DCL语句,可以创建、修改、删…

机器遗忘同等重要,AI如何忘记不良数据,保护用户隐私?

引言:大语言模型中的机器遗忘问题 在人工智能领域,大语言模型(LLMs)因其在文本生成、摘要、问答等任务中展现出的卓越能力而备受关注。然而,这些模型在训练过程中可能会记住大量数据,包括敏感或不当的信息…

数据分析(二):学生成绩预测分析报告

目录 摘要 一、引言 二、 数据源介绍 三、 数据清洗和预处理 3.1 缺失值处理 3.2 异常值处理 3.3 数据编码 四、 探索性数据分析 4.1 可视化相关统计量 4.2 目标数据的分布情况 4.3 Pearson 相关性分析 五、 特征工程 5.1 特征构造 5.1.1 总饮酒量 5.1.2 整体关…

使用空闲电脑免费搭建一个私人的网盘

如果你也有一台空闲电脑,可以使用它来搭建一个私人的网盘。 这里使用的是飞梦云网盘; 服务端:下载 服务器文件使用hash校验进行储存,实现重复上传的文件秒传功能。 Fuse4Ui(虚拟分区工具):下…

GaN建模:强大但富有挑战性

来源:Modeling GaN: Powerful but Challenging(10年) 文章的研究内容 这篇文章主要研究了氮化镓(GaN)高电子迁移率晶体管(HEMTs)的建模问题。GaN HEMTs是微波频段高功率发射器设计中的关键技术…

java面试题基础篇,kafka与rabbitmq面试题

1. Java 堆空间 **发生频率:**5颗星 造成原因 无法在 Java 堆中分配对象 吞吐量增加 应用程序无意中保存了对象引用,对象无法被 GC 回收 应用程序过度使用 finalizer。finalizer 对象不能被 GC 立刻回收。finalizer 由结束队列服务的守护线程调用&a…

C语言操作符优先顺序

以下是 C 语言中各种运算符的优先级,按照优先级从高到低的顺序列出: () : 圆括号,函数调用,强制类型转换[] : 数组下标-> : 结构体和共用体成员通过指针访问. : 结构体和共用体成员访问 -- : 自增、自减 - : 正、负号! ~ : 逻…

K8S常见的持久化(存储)方案用法详解

文章目录 1、k8s持久化存储:emptyDir 临时存储方案2、k8s持久化存储:hostPath3、k8s持久化存储:nfs1、搭建nfs服务2.创建Pod,挂载NFS共享出来的目录3.请求pod,看结果 4、k8s持久化存储: PVC4.1.1 k8s PV是什…

BOOT电路

本质:BOOT电路本质上是单片机的引脚 作用:BOOT电路的作用是用于确定单片机的启动模式 使用方法:在单片机上电或者复位时给BOOT管脚设置为指定电平即可将单片机设置为指定启动模式。 原理:单片机上电或复位后会先启动内部晶振&a…

【C++进阶】哈希 + unordered系列容器

👦个人主页:Weraphael ✍🏻作者简介:目前学习C和算法 ✈️专栏:C航路 🐋 希望大家多多支持,咱一起进步!😁 如果文章对你有帮助的话 欢迎 评论💬 点赞&#x1…

华为 OD 一面算法原题

2.2 亿彩票公布调查结果 昨天,闹得沸沸扬扬的《10 万中 2.2 亿》的彩票事件,迎来了官方公告。 简单来说,调查结果就是:一切正常,合规合法。 关于福利彩票事件,之前的推文我们已经分析过。 甚至在后面出现《…

IP地址(YACS)

题目描述 IP地址是一个长度固定为 3232 位 的 01 序列,给定一个IP地址,请将它转成点分十进制后输出。 点分十进制的转化方法如下:首先将IP地址分割成长度相等的四个二进制数字(每个二进制数字的长度为 88)&#xff0…

鸿运(通天星CMSV6车载)主动安全监控云平台敏感信息泄露漏洞

文章目录 前言声明一、系统简介二、漏洞描述三、影响版本四、漏洞复现五、修复建议 前言 鸿运主动安全监控云平台实现对计算资源、存储资源、网络资源、云应用服务进行7*24小时全时区、多地域、全方位、立体式、智能化的IT运维监控,保障IT系统安全、稳定、可靠运行…

unity初学问题:如何修改图片的坐标

如图,我们想要修改图片的轴心点坐标(Pivot) 选择图片组 打开编辑器在里面修改即可(最下面的Custom Pivot)