零基础学习图生图

目录

  • 一、图生图是什么
  • 二、安装秋叶整合包
    • 2.1 秋叶包安装
    • 2.2 秋叶包拓展安装:
    • 2.3 ckpt配置:
    • 2.4 界面常用功能配置:
  • 三、图生图基本功能展示
    • 3.1 图生图的界面
    • 3.2 重要的参数设置:
    • 3.3 涂鸦功能
    • 3.4 局部重绘功能
    • 3.5 涂鸦重绘
    • 3.6 上传重绘蒙版


一、图生图是什么

之前一直介绍文生图的若干技巧,例如训练属于自己的LoRA模型,作为一个微调的模型,可以较快实现生成内容的指定编辑。但是,有些情况下,无法用文字准确描述的时候,提示词的作用无法发挥出来,这个时候可以借助其他图的结构,来生成我们指定的图片内容,这就是图生图的原始思想。
举个例子:
给出一张示例图如下:
在这里插入图片描述
我们给出的提示词:蓝色眼睛。通过图生图的效果如下:
在这里插入图片描述

二、安装秋叶整合包

2.1 秋叶包安装

硬件环境:电脑处理器是13th Gen Intel® Core™ i9-13900K,3000 Mhz,24 个内核,32 个逻辑处理器,显卡NVIDIA GeForce RTX 4090;
软件环境:驱动版本是Nvidia 版本 546.17 (Game Ready 驱动程序),参考下图,选择pyTorch 版本为Torch2.2.0(CUDA11.8)+xFormers 0.0.24
安装提示:因为一直提示解压密码错误(使用的密码是:bilibili@秋葉aaaki (但是一直报错)),因此使用绘世启动器下载地址是:
https://www.bilibili.com/video/BV1ne4y1V7QU
具体为:下载之后,只从解压包里选择双击绘世启动,单独放到空文件夹,然后基本上从零开始安装各种库包,其中pyTorch怎么选择可以参考如下:

在这里插入图片描述

2.2 秋叶包拓展安装:

安装完之后,双击绘世启动器启动,按照下面图片的顺序安装相关扩展
在这里插入图片描述
需要安装的扩展就是下面这些:

a1111-sd-webui-tagcomplete
adetailer
multidiffusion-upscaler-for-automatic1111
sd-dynamic-thresholding
sd-webui-controlnet
sd-webui-infinite-image-browsing
sd-webui-lora-block-weight
sd-webui-model-converter
sd-webui-openpose-editor
sd-webui-prompt-all-in-one
sd-webui-segment-anything
sd-webui-supermerger
stable-diffusion-webui-model-toolkit
stable-diffusion-webui-wd14-tagger
ultimate-upscale-for-automatic1111
stable-diffusion-webui-localization-zh_Hans

2.3 ckpt配置:

可以选择已下载好的大模型(ckpt或safetensors文件)
在这里插入图片描述
这些完成了之后就一键启动(因为要加载SD-WebUI界面所以要一定时间),进入UI界面之后点击设置。
Tips:加载过程一般比较慢,如果无法加载成功,有可能需要更新显卡驱动。

2.4 界面常用功能配置:

例如SD、VAE或Clip步数等,都可以通过用户界面进行配置。

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

像图片界面一样进行配置,配置完之后就先点击保存设置,然后重启网页UI。最后等一段时间加载完数据就可以正常使用了,为了验证是否可以用一般我们还会进测试,如下图所示进行文生图。
在这里插入图片描述

在这里插入图片描述
如果浏览器不断断开连接,需要不断刷新,可以检查自己显卡驱动是不是最新的。

三、图生图基本功能展示

3.1 图生图的界面

在这里插入图片描述

3.2 重要的参数设置:

重绘幅度:代表ai绘画参与的程度,数字越小越接近原图,0就是原图;1的话,表示100%重画,更改幅度最大。
在这里插入图片描述
重绘值:0,即图片与原图没有什么区别,只是尺度不一样。
在这里插入图片描述
分辨率设置:一般默认为512x512
在这里插入图片描述

也可在原图的分辨率设置倍数:如果想生成与原来图片一样大小的图片可以选择重绘尺度倍数,1就是原来大小,2就俩倍大依次类推。
在这里插入图片描述

参数:缩放模式,一共有4种,如下图所示:
在这里插入图片描述

  • 仅调整大小,对图像进行缩放,到目标分辨率。
  • 裁剪后缩放,对图像进行裁剪到目标尺度,再缩放大小。
  • 缩放后填充空白,对图像进行缩放,短边不足的部分会补充与背景相同的部分。如下图所示。
  • 调整大小 (潜空间放大),这个主要是在原始图像进入潜空间之后对图像进行缩放,类似于对每个像素进扩大,,所以一般重绘幅度要大于0.5(越高效果越好),不然画质会很模糊,其主要是用来建立不同风格但是有点类似的图片。上图所示就是重绘程度0.93的效果图。

在这里插入图片描述
在这里插入图片描述
图生图的功能主要有:

  • 涂鸦
  • 局部重绘
  • 涂鸦重绘
  • 上传重绘蒙版
    在这里插入图片描述

3.3 涂鸦功能

涂鸦功能,体现在:一个最好是纯白色背景的图片,然后使用鼠标选择画笔与颜色进行涂鸦绘画,然后通过提示词,即可生成与涂鸦内容相似的内容。

比方说,本人的涂鸦绘画如下所示:
在这里插入图片描述

给出提示词,比方说:a tree, wind
基于以上两点,生成的涂鸦定制图片如下所示:
在这里插入图片描述

3.4 局部重绘功能

局部重绘,字面意思一样,即通过鼠标画笔将局部像素抹掉。然后根据提示词,来生成抹掉部分的内容。它主要用在修改细节部分,即图片整体不错但有瑕疵时用到。
在这里插入图片描述

如上图所示用画笔选择好自己修改的地方后,可以写好自己想要的内容,然后选择重绘程度,还是和之前一样0.5是临界值低于0.5就和原图比较像,高于0.5则反之。

输入提示词为:lip stick, closed mouth.
写入相应的提示词如上图所示,点击生成,就可以得到自己想要的图片如下图所示。

观察生成的图片,可以明显看到:除了用画笔标记的嘴唇部位,其他区域没有发生变化。

3.5 涂鸦重绘

结合的涂鸦功能,以及重绘的功能,将二者结合到一起,发挥效能如何呢?

涂鸦重绘字面意思,你可以根据自己的意愿用画笔去改变图片,如下图所示
在这里插入图片描述
提示词为:tie
涂鸦重绘的效果图如下所示:
在这里插入图片描述
生成的图像,基本符合提示词的内容,局部细节保留了一些涂鸦的颜色。

3.6 上传重绘蒙版

重绘蒙版,一般需要通过鼠标即时的来操作,可以提前预设一些蒙版,在生成图片内容的过程中直接使用预设好的模板。
1、提前预设好的蒙版:
在这里插入图片描述
2、提示词
in spring

3、原图展示为:
在这里插入图片描述
4、通过上传重绘蒙版的效果图如下:
在这里插入图片描述
可以看到,在头像周围添加了一个带有春天元素的边框。这个的作用是我们不用再手动绘画蒙版具体功能,而是可以通过其他软件来制造蒙版,完成更加细致的修改,然后在输入相对应的提示词,对蒙版区域内的内容进行修改,最好不要用纯色蒙版。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/19125.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

网络智能化的发展对仿真环境的需求

1. 网络智能化背景介绍 1.1 什么是网络智能化 网络智能化是指利用人工智能(AI)、机器学习(ML)、优化算法等技术来实现网络的信息化、自动化和智能化。相对5G、6G、算力网络等领域,网络智能化是针对网络全场景、全要素…

使用C语言openssl库实现 RSA加密 和 消息验证

Q:什么是RSA? A:RSA(Rivest-Shamir-Adleman)是一种非对称加密算法,是最早的一种用于公开密钥加密和数字签名的算法。它使用一对公钥(public key)和私钥(private key&…

IEEE Latex模版踩雷避坑指南

参考文献 原Latex模版 \begin{thebibliography}{1} \bibliographystyle{IEEEtran}\bibitem{ref1} {\it{Mathematics Into Type}}. American Mathematical Society. [Online]. Available: https://www.ams.org/arc/styleguide/mit-2.pdf\bibitem{ref2} T. W. Chaundy, P. R. Ba…

基于 FastAI 文本迁移学习的情感分类(93%+Accuracy)

前言 系列专栏:【深度学习:算法项目实战】✨︎ 涉及医疗健康、财经金融、商业零售、食品饮料、运动健身、交通运输、环境科学、社交媒体以及文本和图像处理等诸多领域,讨论了各种复杂的深度神经网络思想,如卷积神经网络、循环神经网络、生成对…

[vue3后台管理二]首页和登录测试

[vue3后台管理二]首页和登录测试 1 修改main.js import ./assets/main.cssimport { createApp } from vue import App from ./App.vue import router from ./router createApp(App).use(router).mount(#app)2 路由创建 import {createRouter, createWebHistory} from vue-ro…

计算机网络学习笔记——运输层(b站)

目录 一、 运输层概述 二、运输层端口号、复用与分用的概念 三、UDP和TCP的对比 四、TCP的流量控制 五、TCP的拥塞控制 六、TCP超时重传时间的选择 七、TCP可靠传输的实现 八、TCP报文段的首部格式 一、 运输层概述 物理层、数据链路层、网络层实现了主机到主机的通信…

剪映网页版

https://www.capcut.cn/web 免费,免安装,跨平台,视频云合成,简直太好用了!

echarts-事件

echarts部分事件 添加点击事件 添加点击事件: let options {tooltip: {},xAxis: {type: "category",data: ["d1", "d2", "d3", "d4"],},yAxis: {},series: [{type: "line",data: d1,},{type: &qu…

Codeforces Round 948 (Div. 2) E. Tensor(思维题-交互)

题目 n(3<n<100)个点的有向图&#xff0c; 图的边的关系未知&#xff0c;但保证以下两点&#xff1a; 1. 只存在j->i&#xff08;i<j&#xff09;的边 2. 对于任意三个点i、j、k&#xff08;i<j<k&#xff09;&#xff0c;要么k可以到达i&#xff0c;要么…

知识付费小程序源码系统 界面支持万能DIY装修,一站式运营 附带完整的源代码以及搭建教程

系统概述 这是一款功能强大的知识付费小程序源码系统&#xff0c;它为用户提供了一个全面的平台&#xff0c;能够满足各种知识付费场景的需求。其界面支持万能 DIY 装修&#xff0c;让用户可以根据自己的品牌形象和风格进行个性化定制&#xff0c;打造出独具特色的小程序界面。…

【云原生】Kubernetes----PersistentVolume(PV)与PersistentVolumeClaim(PVC)详解

目录 引言 一、存储卷 &#xff08;一&#xff09;存储卷定义 &#xff08;二&#xff09;存储卷的作用 1.数据持久化 2.数据共享 3.解耦 4.灵活性 &#xff08;三&#xff09;存储卷的分类 1.emptyDir存储卷 1.1 定义 1.2 特点 1.3 示例 2.hostPath存储卷 2.1 …

postman教程-6-发送delete请求

领取资料&#xff0c;咨询答疑&#xff0c;请➕wei: June__Go 上一小节我们学习了postman发送put请求的方法&#xff0c;本小节我们讲解一下postman发送delete请求的方法。 HTTP DELETE 请求是一种用于删除指定资源的请求方法。在RESTful API 设计中&#xff0c;DELETE 请求…

GPT-4o:重塑人机交互的未来

一个愿意伫立在巨人肩膀上的农民...... 一、推出 在人工智能&#xff08;AI&#xff09;领域&#xff0c;自然语言处理&#xff08;NLP&#xff09;技术一直被视为连接人类与机器的桥梁。近年来&#xff0c;随着深度学习技术的快速发展&#xff0c;NLP领域迎来了前所未有的变革…

ARM-V9 RME(Realm Management Extension)系统架构之系统能力的执行隔离

安全之安全(security)博客目录导读 目录 一、执行隔离 1、安全状态 2、安全模型 本博客探讨 RME 所需的系统能力&#xff0c;以保证 Arm CCA 对于 Realms 的安全性和隔离特性。 一、执行隔离 1、安全状态 RME 系统支持以下安全状态&#xff1a; 非安全 (Non-secure)安全…

Orange Pi Kunpeng Pro测评

#创作灵感# 参加树莓派鲲鹏开发版的测评活动&#xff0c;也想体验一下该开发版&#xff0c;之前有做过树莓派和香橙派的开发&#xff0c;刚好借此机会了解一下鲲鹏&#xff0c;所以就有了这篇测评文章。 #正文# 引言 说是测评&#xff0c;其实也没有多少测评方面的内容&…

代码随想录算法训练营Day22|235.二叉搜索树的最近公共祖先、701.二叉搜索树中的插入操作、450.删除二叉搜索树中的节点

二叉搜索树的最近公共祖先 不考虑二叉搜索树这一条件的话&#xff0c;普通的二叉搜索树搜索最近的公共祖先就是昨日的做法&#xff0c;这种做法也能解决二叉搜索树的最近公共祖先。 class Solution { public:TreeNode* lowestCommonAncestor(TreeNode* root, TreeNode* p, Tr…

STM32读写内部FLASH读取芯片id

文章目录 读写内部Flash接线程序编写测试效果补充 读取芯片id代码编写 读写内部Flash 接线 程序编写 首先使用ThisFlash.c来写入flash的基本操作&#xff0c;写入、读取、擦除&#xff0c;然后使用Store.c配合数组来进行主存与flash的交互 ThisFlash.c #include "stm32…

为什么工控现场会用到Profinet转Modbus网关设备

一、背景&#xff1a; 工控现场之所以需要使用Profinet转Modbus网关&#xff0c;是因为工控系统中常常存在不同厂家设备之间通讯协议不一致的问题。而Modbus和Profinet分别代表着两种不同的通信协议&#xff0c;Profinet通常用于较新的设备&#xff0c;而Modbus则是比较老的通…

ch2应用层--计算机网络期末复习

2.1应用层协议原理 网络应用程序位于应用层 开发网络应用程序: 写出能够在不同的端系统上通过网络彼此通信的程序 2.1.1网络应用程序体系结构分类: 客户机/服务器结构 服务器: 总是打开(always-on)具有固定的、众所周知的IP地址 主机群集常被用于创建强大的虚拟服务器 客…

基于51单片机的温控风扇的设计–仿真设计

可实现通过DS18B20测量当前环境温度 可实现通过温度自动控制风扇转速 可实现通过按键设置不同风速对应的温度 可实现通过按键切换自动、手动模式 可实现在手动模式下通过按键调整风扇转速 可实现通过LCD1602显示温度、风扇转速挡位、自动/手动模式