【腾讯云 HAI域探秘】借助高性能服务HAI快速学会Stable Diffusion生成AIGC图片——必会技能【微调】

 

目录

Stable Diffusion基本使用方法

学术加速测试

配置中文插件

Prompt与Negative prompt

采样器说明

人像生成

水光效果

微调的使用

图像生成种子/seed使用

附加/Extra

微调实例测试

图生图微调

​编辑

使用蒙版微调


Stable Diffusion基本使用方法

环境配置:

Ubuntu20.04, Python 3.10, Stable Diffusion v1-5, CUDA 11.7, cuDNN 8, Pytorch 2, JupyterLab

Stable Diffusion是一款AIGC图片生成模型。该环境已预装webui及JupyterLab,支持可视化文件管理及环境调优。

学术加速测试

现在已经加了一个【学术加速设置】的功能,这个可以在对应的描述中看到,对部分学术资源平台加速下载,我们可以实验一下下载【中文插件】来测试一下。

如果是之前配置过的朋友应该知道在可以加速之前的速度实在是让人惊叹,这回搜搜一下就能看到效果。

这是单独启动后测试的,速度的确是快了很多倍。

配置中文插件

按照步骤来啊,这个操作应该熟练一些了呢。

中文插件安装完毕后效果:

Prompt与Negative prompt

正反提示词,这里是在想要生成目标的内容中直接去掉会出现瑕疵的可能项。

采样器说明

Euler

基于Karras论文,在K-diffusion实现20-30steps就能生成效果不错的图片,采样器设置页面中的 sigma noise,sigma tmin和sigma churn会影响。Euler采样器是最简单、最快速的一种选择。它可以在较短的时间内生成图像,但可能缺少多样性。如果你对运行时间有严格的要求,或者你只需要一个大致的结果,那么选择Euler采样器是个不错的选择。

Euler a
使用了祖先采样(Ancestral sampling)的Euler方法受采样器设置中的eta参数影响。Euler a采样器相较于Euler更具多样性,可以以较少的步数产生很大的变化。不同步数可能会产生不同的结果。但需要注意的是,太高的步数(超过30)并不一定能带来更好的效果。如果你希望在较短的步数内获得多样性,Euler a采样器是一个值得尝试的选择。

LMS

线性多步调度器(Linear multistep scheduler)源于K-diffusion。

heun

基于Karras论文,在K-diffusion实现受采样器设置页面中的 sigma参数影响。

DPM2

Katherine Crowson在K-diffusion实现受采样器设置页面中的 sigma参数影响。

DPM2 a

使用了祖先采样(Ancestral sampling)的DPM2方法受采样器设置中的ETA参数影响。

DPM++ 2S a

基于Cheng Lu等人的论文,在K-diffusion实现的2阶单步并使用了祖先采样(Ancestral sampling)的方法。受采样器设置中的eta参数影响Cheng Lu的github]https://github.com/LuChengTHU/dpm-solver)中也提供已经实现的代码,并且可以自定义,1、2、3阶,和单步多步的选择webui使用的是K-diffusion中已经固定好的版本。

DPM++ 2M
基于Cheng Lu等人的论文的论文,在K-diffusion实现的2阶多步采样方法,被社区玩家称为最强采样器,速度和质量平衡优秀比上方版本更优秀也更复杂。

DPM++ SDE

基于Cheng Lu等人的论文的,DPM++的SDE版本(随机微分方程),DPM++原本是ODE(常微分方程)在K-diffusion实现的版本中调用了祖先采样(Ancestral sampling)方法,所以受采样器设置中的ETA参数影响。

DPM fast

基于Cheng Lu等人的论文,在K-diffusion实现的固定步长采样方法,用于steps小于20的情况

受采样器设置中的ETA参数影响。

DPM adaptive

基于Cheng Lu等人的论文,在K-diffusion实现的自适应步长采样方法。受采样器设置中的ETA参数影响。

LMS Karras

基于Karras论文,运用了相关Karras的noise schedule的方法,可以算作是LMS使用Karras noise schedule的版本。LMS采样器是Euler的衍生版本,使用了一种相关但稍有不同的方法,即平均过去的几个步骤以提高准确性。大约30步可以得到稳定的结果。如果你对图像的准确性有较高的要求,可以考虑使用LMS采样器。

DDIM
随latent diffusion的最初repository一起出现, 基于Jiaming Song等人的论文目前最容易被当作对比对象的采样方法在采样器设置界面有自己的ETA PLMS元老级,随latent diffusion的最初repository一起出现。DDIM采样器收敛速度较快,但相对而言效率较低。它需要较多的步数才能获得较好的结果,因此更适合用于重绘时的使用。如果你希望在纠正错误或调整提示词时进行迭代绘制,DDIM是一个可靠的选择。

UniPC(推荐使用)
目前最新采样器,基于Wenliang Zhao等人)的论文,理论上目前最快采样器,10步即可获得高质量结果,UniPC采样器是效果较好且速度非常快的一种选择。它在平面、卡通风格的图像表现方面较为突出。如果你希望快速生成具有良好效果的图像,尤其是针对平面和卡通风格的创作,强烈推荐使用UniPC采样器。

这里我推荐使用【UniPC】还是不错的。

人像生成

正向提示词:

Star face, long black hair, beauty, wearing a white shirt, upper body frontal photo, ultra-clear, cute, lolita, natural black pupils, bright eyes, Chinese style, well-proportioned, regular facial features, no stretching, first love, light blue Color background, tie, campus, desks and chairs, school uniform, long hair to waist, smile, dimples

对照中文:

明星脸,乌黑长发,美女,穿白色衬衫,上身正面照,超清,可爱,萝莉,自然黑色瞳孔,有神的眼睛,国风,匀称,五官端正,无拉伸,初恋,浅蓝色背景,领带,校园,桌椅,校服,长发及腰,微笑,酒窝

反向提示词:

(semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime:1.4), text, close up, cropped, out of frame, worst quality, low quality, jpeg artifacts, pgly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck

中文对照:

(半写实、cgi、3d、渲染、草图、卡通、绘画、动漫:1.4)、文本、特写、裁剪、出框、最差质量、低质量、jpeg 伪影、pgly、重复、病态、残缺、额外的手指、变异的手、画得不好的手、画得不好的脸、突变、变形、模糊、脱水、不良的解剖结构、不良的比例、额外的肢体、克隆的脸、毁容、总体比例、畸形的四肢、缺失的手臂、缺失的腿、额外的手臂、多余的腿、融合的手指、太多的手指、长脖子

生成图片效果:(还算OK的姑娘,一会我们可以多seed微调一下)

稍微微调一下(可以再下方找到微调方法)

水光效果

效果图:

正向提示词:

ball of water suspended in the air, ripples and splash on surface, sunlight gleaming, with sparkling crisp radiant reflections, Canon 35mm lens, hyperrealistic photography, style of unsplash

反向提示词:

word,error,cropped,worst quality,low quality,artifacts,signature,username,blurry,mutation,(duplicate:1.4),blurry,watermark, water-marked ,Signature,sketches,easynegative,border, blurry,depth of field, blurry background, empty picture frame, photo frames,(Object deformation:1.4),Retro style

采样器以及其它参数:

生成效果:

微调的使用

【腾讯云 HAI域探秘】——Stable Diffusion预装环境生成AIGC图片——必会技能【微调】

图像生成种子/seed使用

用于图像的微调,用大图不方便,我换成512*512的再测试一下,提示词变成生成人物。

正向提示词:

a chinese man,The programmer is 35 years old, energetic, handsome, healthy, smart and alert, wearing a suit and light blue shirt.

反向提示词:

(semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime:1.4), text, close up, cropped, out of frame, worst quality, low quality, jpeg artifacts, pgly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck

这里可以看到seed了,我们就再生成一次。

这是根据Seed再次生成的效果(看不到多大效果,因为我们没有附加处理):

附加/Extra

这里的差异随机种子和随机种子一样,差异强度别多了,一点点调整。

看看0.01的强度变化。

微调0.05

改变差异随机种子

微调实例测试

我们先来描绘一张非常漂亮的图片。使用【UniPC】生成时间太长,这里采样器换一下,更换成【Euler a】,效率会高些,但是质量会弱一些。多来几次。总会有好的。

图生图微调

有的时候生成的还是比较满意的,但是就优点瑕疵,例如上图领口有一个饰品,我想换一下,就可以使用图生图的微调。

使用蒙版微调

注意修改一下参数。

使用画笔绘制要微调的位置

多生成几次就能看到一个想要的结果了

好的,到此,美丽的小姐姐就呈现出来了,爱你呦。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/218288.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

记录每日LeetCode 2697.字典序最小回文串 Java实现

题目描述: 给你一个由 小写英文字母 组成的字符串 s ,你可以对其执行一些操作。在一步操作中,你可以用其他小写英文字母 替换 s 中的一个字符。 请你执行 尽可能少的操作 ,使 s 变成一个 回文串 。如果执行 最少 操作次数的方案…

2023-12-12 AIGC-AI在理解用户提问时的局限性和误解领域

摘要: 2023-12-12 AIGC-AI在理解用户提问时的局限性和误解领域 AI在理解用户提问时的局限性和误解领域 局限性: AI在理解用户提问时的局限性和误解领域是多方面的,这些限制通常源于技术的本质、训练数据的特性以及AI模型的设计。下面详细讨论这些方面:…

【机器学习】亚马逊云科技基础知识:以推荐系统为例。你知道机器学习的关键所在么?| 机器学习管道的各个阶段及工作:以Amazon呼叫中心转接问题为例讲解

有的时候,暂时的失利比暂时胜利要好得多。 ————经典网剧《mao pian》,邵半仙儿 🎯作者主页: 追光者♂🔥 🌸个人简介: 💖[1] 计算机专业硕士研究生💖 🌿[2] 2023年城市之星领跑者TOP1(哈尔滨)🌿 🌟[3] 2022年度博客之星人工智能领域TOP

正交基概念

求正交向量组中的系数 考虑 n n n 个任意两个向量之间相互正交的 n n n 维向量 a ⃗ \vec a a ,则其构成一个 n n n 维的欧几里得空间 R n R^n Rn,为其中的每一个向量赋予一个常数系数 c c c,则空间中的任意向量 v v v 可以表示为这组…

大象慧云:从设立分部到迁移总部 与贵阳贵安共筑税务数字化未来

近年来,贵阳贵安着力提升政务服务水平,通过擦亮“贵人服务”品牌,持续优化营商环境。在这样的环境下,再加上“大数据基因”,对于希望在大数据领域大展拳脚的企业来说,贵阳贵安无疑成为了一个极具吸引力的选…

swiper播放视频,完成后自动切换下一张

video 属性和事件用法大全: https://www.cnblogs.com/rogerwu/p/10072119.html 我的思路是监听视频播放进度,如果播放完毕再开启swiper的自动轮播,因为我的需求是只有第一个swiper才是视频,后边的都是图片,那就需要轮…

【ZYNQ】AXI4总线接口协议学习

建议翻看着底部的参考文档资料和本文一起辅助阅读 本文带你详细的了解AXI总线协议,并且基于官方手册,能够提高你的手册阅读能力。 什么是AXI AXI 的英文全称是 Advanced eXtensible Interface,即高级可扩展接口,它是 ARM 公司所提…

自激活T细胞为肿瘤免疫治疗提供新思路—高分文献分享

CD28是在所有小鼠和人类T细胞上表达的共刺激受体,用来调节T细胞受体(TCR) 的响应。异常的CD28 信号传导是癌症、自身免疫和病毒感染中T细胞功能障碍的决定性特征之一。早期的一些研究表明CD28对CD4 T细胞更重要,但也有越来越多的研究者发现其对CD8 T细胞…

HAT(CVPR 2023):Hybrid Attention Transformer for Image Restoration

HAT ​ 论文地址:HAT: Hybrid Attention Transformer for Image Restoration ​ 代码地址:XPixelGroup/HAT: CVPR2023 - Activating More Pixels in Image Super-Resolution Transformer 摘要 ​ 通过归因分析attribution analysis method - Local …

JavaScript中页面位移、大小和位置属性整理

🤞🤞 一、window window 滚动位移属性 window.scroll(X,Y) 滚动数不叠加window.scrollTo(X,Y) 滚动数不叠加window.scrollBy(X,Y) 滚动数叠加window.scrollY / Firefox、Chrome、Opera均支持,IE不支持 忽略DOCTYPE定义规则 window窗口大小…

智能科技企业网站搭建的作用是什么

随着科学技术快速提升,各种智能产品随之而来,每个赛道里都涌入了大量企业商家,有些热门产品更是广受关注,对企业来说,形象、品牌、信息等方面需要完美呈现到用户眼前,而网站无疑是很好的工具。 企业通过【…

lwIP 细节之四:recv 回调函数是何时调用的

使用 lwIP 协议栈进行 TCP 裸机编程,其本质就是编写协议栈指定的各种回调函数。将你的应用逻辑封装成函数,注册到协议栈,在适当的时候,由协议栈自动调用,所以称为回调。 注:除非特别说明,以下内…

element-ui 重置resetFields()不生效

element-ui 重置resetFields()不生效 初始化数据 data() {return {dialogVisible: false,form: {name: ,age: ,sex: ,birth: ,addr: }}}弹窗关闭重置数据 handleClose() {// 弹窗关闭的时候清除数据this.$refs.form.resetFields()this.dialogVisible false }以上操作this.$…

常用whl文件地址整理

文章目录 一、Deep Graph Library(DGL)二、torch torchvision torchaudio三、numpy四、pandas可留言其他whl文件地址,不定期更新 一、Deep Graph Library(DGL) DGL是一个专门用于深度学习图形的Python包, 一款面向图神…

代码随想录算法训练营第50天| 123.买卖股票的最佳时机III 188.买卖股票的最佳时机IV

JAVA代码编写 123.买卖股票的最佳时机III 给定一个数组,它的第 i 个元素是一支给定的股票在第 i 天的价格。 设计一个算法来计算你所能获取的最大利润。你最多可以完成 两笔 交易。 **注意:**你不能同时参与多笔交易(你必须在再次购买前出…

HDPE硅芯管材具有优异的耐腐蚀性、耐磨损性和耐老化性

HDPE硅芯管材作为一种优质的管道材料,具有许多突出的性能。其中,其优异的耐腐蚀性、耐磨损性和耐老化性是其主要特点之一。 首先,HDPE硅芯管材具有出色的耐腐蚀性。它的高密度聚乙烯(HDPE)材料具有良好的耐腐蚀性能&a…

2023快速上手新红利项目:短剧分销推广CPS

短剧分销推广CPS是一个新红利项目,对于新手小白来说也可以快速上手。 以下是一些建议,帮助新手小白更好地进行短剧分销推广CPS: 学习基础知识:了解短剧的基本概念、制作流程和推广方式。了解短剧的市场需求和受众群体&#xff0c…

Django视图

一、url路由 自上而下的,如果匹配的路由中是包含int转换器,则不能匹配其他的不是int的相关字符,譬如文字等; 自定义路由转换器: 1、创建一个converter.py的文件; 2、再写一个类: class FourDig…

安卓手机上的软件的安装

本文主要介绍以下怎么在adb下安装软件。 一、首先还是要有安装包。 二、在adb链接上手机之后,使用adb install "软件包绝对路径“ 进行软件的安装。 如果出现问题,可以逐个排除 1.如果adb shell进入后发现可以连上,那就说明手机已经…

使用 std::vector 和 std::pair 管理二维点对

赋值 向 matched_indices 赋值意味着在这个向量中添加 std::pair<int, int> 类型的元素。每个元素都是一个包含两个整数的对。这可以通过使用 push_back 方法实现&#xff1a; matched_indices.push_back(std::make_pair(1, 2)); // 添加一个元素&#xff0c;其中包含一…