stable diffusion实践操作-embedding(TEXTUAL INVERSION)

系列文章目录

本文专门开一节写图生图相关的内容,在看之前,可以同步关注:
stable diffusion实践操作


文章目录

  • 系列文章目录
  • 前言
    • 1、embeddding的功能
    • 2、如何去下载(https://civitai.com/models)
      • 2.1 筛选 TEXTUAL INVERSION
      • 2.2 筛选出来
      • 2.3 下载保存
      • 2.4 如何使用
      • 2.5 增加权重
      • 3.1 badhandv4 - AnimeIllustDiffusion
      • 3.2 bad_prompt Negative Embedding
      • 3.3 人物形象类的(Corneos D.va)
      • 3.6 ng_deepnegative_v1_75t
      • 3.7 DeepNegativeV1.x
  • 总结


前言

textualinversion 中文名为文本反转,可以理解为提示词的集合,提示词打包,可以省略大量的提示词。后缀safetensors,大小几十kb

本文根据B站A_Eye视频而来,需要看原视频的,可以进入:
Stable diffusion喂饭级基础教程 第九期 什么是embedding


1、embeddding的功能

可以理解为提示词的集合,可以省略大量的提示词。

下面是一篇关于embeddding的权威论文,感兴趣的小伙伴可以自己去看

我总结一下,举个例子,希望左图生成右图,那么对于左面的模型来说,右边的图是个新的概念,然而在一个大模型中,引入新的概念是很困难的,如果为了这个新的图片而重新训练模型,成本就太高了。

所以论文作者提出了一个新的想法,就是在文本编码器的嵌入空间中,找到新的伪装词,通过这个伪装词,去捕获高级语义和精细的视觉细节

换句话说,就是采用少量有图的文本,训练出一个新的反转文本,这个反转文本可以在生成图片的时候,可以嵌入到大模型的词汇库中,让左边模型学习到了右边图片的概念,从而生成带有右边特征的图片。
这样就可以使用语言文本,将新的特征注入到模型当中,训练成本低,使用方便,并且体积很小,唯一缺点是很难进行精确学习,但是对于普通人来说已经足够了。

2、如何去下载(https://civitai.com/models)

2.1 筛选 TEXTUAL INVERSION

2.2 筛选出来

2.3 下载保存

在C站可以下载:https://civitai.com
下载后存放地址:sd-webui-aki-v4.2\embeddings

2.4 如何使用

没有触发词,直接使用名称就可以了。注意得到是不要把负向embedding放到正向提示词中去了。


2.5 增加权重

## 3、embedding 收集的模型

3.1 badhandv4 - AnimeIllustDiffusion

此文本嵌入为负面文本嵌入。它能够在对画风影响较小的前提下改善AI生成图片的手部细节。如果它让你的模型表现得比以前更糟,请勿使用它。您可与其他负面文本嵌入一同使用。

如果你想使用效果更强的版本,请移步:NegativeEmbedding - AnimeIllustDiffusion | Stable Diffusion TextualInversion | Civitai。这是一个用于修理各种各样画质和畸形问题的负面pt。他效果强劲,但更可能会破坏您原本的风格,且占用大量词元数(使用它时,其实您也不需要再使用很多负面提示词)。

虽然它是为 AnimeIllustDiffusion 模型设计的,但您也可以在其他模型上使用。

另外,我发现它在较高的提示词相关性下(>=11)表现的更好。

使用方法
您应该将下载得到的负面文本嵌入文件,即 badhandv4.pt 文件放置在您 stable diffusion 目录下的 embeddings 文件夹内。之后,您只需要在填写负面提示词处输入 badhandv4 即可。

3.2 bad_prompt Negative Embedding

使用同上。

3.3 人物形象类的(Corneos D.va)

### 3.4 特定动作(AwaitingTongue Embedding) ### 3.5 Winter Style 冬日画风

3.6 ng_deepnegative_v1_75t

3.7 DeepNegativeV1.x

触发器:ng_deepnegative_v1_75t,ng_deepnegative_v1_75t

总结

以上就是今天要讲的内容。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/70040.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数学建模--Topsis评价方法的Python实现

目录 1.算法流程简介 2.算法核心代码 3.算法效果展示 1.算法流程简介 """ TOPSIS(综合评价方法):主要是根据根据各测评对象与理想目标的接近程度进行排序. 然后在现有研究对象中进行相对优劣评价。 其基本原理就是求解计算各评价对象与最优解和最劣解的距离…

HGDB-修改分区表名称及键值

瀚高数据库 目录 环境 文档用途 详细信息 环境 系统平台:N/A 版本:4.5.7 文档用途 使用存储过程拼接SQL,修改分区名称、分区键值、并重新加入主表,适用于分区表较多场景。 详细信息 说明:本文档为测试过程&#xff1…

视频集中存储/云存储/磁盘阵列EasyCVR平台分组批量绑定/取消设备功能详解

安防视频监控/视频集中存储/云存储/磁盘阵列EasyCVR平台视频能力丰富灵活,可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等,以及支持厂家私有协议与SDK接入,包括海康Ehome、海大宇等设备的SDK等。视频汇聚融合管理平台EasyCVR既具备传…

Windows下搭建MavLink通信协议环境,并用C++程序测试

搭建环境 git克隆 git clone https://github.com/mavlink/mavlink.git --recursive安装python的future库 pip install future使用可视化工具生成mavlink库 XML是选择消息格式,也可以自定义Out是输出路径Language是生成的语言,我这里是CProtocol是协议…

Zabbix 利用 Grafana 进行图形展示

安装插件 配置数据源 导入模版 查看 1.安装 wget https://mirrors.tuna.tsinghua.edu.cn/grafana/yum/rpm/Packages/grafana-10.0.0-1.x86_64.rpm [rootrocky8 apps]# yum install grafana-10.0.0-1.x86_64.rpm [rootrocky8 apps]# systemctl start grafana-server.service …

肖sir__设计测试用例方法之等价类02_(黑盒测试)

设计测试用例方法之等价类02_(黑盒测试) 一、掌握常用的设计方法: 黑盒测试方法:等价类、边界值,状态迁移法、场景法、判定表、因果图、正交表,(7种) 经验测试方法:错误推测法、异常…

ACM模式数组构建二叉树Go语言实现

目的 想输入一个数组,然后构造二叉树 例如数组为[6, 2, 8, 0, 4, 7, 9, -1, -1, 3, 5] 对应的二叉树为: 参考资料 ACM模式数组构建二叉树 重点:如果父节点的数组下标是i,那么它的左孩子下标就是i*21,右孩子下标就是…

LeetCode 1123. 最深叶节点的最近公共祖先:DFS

【LetMeFly】1123.最深叶节点的最近公共祖先 力扣题目链接:https://leetcode.cn/problems/lowest-common-ancestor-of-deepest-leaves/ 给你一个有根节点 root 的二叉树,返回它 最深的叶节点的最近公共祖先 。 回想一下: 叶节点 是二叉树…

Leetcode.1123 最深叶节点的最近公共祖先

题目链接 Leetcode.1123 最深叶节点的最近公共祖先 rating : 1607 题目描述 给你一个有根节点 root 的二叉树,返回它 最深的叶节点的最近公共祖先 。 回想一下: 叶节点 是二叉树中没有子节点的节点;树的根节点的 深度 为 0 0 0&#xff0…

实战:大数据Flink CDC同步Mysql数据到ElasticSearch

文章目录 前言知识积累CDC简介CDC的种类常见的CDC方案比较 Springboot接入Flink CDC环境准备项目搭建 本地运行集群运行将项目打包将包传入集群启动远程将包部署到flink集群 写在最后 前言 前面的博文我们分享了大数据分布式流处理计算框架Flink和其基础环境的搭建&#xff0c…

LeetCode73.矩阵置零

这道题我感觉还是挺简单的,一下子就想到了,不过我的算法很简单很垃圾,效率很低,我一看完题的想法就是直接遍历一遍数组,然后把为0的元素的行和列都存起来,然后把这些行和列都置零就好了,但是这里…

万物互联:软件与硬件的协同之道

在当今数字化时代,我们身边的一切似乎都与计算机和互联网有关。从智能手机到智能家居设备,从自动驾驶汽车到工业生产线,无论我们走到哪里,都能看到软件和硬件的协同作用。本文将探讨这种协同作用,解释软件和硬件如何相…

NIO原理浅析(二)

IO分类 阻塞和非阻塞 阻塞IO:用户空间引发内核空间的系统调用,需要内核IO操作彻底完成之后,返回值才会返回到用户空间,执行用户的操作。阻塞指的用户空间程序的执行状态,用户空间程序需要等到IO操作彻底执行完毕。j…

前端面试0906

// 请给出输出结果 function foo(){ console.log(a); } function bar(){ var a 3; console.log(this.a); foo(); } var a 2; bar(); 2 2 // 请从下面的问题中挑选3道进行回答 1. 防抖和节流分别是什么,一般用在什么场景? 防抖(Debounc…

简易版人脸识别qt opencv

1、配置文件.pro #------------------------------------------------- # # Project created by QtCreator 2023-09-05T19:00:36 # #-------------------------------------------------QT core guigreaterThan(QT_MAJOR_VERSION, 4): QT widgetsTARGET 01_face TEMP…

代码随想录笔记--二叉树篇

目录 1--递归遍历 1-1--前序遍历 1-2--中序遍历 1-3--后序遍历 2--迭代遍历 2-1--前序遍历 2-2--后序遍历 2-3--中序遍历 3--二叉树的层序遍历 4--翻转二叉树 5--对称二叉树 6--二叉树最大深度 7--二叉树的最小深度 8--完全二叉树节点的数量 9--平衡二叉树 10-…

PyCharm 虚拟环境搭建

Anaconda搭建虚拟环境 安装 前往Anaconda官网(https://www.anaconda.com/products/individual),下载适合您操作系统的Anaconda版本,建议下载最新的稳定版。这里可以直接进入这个:https://repo.anaconda.com/archive/ …

AVR128单片机 USART通信控制发光二极管显示

一、系统方案 二、硬件设计 原理图如下: 三、单片机软件设计 1、首先是系统初始化 void port_init(void) { PORTA 0xFF; DDRA 0x00;//输入 PORTB 0xFF;//低电平 DDRB 0x00;//输入 PORTC 0xFF;//低电平 DDRC 0xFF;//输出 PORTE 0xFF; DDRE 0xfE;//输出 PO…

无涯教程-JavaScript - DCOUNT函数

描述 DCOUNT函数返回包含与您指定条件匹配的列表或数据库的列中的数字的单元格的计数。 语法 DCOUNT (database, field, criteria)争论 Argument描述Required/Optionaldatabase 组成列表或数据库的单元格范围。 数据库是相关数据的列表,其中相关信息的行是记录,数据的列是…

编译CentOS6.10系统的OpenSSHV9.4rpm安装包

目前OpenSSH版本已至9.4,其作为操作系统底层管理平台软件,需要保持更新以免遭受安全攻击,编译生成rpm包是生产环境中批量升级的最佳途径。编译软件包时与当前的运行环境有较大关系,请注意本安装包系在CentOS6.10原生系统纯净系统下…