系列文章目录
本文专门开一节写hypernetworks的内容,在看之前,可以同步关注:
stable diffusion实践操作
提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档
文章目录
- 系列文章目录
- 前言
- 一、hypernetworks是什么?
- 1 能做什么?
- 2 原理
- 3 与其它区别
- 二、如何使用
- 1 下载与存放
- 2 如何使用
- 3 注意事项
- 三、收集到的模型
- 1.1 Multi-waifu-mix
- 总结
前言
`本章注意要介绍Hypernetwork,也叫做超网络,下面是一个原理概述。
一、hypernetworks是什么?
1 能做什么?
中文名字叫超网络,功能和embedding,lora类似,都是对生成的图片进行针对性的调整,小白可以理解为低配版本的lora。
因为hypernetworks主要用来训练画风,训练难度较大,很有可能被后出现的lora所替代,不过人家既然能坚持到现在,说明也有它的两把刷子。我觉得它最重要,也最好的功能就是对画面风格的转换。
下面这个就是把漫画风格转换为像素风格。
除了画风,它其实也可以训练人物和物品,比如电影角色,但是大家为什么用的少呢,它做到了神似,但是想要高精度还原的话,还是要借助于lora.
2 原理
SD的原理可以这样理解,我们发送一段文本到SD中,然后输出一张符合预期的图片。
embedding就作用于编码器中,影响最后的输出。
在整个运算当中,所有的计算都是在diffusion模型中进行,这个diffusion就是一种神经网络模型。
超网络如下图,通过控制神经网络的权重,最后来完成某种风格的图片输出。
3 与其它区别
总结如下
二、如何使用
1 下载与存放
下载后存放地址:sd-webui-aki-v4.2\models\hypernetworks
2 如何使用
和lora比较类似,hypernet:名称:权重,提示词
<hypernet:Multi-waifu-mix_v1.0:1>,alice zuberg
具体细节可以看下图
3 注意事项
因为超网络会影响模型权重,所以如果想要用好超网络,需要遵从以下几点要求:
三、收集到的模型
下载链接:
国内的是:https://www.liblibai.com
国外的是:https://civitai.com
下载后存放地址:sd-webui-aki-v4.2\models\hypernetworks
序号 | 名称 | 说明 |
---|---|---|
1 | Multi-waifu-mix | 漫画女孩 |
2 | $1 | |
导3 | $1 |
1.1 Multi-waifu-mix
下载链接:https://www.liblibai.com/modelinfo/20ad3e989d47d74745ccf14bcc73c411
基础模型:SD1.5(AWPainting_v1.2_liblib_sd15.safetensors)
触发词语:根据角色不同来确定
正面提示词:
fantasy,landscape,best quality,highly detailed,
<hypernet:Multi-waifu-mix_v1.0:1>,1girl,esdeath \(genshin impact\),
反面提示词:
lowres,bad anatomy,bad hands,text,error,missing fingers,
extra digit,fewer digits,cropped,worst quality,
low quality,normal quality,jpeg artifacts,signature,
watermark,username,blurry,artist name,
该模型包含了很多角色,可以根据需要进行挑选:
V1.0 model containing 75 characters:
aisaka taiga
alice zuberg
altina orion
angela balzac
angelina kudou shields
aqua (konosuba)
ayanami (azur lane)
black heart
darkness (konosuba)
echidna (re:zero)
elaina (majo no tabitabi)
emilia (re:zero)
eris greyrat
eula (genshin impact)
fujibayashi kyou
furuhashi fumino
gokou ruri
gotou hitori
hiiragi shinoa
himeragi yukina
hiroi kikuri
holo
...
| |
总结
以上就是今天要讲的内容。