AI 绘画Stable Diffusion 研究(十六)SD Hypernetwork详解


大家好,我是风雨无阻。


本期内容:

  • 什么是 Hypernetwork?
  • Hypernetwork 与其他模型的区别?
  • Hypernetwork 原理
  • Hypernetwork 如何下载安装?
  • Hypernetwork 如何使用?

在上一篇文章中,我们详细介绍了 embedding 的定义、作用以及如何安装使用 ,相信看过的朋友都知道,embedding 是属于一种将提示词打包的模型微调技术。感兴趣的朋友,可以前往查看:AI 绘画Stable Diffusion 研究(十五)SD Embedding详解。


其实今天要讲到的 Hypernetwork 和 embedding 甚至和后面我们即将介绍的 Lora 模型一样,也属于一种模型微调技术。


Hypernetwork 其实并不是我们介绍的一个重点知识,我们只需要了解这个微调技术的原理和使用方法即可!


主要有以下原因:

  • Hypernetwork是一个比Lora更早的模型微调技术,现在使用的人数越来越少。

    我们在c站筛选Hypernetwork,只有33个Hypernetwork文件。

在这里插入图片描述


  • Hypernetwork使用效果并不理想,甚至还不如体积只有几k的embeddings文件,但是Hypernetwork的文件体积却可以与lora相提并论,在几十M甚至上百M。

在这里插入图片描述


  • Hypernetwork可以实现的效果,用其他的替代方式几乎都可以实现,比如用embeddings或者用lora。

1、什么是 Hypernetwork?

Hypernetwork 中文名(超网络),最初由stable diffusion 早期使用者 NovelAI开发,它是一个附加到stable diffusion模型的小型神经网络,用于修改其风格。


2、Hypernetwork 与其他模型的区别

  • Hypernetwork VS Checkpoint(大模型)

Checkpoint模型包含生成图像的所有必要信息,我们可以通过其文件大小来识别,Checkpoint 它们的体积范围从 2 GB 到 7 GB不等,Hypernetwork通常低于 200 MB。

​ Hypernetwork无法单独使用,它需要与checkpoint模型配合来生成图像。


  • Hypernetwork VS LoRA模型

    Hypernetwork与LoRA 模型很相似,它们的文件大小相似,通常低于 200MB,都比checkpoint模型小。

    有一个事实是:LoRA 模型比Hypernetwork模型效果更好。


  • Hypernetwork VS Embeddings

    Embeddings是一种称为Textual Inversion”文本反转”的微调方法,它只是定义新的关键字来实现某些样式。与 HypernetworkEmbeddings一样, 不会改变模型Embeddings和Hypernetwork适用于stable diffusion模型的不同部分。

    Embeddings在文本编码器中创建新的嵌入。

    Hypernetwork将一个小型网络插入噪声预测器的cross-attention模块中。


3、Hypernetwork 的下载安装

​ 这里我们以c站下载Hypernetwork 模型为例进行说明。


第一步,浏览器中打开c站,搜索 Hypernetwork

在这里插入图片描述


第二步,选择喜欢的 Hypernetwork模型,下载即可

我们这里以下载这个 Hypernetwork模型演示,如下:

在这里插入图片描述


下载完成,得到waterElemental_10.pt 文件


第三步,将这个模型文件拷贝到 \sd-webui-aki-v4.2\models\hypernetworks 目录

\sd-webui-aki-v4.2\models\hypernetworks

在这里插入图片描述

重新启动 stable diffusion 使其生效。


4、Hypernetwork 的使用

Hypernetwork的使用方式与Embeddings 类似,区别是 Hypernetwork 用在正向提示词中,而Embeddings 是用在反向提示词中。


我们的按钮使用的 Hypernetwork 模型是:

Water Elemental(水元素)

Water Elemental(水元素)是一个独特的超网络,可以将任何东西变成水!

在主题之前使用短语water elementa"可以将此超网络与Stable Diffusion v1.5结合使用,更改超网络权重以调整水效果。


(1)、设置正向提示词

water elemental woman walking across a busy street 

(2)、选择 Water Elemental Hypernetwork 模型
在这里插入图片描述


选择 Water Elemental Hypernetwork 模型后,在正向提示词里面会自动添加:

在这里插入图片描述


(3)、设置参数

  • 采样算法:DPM++2M Karras
  • 迭代步数:15
  • CFG Scale: 7

在这里插入图片描述


(4)、点击按钮, 效果如下:

在这里插入图片描述


好了,今天的内容就分享到这里,后面我们将持续分享有关 Stable Diffusion 的干货,喜欢的朋友请关注我,我们下次再见。


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/56186.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

xxl-job学习(一遍文章解决)

前言:学习xxl-job需要有git,springboot的基础,学起来就很简单 xxl-job是一个分布式的任务调度平台,其核心设计目标是:学习简单、开发迅速、轻量级、易扩展,现在已经开放源代码并接入多家公司的线上产品线&a…

AWS 提示证书签名过期无法自动更新

如果域名没有通过验证的话,证书的过去是没有办法自动更新的。 验证的方式也非常简单,通过下面的配置,把 CNAME添加到你的域名上面,AWS 就可会自动完成验证了。 当添加完成后,AWS 验证需要的时间大致在 30 分钟到 1 个…

bindService的调用流程

使用bindService去调用service,如果有多个客户端调用,onBind方法只会被调用一次,由于bindService嗲处理中,AMS是一个中间商,猜测这个处理也是AMS里进行的,这里我们再看看bindService的调用流程 public clas…

百亿补贴通用H5导航栏方案 | 京东云技术团队

背景 在移动端页面中,由于屏幕空间有限,导航条扮演着非常重要的角色,提供了快速导航到不同页面或功能的方式。用户也通常会在导航条中寻找他们感兴趣的内容,因此导航条的曝光率较高。在这样的背景下,提供一个动态灵活…

爬虫(bilibili热门课程记录)

什么是爬虫?程序蜘蛛,沿着互联网获取相关信息,收集目标信息。 一、python环境安装 1、先从Download Python | Python.org中下载最新版本的python解释器 2、再从Download PyCharm: Python IDE for Professional Developers by JetBrains中下…

SpringCloud/SpringBoot多模块项目中配置公共AOP模块实现打印子模块Controller所有请求参数与日志

项目中遇到多个模块需要打印Controller请求日志,在每个模块里面加AOP并且配置单独的切面笔者认为代码冗余,于是乎就打算把AOP日志打印抽离成一个公共模块,谁想用就引入Maven坐标就行。 定义公共AOP模块 并编写AOP工具 AOP模块pom.xml如下 &…

Docker 轻量级可视化工具Portainer

1. 是什么 Portainer 是一款轻量级的应用,它提供了图形化界面,用于方便地管理Docker环境,包括单机环境和集群环境。 2. 安装 2.1 官网 https://www.protainer.io/ https://docs.portainer.io/ce-2.9/start/install/server/docker/linux 2.2 …

Java“牵手”天猫商品sku信息API接口数据,天猫API接口申请指南

天猫平台商品sku属性信息接口是开放平台提供的一种API接口,通过调用API接口,开发者可以获取天猫商品的标题、价格、库存、月销量、总销量、库存、详情描述、图片等详细信息 。 获取商品销量接口API是一种用于获取电商平台上商品sku属性数据的接口&#…

【Docker】网络

文章目录 Docker 网络基础Docker网络管理Docker网络架构CNMLibnetwork驱动 常见的网络类型 Docker 网络管理命令docker network createdocker network inspectdocker network connectdocker network disconnectdocker network prunedocker network rmdocker network ls docker …

抖音短视频SEO矩阵系统源码开发及开发者思路分享......

抖音矩阵号/抖音短视频SEO矩阵系统源码开发及开发者思路分享: 短视频获客系统支持短视频智能剪辑、短视频定时发布,短视频排名查询及优化,智能客服等,那么短视频seo系统开发时需要开发哪些功能呢?今天我就跟大家分享一下我们的开发…

Java“牵手”天猫商品历史价格信息API接口数据,天猫API接口申请指南

天猫平台商品历史价格接口是开放平台提供的一种API接口,通过调用API接口,开发者可以获取天猫商品的标题、价格、库存、月销量、总销量、库存、详情描述、图片、最低价、当前价格、价格信息等详细信息 。 获取商品历史价格接口API是一种用于获取电商平台…

Visual Studio 2022 右键单击项目没有出现View | View Class Diagram(Visual Studio 无法使用类设计器)

文章目录 问题描述原因.NET Core项目.NET Framework项目 其他VS2022相关文章 问题描述 当我们在Solution Explorer窗口右键单击项目时,快捷菜单中没有出现“查看”,或者出现了“查看”,但是“查看”里没有View Class Diagram。 原因 首先…

算法通关村第十一关——搞清位运算

源码、反码和补码 很多人都记不清源码、反码和补码的区分,都是二进制,其实记忆起来很简单,分为正数和负数来记。正数的原码、反码和补码都是一样的,负数的原码符号位为1,反码是在原码的基础上进行改变:保持…

【Linux的成长史】Linux的发展史

🎬 博客主页:博主链接 🎥 本文由 M malloc 原创,首发于 CSDN🙉 🎄 学习专栏推荐:LeetCode刷题集 数据库专栏 初阶数据结构 🏅 欢迎点赞 👍 收藏 ⭐留言 📝 如…

AIGC之GPT-4:GPT-4的简介(核心原理/意义/亮点/技术点/缺点/使用建议)、使用方法、案例应用(计算能力/代码能力/看图能力等)之详细攻略

AIGC之GPT-4:GPT-4的简介(核心原理/意义/亮点/技术点/缺点/使用建议)、使用方法、案例应用(计算能力/代码能力/看图能力等)之详细攻略 解读:在2022年11月横空出世的ChatGPT,打遍天下无敌手的时候,就知道会有这么一天,知…

深度学习12:胶囊神经网络

目录 研究动机 CNN的缺陷 逆图形法 胶囊网络优点 胶囊网络缺点 研究内容 胶囊是什么 囊间动态路由算法 整体框架 编码器 损失函数 解码器 传统CNN存在着缺陷(下面会详细说明),如何解决CNN的不足,Hinton提出了一种对于图…

spark中排查Premature EOF: no length prefix available

报错信息 /07/22 10:20:28 WARN DFSClient: Error Recovery for block BP-888461729-172.16.34.148-1397820377004:blk_15089246483_16183344527 in pipeline 172.16.34.64:50010, 172.16.34.223:50010: bad datanode 172.16.34.64:50010 [DataStreamer for file /bdp/data/u9…

Linux —— nfs文件系统

简介 NFS 是Network File System的缩写,即网络文件系统。一种使用于分散式文件系统的协定,由Sun公司开发,于1984年向外公布。功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据,让应用程序在客户端通过网络访问位…

apex和pl/sql学习记录2

验证后过程函数代码插眼儿 -- 登录后验证过程3 create or replace PROCEDURE TEST_USER_WXX3_PRO ASV_USER_ID NUMBER(20);V_ROLE_ID NUMBER(20);V_PERM_ID NUMBER(20);V_DEPT_ID NUMBER(20);V_USER_NAME NVARCHAR2(64);V_JOB_NUMBER NVARCHAR2(32);V_M…

Hbuild 打包H5项目

1、输入用户信息登录Hbuilder编辑器; 2、进入manifest.json配置文件;获取AppID信息;(可以点击DCloud AppID使用说明进行查看详情) 3、进入DCloud开发者中心https://dev.dcloud.net.cn/;登录用户和密码&…