字节开源Hyper-SD模型,超越SDXL-Lightning,单步生成SOTA级图像

前言

近年来,扩散模型(Diffusion Model,DM)在图像生成领域取得了显著进展,展现出前所未有的图像质量和多样性。然而,扩散模型的训练和推理过程通常需要多个步骤,这限制了其在实际应用中的效率。为了克服这一挑战,字节跳动AI团队推出了全新的扩散模型加速框架——Hyper-SD,并将其开源。Hyper-SD 能够将扩散模型的推理步骤大幅压缩,甚至实现单步生成高质量图像,同时保持甚至超越原模型的生成效果。

  • Huggingface模型下载:https://huggingface.co/ByteDance/Hyper-SD

  • AI快站模型免费加速下载:https://aifasthub.com/models/ByteDance

技术特点

Hyper-SD模型拥有以下关键技术特点,使其在扩散模型加速领域独树一帜:

  • 轨迹分段一致性蒸馏 (TSCD)

Hyper-SD 采用了一种名为轨迹分段一致性蒸馏(TSCD)的技术。该技术将扩散模型的整个训练过程划分为多个阶段,并在每个阶段内对模型进行一致性蒸馏,以确保模型在不同阶段都能保持一致的生成质量。TSCD 的优势在于,它能够有效地减少模型拟合的复杂度,并避免因模型拟合不足或推理过程中累积误差而导致的图像质量下降。

  • 人机协同优化

Hyper-SD 将人机协同优化技术引入到模型加速中。它利用人类的审美偏好和现有的视觉感知模型,对加速后的模型进行进一步的优化,以提升图像的审美质量和结构合理性。这使得 Hyper-SD 能够生成更符合人类审美标准的图像,并在某些情况下甚至超越原模型的性能。

  • 统一LoRA支持全步长推理

Hyper-SD 引入了一种统一的LoRA(低秩自适应)技术,使模型能够在所有推理步骤中都保持一致性,包括单步推理。这意味着用户可以灵活地根据不同的需求选择推理步骤,而无需重新训练模型。

性能表现

Hyper-SD 模型在多个基准测试中都取得了领先的性能:

  • Hyper-SDXL 在单步推理中,CLIP得分比 SDXL-Lightning 高出 +0.68,Aesthetic得分高出 +0.51,超越了现有的扩散模型加速方法。

  • Hyper-SD 能够在 1 到 8 个推理步骤中,为 SDXL 和 SD1.5 都实现最佳的性能。

应用场景

Hyper-SD 的高效性能和出色效果,使其在多个领域具有广泛的应用潜力:

  • 加速图像生成: Hyper-SD 可以加速扩散模型的图像生成过程,大幅缩短生成时间,提高生成效率。

  • 提升图像质量: Hyper-SD 能够生成更高质量的图像,尤其是在单步推理中,其效果甚至超越了原模型。

  • 拓展应用场景: Hyper-SD 的低步长推理能力,使其可以应用于更多资源受限的场景,例如移动设备、嵌入式系统等等。

总结

Hyper-SD 的开源,为扩散模型的加速发展提供了新的方向。该模型能够在保持高图像质量的同时,大幅减少推理步骤,甚至实现单步生成SOTA级图像。Hyper-SD 的发布将推动扩散模型技术的发展,并为图像生成领域带来更多可能性。

模型下载

Huggingface模型下载

https://huggingface.co/ByteDance/Hyper-SD

AI快站模型免费加速下载

https://aifasthub.com/models/ByteDance

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/850426.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

注册小程序

每个小程序都需要在 app.js 中调用 App 方法注册小程序实例,绑定生命周期回调函数、错误监听和页面不存在监听函数等。 详细的参数含义和使用请参考 App 参考文档 。 整个小程序只有一个 App 实例,是全部页面共享的。开发者可以通过 getApp 方法获取到全…

172.二叉树:左叶子之和(力扣)

代码解决 /*** Definition for a binary tree node.* struct TreeNode {* int val;* TreeNode *left;* TreeNode *right;* TreeNode() : val(0), left(nullptr), right(nullptr) {}* TreeNode(int x) : val(x), left(nullptr, right(nullptr) {}* Tree…

RandomDate(接口参数化-随机生成日期)

目录 1、入口位置:2、验证函数生成值3、获取 年月日时分秒 的全随机4、时间函数 前言:有时候我们做性能测试或者接口测试时,参数需要传入日期格式,但是又不想每次都是用同一个日期,我们就可以使用Jmeter工具中函数助手…

2024050702-重学 Java 设计模式《实战状态模式》

重学 Java 设计模式:实战状态模式「模拟系统营销活动,状态流程审核发布上线场景」 一、前言 写好代码三个关键点 如果把写代码想象成家里的软装,你肯定会想到家里需要有一个非常不错格局最好是南北通透的,买回来的家具最好是品…

Mysql 中的case-when

什么是 case-when case-when 是一种 sql 语句中的语法结构,结构如下: case 字段名 when 值 then 字段名|值 ... else 字段名|值 end case when 主要用于数据的 行列转换(把一列数据转换为多列) 前置条件: -- 表…

02.体验CSS以及Bootstrap框架

目录 CSS固定格式 1)style标签 2)div标签 3)span标签 CSS属性 一、文字属性 1.规范文字样式的属性 2.规定文字粗细的属性 3.规定文字大小的属性 4.规范文字字体的属性 二、文本属性 1.文本装饰属性 2.文本水平对齐属性 3.文本缩进…

[flutter]一键将YAPI生成的api.json文件转为需要的Dart Model类的脚本

目的: 根据YAPI接口平台生成的api.json接口文件,将接口数据转化为model类,生成对应的接口值类型文件。 发现: api.json文件导出: YAPi是一个接口管理平台,登录账号打开项目后,在点击数据管理…

Vuex3学习笔记

文章目录 1,入门案例辅助函数 2,mutations传参辅助函数 3,actions辅助函数 4,getters辅助函数 5,模块拆分6,访问子模块的state辅助函数 7,访问子模块的getters辅助函数 8,访问子模块…

Python魔法之旅-魔法方法(23)

目录 一、概述 1、定义 2、作用 二、应用场景 1、构造和析构 2、操作符重载 3、字符串和表示 4、容器管理 5、可调用对象 6、上下文管理 7、属性访问和描述符 8、迭代器和生成器 9、数值类型 10、复制和序列化 11、自定义元类行为 12、自定义类行为 13、类型检…

【Python】数据处理:OS目录文件操作

Python的os模块是一个用于与操作系统进行交互的标准库模块。它提供了丰富的功能来处理文件和目录、执行系统命令、获取和设置环境变量等。 工作目录操作 获取当前工作目录 os.getcwd()参数:无返回值:一个字符串,表示当前工作目录的路径。这…

什么,一不小心打造了一个基于大模型的操作系统

如果以大模型为Kernel, 形成一个新的操作系统,那么: 1. byzer-llm 是这个大模型操作系统的编程接口,有点类似Linux操作系统的C ABI。 2. byzer-retrieval 也被集成进 byzer- llm 接口里,算是大模型操作系统的文件系统&#xff0c…

pytorch 自定义学习率更新 Poly

Poly 学习率调整策略需要继承_LRScheduler类,该类包含三个重要属性和两个重要方法 学习率与batch-size的关系 一般来说,batch-size的大小一般与学习率的大小成正比。batch-size越大一般意味着算法收敛方向的置信度越大,也可以选择较大的学…

STM32快速入门(ADC数模转换)

STM32快速入门(ADC数模转换) 前言 ADC数模转换存在的意义就是将一些温度传感器、各自数据传感器产生的模拟信号转换成方便识别和计算的数字信号。 导航 图24 通用定时器框图: 图片截取自STM32 F1XX中文参考手册。还是以框图为中心&#x…

FinalShell导出服务器配置信息密码password是加密的,如何解密?

本章教程,主要实现了一个小的功能,对FinalShell导出的配置信息,进行解密。 FinalShell导出之后,会产生一个json文件,例如下面这种json格式,里面记录了服务器的IP地址,端口和密码,里面的密码是经过加密处理的,本文主要利用java代码实现对这个password进行解密还原。 {&…

(论文翻译)Coordinate Attention for Efficient Mobile Network Design(坐标注意力 CVPR2021)

Coordinate Attention for Efficient Mobile Network Design(CVPR2021) 文章目录 Coordinate Attention for Efficient Mobile Network Design(CVPR2021)摘要1.引言2.相关工作3.方法:Coordinate Attention3.1.Revisit …

【c++】哈希>unordered容器哈希表哈希桶哈希的应用详解

主页:醋溜马桶圈-CSDN博客 专栏:c_醋溜马桶圈的博客-CSDN博客 gitee:mnxcc (mnxcc) - Gitee.com 目录 1. unordered系列关联式容器 1.1 unordered_map 1.1.1 unordered_map的文档介绍 1.1.2 unordered_map的接口说明 1.1.2.1 unordered_m…

Java学习 - Maven - 常用命令(学习精选)

前言 在上一篇文章中,我们对 Maven 有了初步的了解,包括它的定义、安装步骤以及一些基本的配置方法。Maven 是一个强大的项目管理工具,它可以帮助开发者自动化构建过程,并且管理项目的依赖关系。 今天,我们将深入探讨…

上位机图像处理和嵌入式模块部署(f407 mcu和其他mcu品类的选择)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing 163.com】 很多朋友读书的时候学的是stm32,工作中用的也是stm32。这本来问题不大,但是过去两三年的经历告诉我们,mcu的使用…

【设计模式】行为型设计模式之 职责链模式,探究过滤器、拦截器、Mybatis插件的底层原理

一、介绍 职责链模式在开发场景中经常被用到,例如框架的过滤器、拦截器、还有 Netty 的编解码器等都是典型的职责链模式的应用。 标准定义 GOF 定义:将请求的发送和接收解耦,让多个接收对象都有机会处理这个请求,将这些接收对象…