Hierarchical Integration Diffusion Model for Realistic Image Deblurring

  • neurips23 上交&ETH&字节&清华&上海ai lab&悉尼大学&西湖大学
  • https://github.com/zhengchen1999/HI-Diff

问题引入

  • 现在的diffusion的方法在sample的时候需要的iteration过多,所以本文提出在高度压缩的空间进行DM,且deblur模型主体是regression base的模型,DM只是生成prior feature,prior feature integrate到regression model的方式是Hierarchical的;

methods

在这里插入图片描述

  • stage1:首先将GT和LQ进行concat之后送到LE模块得到prior feature z ∈ R N × C ′ z\in\mathbb{R}^{N\times C'} zRN×C,之后在transformer部分进行integrate,通过HIM模块进行cross attention,输入的feature map首先reshape到 X r ∈ R H ^ W ^ × C ^ X_r\in\mathbb{R}^{\widehat{H}\widehat{W}\times \widehat{C}} XrRH W ×C ,之后经过linear层得到 Q Q Q,类似的还将 z z z经过线性层得到 K , V K,V K,V,之后计算cross attention S o f t M a x ( Q K T / C ^ ) ⋅ V SoftMax(QK^T/\sqrt{\widehat{C}})\cdot V SoftMax(QKT/C )V,最后的损失是去模糊之后的图片和GT的L1损失;
  • stage2:DM生成prior feature,流程还是和DiffIR这篇文章的stage2一样;

实验

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/30143.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

力扣第209题“长度最小的子数组”

关注微信公众号 数据分析螺丝钉 免费领取价值万元的python/java/商业分析/数据结构与算法学习资料 在本篇文章中,我们将详细解读力扣第209题“长度最小的子数组”。通过学习本篇文章,读者将掌握如何使用滑动窗口和双指针的方法来解决这一问题&#xff0…

甲辰年五月十四风雨思

甲辰年五月十四风雨思 夜雨消暑气,远光归家心。 ​只待万窗明,朝夕千家勤。 ​苦乐言行得,酸甜日常品。 宫商角徵羽,​仁义礼智信。

【python】PyCharm如何设置字体大小和背景

目录 效果展示 字体大小 背景设置 效果展示 字体大小 再左上角找到四条杠的图标 找到File 一般字体大小为22最合适,行间距为默认 背景设置 还是再字体设置的页面搜索 background 小编的其他文章详见,欢迎来支持 东洛的克莱斯韦克-CSDN博客 【机器…

如何优雅的一键下载OpenHarmony活跃分支代码?请关注【itopen: ohos_download】

itopen组织:1、提供OpenHarmony优雅实用的小工具2、手把手适配riscv qemu linux的三方库移植3、未来计划riscv qemu ohos的三方库移植 小程序开发4、一切拥抱开源,拥抱国产化 一、概述 为方便大家每次下载OpenHarmony不同分支/tag代码&#xff0c…

【文末附gpt升级秘笈】“登月游戏”对人类的意义

“登月游戏”对人类的意义是多方面的,不仅体现在科技、教育和娱乐层面,还对人类探索未知的精神产生了深远影响。 一、科技意义 “登月游戏”作为早期计算机游戏的代表之一,展示了计算机技术在模拟现实世界方面的能力。通过模拟登月器的着陆…

数据库-单表查询-排序和分组

对查询结果排序: SELECT 字段名 FROM 表名 ORDER BY 字段名 [ASC[DESC]]; ASC 升序关键字DESC 降序关键字 分组查询的单独使用: SELECT 字段名 FROM 表名 GROUP BY 字段名; 使用 LIMIT 限制查询结果的数量: SELECT 字段名 FROM 表名 LIMIT [OFFSET,] 记录数; 第一个…

程序员失业了,你可以做这些事情

这篇文章,我们讲,你先别带入自己哈,如果失业了,放心吧,你那么有上进心,不会失业的。咱就是说,如果万一失业了,你可以做这些事情。 1 体力好的铁人三项 👩‍&#x1f3e…

Kotlin 编程语言详解:特点、应用领域及语法教程

什么是 Kotlin? Kotlin 是一种现代、流行的编程语言,由 JetBrains 在 2016 年发布。 自发布以来,它已经变得非常流行,因为它与 Java 兼容(Java 是目前最流行的编程语言之一),这意味着 Java 代…

Python基础-引用参数、斐波那契数列、无极分类

1.引用参数的问题 (1)列表(list) 引用参数,传地址的参数,即list1会因list2修改而改变。 list1 [1,2,3,4] list2 list1 print(list1) list2[2] 1 print(list2) print(list1)非引用参数,不传…

【Java】线程池技术(一)Executor框架

背景 Java 底层提供了 Thread 类支持开发人员手动创建线程执行任务,但是这种操作会存在以下问题: 每次都要重新创造和回收 Thread 对象,性能较差。如果并发线程数较大,且任务执行时间较短,频繁创建和回收线程对象会大…

解锁TikTok内容趋势——高效获取TikTok标签信息接口

一、引言 在TikTok这个全球热门的短视频平台上,标签(Hashtags)是用户和内容创作者连接、发现新内容的重要工具。为了帮助品牌、市场分析师、内容创作者等更好地理解和利用TikTok上的内容趋势,我们推出了一款全新的接口服务&#…

PD19 Parallels Desktop 虚拟机 安装Windows10系统 操作步骤(保姆级教程,轻松上手)

Mac分享吧 文章目录 效果一、准备工作**下载软件** 二、开始安装1、打开pd 19 虚拟机,点击右上角文件,新建2、通过下载好的镜像安装Windows10系统。找到镜像文件位置,安装,配置2、显示安装完成,打开Windows10系统 三、…

单链表的合并

分数 5 作者 李卫明 单位 杭州电子科技大学 1.2 编写程序,在第1题(第1题:编写程序,建立2个带头结点单链表,输入若干整数将正整数插入第1个单链表,将负整数插入第2个单链表,插入前和插入后单链表保持递增…

UI设计速成课:理解模态窗口与非模态窗口的区别

我们日常所说的弹性框架是非常笼统的概念。我们习惯性地称之为对话框架、浮动层和提示条。弹性框架可以分为两种:模态弹性框架和非模态弹性框架。产品需要弹性框架来传递信息,用户需要弹性框架来接受反馈,但是没有经过推敲的弹出窗口设计很容易让用户感到…

最新版首发 | 手把手教你安装 Vivado2024.1(附安装包)

Q:Vivado出2024版了!不知迪普微有没有对应的安装包呢? A:有的!回复“Vivado2024.1”即可获得相应安装包哦~ Q:好哒~但是我不会安装,可否安排一期安装教程? A:立马安排&…

Gin 详解

Gin 介绍 gin框架是一个基于go语言的轻量级web框架,它具有高效性、灵活性、易扩展性路由 gin框架使用的是定制版的httprouter 其路由原理是大量使用公共前缀的树结构,注册路由的过程就是构造前缀树的过程。 具有公共前缀的节点也共享一个公共父节点。…

怎么移除pdf文件编辑限制,有哪些方法?

PDF是我们在学习或工作中常常应用到的一种文件格式,因为它的跨平台性和文档保真度而备受欢迎。但是,有时我们会遇到PDF编辑权限被限制了,那么pdf解除编辑限制可以用什么方法呢?别急,接下来,本文将深入探讨如…

关于Panabit在资产平台中类型划分问题

现场同事问了一个问题:Panabit能不能当做CentOS接入? 我第一反应是:Panabit是个什么鬼?为啥要混编接入?后期维护都是事啊。所以,我就想回答:不能! 但是,最好要给出一个…

通过sql语句直接导出excel文件

SELECT column1 as 名字 FROM your_table INTO OUTFILE /path/to/your_file.csv FIELDS TERMINATED BY , ENCLOSED BY " LINES TERMINATED BY \n 这里的注意事项是,INTO OUTFILE 这后面的路径需要通过下面的SQL查出来 show variables like %secure%; 操作步骤…