CVPR2023 Deblur论文整理

Paper list 来自 https://github.com/DarrenPan/Awesome-CVPR2023-Low-Level-Vision#image-deblurring
简单用GPT翻译一下摘要

1 Structured Kernel Estimation for Photon-Limited Deconvolution

Paper: Structured Kernel Estimation for Photon-Limited Deconvolution
Code: https://github.com/sanghviyashiitb/structured-kernel-cvpr23

在低光照条件下拍摄的图像,存在相机抖动和光子噪声,会导致运动模糊和图像质量下降。虽然最先进的图像恢复网络显示出了很好的结果,但它们在光子噪声强烈的情况下性能会显著下降,且很大程度上局限于充足照明的场景。
本文提出了一种新的模糊估计技术,针对光子受限条件进行了定制。所提出的方法采用基于梯度的反向传播方法来估计模糊核。通过使用运动轨迹上的关键点对模糊核进行低维表示,我们显著减少了搜索空间,并改善了核估计问题的规则性。当插入迭代框架时,我们的新型低维表示提供了改进的核估计,因此与端到端训练的神经网络相比,提供了显著更好的去卷积性能。

2 Blur Interpolation Transformer for Real-World Motion from Blur

Paper: Blur Interpolation Transformer for Real-World Motion from Blur
Code: https://github.com/zzh-tech/BiT

本文研究了从模糊中恢复运动的难题,也称为联合去模糊和插值或模糊时序超分辨率。挑战在于:1)当前的方法即使在合成数据集上也仍有相当大的提升空间;2)对真实世界数据的泛化能力较差。为此,我们提出了一种模糊插值变换器(blur interpolation transformer,BiT),以有效地展开模糊中编码的潜在时间相关性。基于多尺度残差 Swin 变换块,我们引入了双端时序监督(dual-end temporal supervision)和时间对称集成(temporally symmetric ensembling)策略,以生成用于时变运动渲染的有效特征。此外,我们设计了一种混合相机系统,用于收集第一个真实世界的一对多模糊-清晰视频数据集。实验结果表明,BiT 在公共数据集 Adobe240 上比最先进的方法有显著提升。此外,所提出的真实世界数据集有效地帮助模型在真实模糊场景中具有良好的泛化能力。

3 Neumann Network with Recursive Kernels for Single Image Defocus Deblurring

Paper: https://openaccess.thecvf.com/content/CVPR2023/html/Quan_Neumann_Network_With_Recursive_Kernels_for_Single_Image_Defocus_Deblurring_CVPR_2023_paper.html
Code: https://github.com/csZcWu/NRKNet

单幅图像的虚焦去模糊(Single Image Defocus Deblurring,SIDD)是指从虚焦模糊的图像中恢复出一个全焦点的图像。由于虚焦模糊的效果在空间上存在显著的大小变化,因此这是一个具有挑战性的恢复任务。受到不同尺寸的虚焦核之间的强相关性和虚焦核的斑点结构的启发,我们提出了一个可学习的递归核表示(RKR)来表示虚焦核,通过递归、可分离和正原子核(recursive, separable and positive atom kernels)的线性组合来表达虚焦核,从而得到了一种紧凑而有效的物理编码参数化的空间变化虚焦模糊过程。随后,我们提出了一种物理驱动和高效的深度模型,采用跨尺度融合结构,用于 SIDD。同时,我们从截断的 Neumann 级数中获取灵感,以近似基于 RKR 的模糊运算符的矩阵求逆。此外,我们提出了一种重新模糊损失(reblurring loss ),以规范化 RKR 的学习。大量实验结果表明,我们提出的方法明显优于现有方法,并且与顶尖方法的模型大小相当。

4 Efficient Frequency Domain-based Transformers for High-Quality Image Deblurring

Paper: https://arxiv.org/abs/2211.12250
Code: https://github.com/kkkls/FFTformer

我们提出了一种有效和高效的方法,探索Transformers 在频域中的特性,用于高质量图像去模糊。我们的方法受卷积定理的启发,即在空间域中两个信号的相关性或卷积等价于在频域中它们的逐元素乘积。这启发我们开发了一种高效的基于频域的自注意力求解器(frequency domain-based self-attention solver,FSAS),通过逐元素乘积操作而不是在空间域中的矩阵乘法来估计缩放点积注意力。此外,我们注意到,在Transformers中简单地使用朴素的前馈网络(FFN)不能生成良好的去模糊结果。为了克服这个问题,我们提出了一种简单而有效的基于频域的判别性 FFN(DFFN),其中我们引入了一种基于JPEG压缩算法的门控机制,在 FFN 中判别性地确定应该保留哪些特征的低频和高频信息,以进行潜在清晰图像的恢复。我们将提出的 FSAS 和 DFFN 公式化为一种基于编码器和解码器架构的不对称网络,其中 FSAS 仅在解码器模块中用于更好的图像去模糊。实验结果表明,所提出的方法与最先进的方法相比表现优异。

5 Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur

Paper: Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur
Code: https://github.com/CVMI-Lab/HybridNeuralRendering

渲染新视角图像对许多应用非常重要。尽管近年来取得了进展,但从野外图像(in-the-wild)中渲染大规模场景的高保真度和视角一致性的新视角仍然具有挑战性,并带有不可避免的伪影(例如运动模糊)。为此,我们开发了一种混合神经渲染模型,将基于图像的表示和神经三维表示相结合,以呈现高质量、视角一致的图像。此外,野外拍摄的图像不可避免地包含伪影,例如运动模糊,这会降低渲染图像的质量。因此,我们提出了模拟模糊效果的策略,以减轻模糊图像的负面影响,并根据预先计算的质量权重在训练期间降低它们的重要性。对真实和合成数据的大量实验表明,我们的模型超越了点云方法在新视角合成方面的现有技术。

6 Self-Supervised Non-Uniform Kernel Estimation With Flow-Based Motion Prior for Blind Image Deblurring

Paper: CVPR 2023 Open Access Repository
Code: https://github.com/Fangzhenxuan/UFPDeblur
Tag: Self-Supervised

很多基于深度学习的盲图像去模糊解决方案是通过估计模糊表示并从模糊观测中重建目标图像来实现的。然而,在实际应用中,这些方法的性能会严重降低,因为它们忽略了有关运动模糊的重要先验信息(例如,实际运动模糊具有多样性和空间变化性)。一些方法已经尝试使用 CNNs 显式地估计非均匀模糊核,但由于缺乏关于实际图像中空间变化的模糊核的真实值,因此准确的估计仍然具有挑战性。为了解决这些问题,我们提出了一种通过规范化流来表示运动模糊核场的潜在空间,并设计了 CNNs 来预测潜在编码而不是运动核的方法。为了进一步提高非均匀核估计的准确性和鲁棒性,我们将不确定性学习引入到估计潜在编码的过程中,并提出了一个多尺度核注意力模块,以更好地将图像特征与估计的核结合起来。大量的实验结果,特别是在真实世界的模糊数据集上,证明了我们的方法在主观和客观质量以及非均匀图像去模糊的优秀泛化性能方面均取得了最先进的结果。

7 Uncertainty-Aware Unsupervised Image Deblurring with Deep Residual Prior

Paper: Uncertainty-Aware Unsupervised Image Deblurring with Deep Residual Prior
Code: https://github.com/xl-tang01/UAUDeblur
Tags: Unsupervised

非盲去模糊方法在准确的模糊核假设下可以获得不错的性能。由于实践中不可避免地存在模糊核不确定性(即模糊核误差),因此建议使用半盲去模糊方法通过引入模糊核(或诱导)误差的先验来处理它。然而,如何为模糊核(或诱导)误差设计合适的先验仍然具有挑战性。手工制作的先验通常结合领域知识表现良好,但在模糊核(或诱导)误差复杂时可能导致性能下降。数据驱动的先验过度依赖于训练数据的多样性和丰富性,容易受到分布之外的模糊和图像的影响。为了解决这个挑战,我们提出了一种基于深度残差先验的无数据集先验,用一个未经训练的定制深度神经网络表示诱导误差(称为残差),使我们可以灵活地适应实际场景中的不同模糊和图像。通过有机地整合深度先验和手工制作的先验的优势,我们提出了一种无监督的半盲去模糊模型,可以从模糊图像和不准确的模糊核中恢复清晰图像。为了解决该模型,我们开发了一个高效的交替最小化算法。大量实验证明,与基于模型和基于数据的方法相比,所提出的方法在图像质量和对不同类型的模糊核误差的鲁棒性方面表现出了优异的性能。

8 K3DN: Disparity-Aware Kernel Estimation for Dual-Pixel Defocus Deblurring

Paper: CVPR 2023 Open Access Repository
双像素(Dual-Pixel,DP)传感器通过将每个像素分成两半,在单个快照中捕获了一个双视图图像对。DP对的两个视图之间的虚焦模糊区域会产生视差,而焦点清晰区域的视差为零。这启发我们提出了一个名为 K3DN 的 DP对去模糊框架,它包含三个模块:i)视差感知去模糊模块。它估计视差特征图,用于查询可训练的核集来估计最能描述空间变化模糊的模糊核。根据 DP 公式,核被限制为对称的。根据模糊模型进行简单的傅里叶变换进行去模糊;ii)重新模糊正则化模块。它重用模糊核,进行简单的卷积进行重新模糊,并在训练阶段无监督地规范估计的核和视差特征;iii)清晰区域保护模块。它识别与 DP 图像之间视差为零的区域相对应的焦点区域,旨在避免去模糊过程中引入噪声,并提高图像恢复性能。在四个标准的 DP 数据集上的实验证明,所提出的 K3DN 方法在参数和 FLOPS 更少的情况下优于现有的最先进方法。

9 Self-Supervised Blind Motion Deblurring With Deep Expectation Maximization

Paper: CVPR 2023 Open Access Repository
Tags: Self-Supervised

在拍照时,快门时间内的任何相机抖动都可能导致图像模糊。从由相机抖动引起的模糊图像中恢复清晰图像是一个具有挑战性但重要的问题。现有的大多数深度学习方法使用监督学习,通过训练一个由许多模糊/潜在图像对组成的数据集上的深度神经网络(DNN)来解决这个问题。相比之下,本文提出了一种无数据集的深度学习方法,用于从静态场景图像中去除均匀和非均匀模糊效果。我们的方法涉及基于 DNN 的潜在图像重新参数化,并提出了一种 Monte Carlo Expectation Maximization(MCEM)方法,可以在不需要任何潜在图像的情况下训练 DNN。通过 Langevin 动力学实现 Monte Carlo 模拟。实验表明,所提出的方法在去除静态场景图像中的运动模糊方面明显优于现有方法。

10 HyperCUT: Video Sequence from a Single Blurry Image using Unsupervised Ordering

Paper: HyperCUT: Video Sequence from a Single Blurry Image using Unsupervised Ordering
Code: https://github.com/VinAIResearch/HyperCUT

本文考虑训练图像到视频去模糊模型的挑战性任务,旨在从给定的模糊图像输入中恢复一系列清晰的图像序列。影响图像到视频模型训练的一个关键问题是帧顺序的不确定性,因为正向和反向序列都是合理的解决方案。本文提出了一种有效的自监督排序方案,允许训练高质量的图像到视频去模糊模型。与依赖于不变损失的先前方法不同,我们为每个视频序列分配一个明确的顺序,从而避免了顺序不确定性问题。具体而言,我们将每个视频序列映射到一个潜在高维空间中的向量,使得存在一个超平面,对于每个视频序列,从其提取的向量和其反转序列的向量在超平面的不同侧。向量的这一侧将用于定义相应序列的顺序。最后,我们针对图像到视频去模糊问题提出了一个真实图像数据集,覆盖了包括人脸、手和街道在内的各种流行领域。大量实验结果证实了我们方法的有效性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/62904.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Power BI 连接 MySQL 数据库

Power Query 或 Power BI 只提供了对 SQL Server 的直接连接,而不支持其它数据库的直连。所以第一次连接 MySQL 数据库时,就出现下面的错误信。 这就需要我们自己去安装一个连接器组件。https://downloads.mysql.com/archives/c-net/ 错误解决方案 我一…

C语言sizeof和strlen的区别?

sizeof和strlen有什么区别? sizeof本质是运算符(sizoof既是关键字也是运算符,不是函数哈),而strlen就是函数。sizeof后面如果是类型,则必须加括号,如果是变量,可以不加括号。 sizeof…

【Unity】终极移动指南-注解【理解移动到抓钩,再到贪吃蛇的实现】

文章目录 【Unity】终极移动指南-注解(从移动、抓钩到贪吃蛇)观前提醒链接地址: 内容一、 transform移动操作【1】transform.position变换位置【2】transform.Translate平移【3】transform.position 类似平移的操作【4】定向矢量【5】停在指定…

定位与轨迹-百度鹰眼轨迹开放平台-学习笔记

1. 百度鹰眼轨迹的主要功能接口 百度的鹰眼轨迹平台,根据使用场景不同,提供了web端、安卓端等各种类型的API与SDK,本文章以web端API为例,介绍鹰眼轨迹的使用。 2. API使用前的准备 使用鹰眼轨迹API,需要两把钥匙&…

Java单元测试 JUnit 5 快速上手

一、背景 什么是 JUnit 5?首先就得聊下 Java 单元测试框架 JUnit,它与另一个框架 TestNG 占据了 Java领域里单元测试框架的主要市场,其中 JUnit 有着较长的发展历史和不断演进的丰富功能,备受大多数 Java 开发者的青睐。 而说到…

SpringBoot整合JUnit、MyBatis、SSM

🐌个人主页: 🐌 叶落闲庭 💨我的专栏:💨 c语言 数据结构 javaEE 操作系统 石可破也,而不可夺坚;丹可磨也,而不可夺赤。 SpringBoot整合 一、SpringBoot整合JUnit二、Spri…

Vue脚手架中安装ElementUi

目录 ElementUi简介: ElementUi下载: npm 安装: 引入ElementUi: 测试是否引入成功: Element-ui官网:组件 | Element ElementUi简介: ElementUi,是由国内的饿了么团队开发并开源的一套为开…

砍价活动制作秘籍,打造抢购风潮

砍价活动作为一种吸引用户参与、提高销售量的营销手段,已经成为了电商行业的热门选择。在如今竞争激烈的市场环境下,如何制作出成功的砍价活动,成为了每位电商从业者亟需解决的问题。在本文中,我们将为大家揭秘一种制作成功砍价活…

基于Thinkphp6框架全新UI的AI网址导航系统源码

2023全新UI的AI网址导航系统源码,基于thinkphp6框架开发的 AI 网址导航是一个非常实用的工具,它能够帮助用户方便地浏览和管理自己喜欢的网站。 相比于其他的 AI 网址导航,这个项目使用了更加友好和易用的 ThinkPHP 框架进行搭建,…

[管理与领导-60]:IT基层管理者 - 扩展技能 - 3 - 通过面试招到合适的人选

目录 前言: 一、招聘 1.1 什么是招聘 1.2 招聘 VS 招募 1.3 甄选 1.4 招聘中的重要原则 1.5 招聘的本质 1.6 人才匹配的维度 1.7 人员招聘中的误区 二、面试 2.1 何为面试 2.2 为什么面试 2.3 面试的注意事项 2.4 面试的误区 2.5 如何进行面试 前言…

ffmpeg把RTSP流分段录制成MP4,如果能把ffmpeg.exe改成ffmpeg.dll用,那音视频开发的难度直接就降一个维度啊

比如,原来我们要用ffmpeg录一段RTSP视频流转成MP4,我们有两种方案: 方案一:可以使用以下命令将rtsp流分段存储为mp4文件 ffmpeg -i rtsp://example.com/stream -vcodec copy -acodec aac -f segment -segment_time 3600 -reset_t…

springMVC之拦截器

文章目录 前言一、拦截器的配置二、拦截器的三个抽象方法三、多个拦截器的执行顺序总结 前言 拦截器 一、拦截器的配置 SpringMVC中的拦截器用于拦截控制器方法的执行 SpringMVC中的拦截器需要实现HandlerInterceptor SpringMVC的拦截器必须在SpringMVC的配置文件中进行配置&…

OpenCV(三):Mat类数据的读取

目录 1.Mat类矩阵的常用属性 2.Mat元素的读取 1.at方法读取Mat矩阵元素 at (int row,int col) 2.矩阵元素地址定位方式访问元素 3.Android jni demo 1.Mat类矩阵的常用属性 下面是一些Mat类的常用属性: rows: 返回Mat对象的行数。 cols: 返回Mat对象的列数。 …

数据结构之算法

算法的基本概念 计算机解题的过程实际上是在实施某种算法,这种算法称为计算机算法 算法的基本要素 一个算法是由两种基本要素组成:一是对数据对象的运算和操作;二是算法的控制结构 算法中对数据的运算和操作 在一般计算机系统中&#xf…

uni-app 分不清的全局变量this, uni, $u, vm, uni.$u, this.$u

项目引入了uview,并将uview所有模块指给uniapp全局变量uni uni.$u$u 在登录页面,或者APP.vue打印以下变量: this, uni, $u, vm, uni.$u, this.$u // this,$u,vm,uni, this.$u, uni.$u全局变量说明console.log(">>th…

目标检测YOLO实战应用案例100讲-基于CNN的卫星图像下舰船目标检测与识别(续)

目录 3.3评价指标 3.3.1 mAP 3.3.2 FPS 3.4主流目标检测网络性能研究 3.4.1 SSD 3.4.2 Faster RCNN 3.4.3 YOLO

Spring 如何解决循环依赖问题 - 三级缓存

1. 什么是循环依赖问题 ? 循环依赖问题是指对象与对象之间存在相互依赖关系,而且形成了一个闭环,导致两个或多个对象都无法准确的完成对象的创建和初始化。 两个对象间的循环依赖: 多个对象间的循环依赖 : 解决 Spring 中的循环…

ctfshow-web14

0x00 前言 CTF 加解密合集CTF Web合集 0x01 题目 0x02 Write Up 首先看到这个,swith,那么直接输入4,则会打印$url的值 然后访问一下 查看一下,发现完整的请求是http://c7ff9ed6-dccd-4d01-907a-f1c61c016c15.challenge.ctf.sho…

如何用VMware虚拟机连上Xshell

目录 前言废话1.1设置虚拟机设置1.2 设置虚拟网络编辑器方法一:方法二: 1.3 配置静态IP地址1.4 Xshell连接虚拟机2.1 解决可能出现的一些问题2.1.1 虚拟机Ping不通网络2.1.2 我可以Ping通百度了,但是宿主机和虚拟机互相Ping不通。2.1.3 更离谱…

Spring AOP+Redis实现接口访问限制

目录 一、需求二、实现思路三、代码实现3.1 导入依赖3.2 配置redis3.3 自定义注解3.4 定义切面类3.5 自定义异常类3.6 全局异常处理器 一、需求 在我们程序中,有时候需要对一些接口做访问控制,使程序更稳定,最常用的一种是通过ip限制&#x…