ExposureDiffusion: Learning to Expose for Low-light Image Enhancement论文阅读笔记

在这里插入图片描述

  • 南洋理工大学、鹏城实验室、香港理工大学在ICCV2023发表的暗图增强论文。用diffusion模型来进行raw图像暗图增强,同时提出了一个自适应的残差层用来对具有不同信噪比的不同区域采取不同的去噪策略。

  • 方法的框图如下所示:
    在这里插入图片描述

  • 一张raw图片可以由信号和噪声组成,其中信号是曝光时间、增益和场景光子转化为电子数量三者乘积,噪声是由服从泊松分布的散粒噪声和与信号相独立的噪声的加和:
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 文章定义暗图增强的目标为从一张 λ t = λ T \lambda_t=\lambda_T λt=λT的暗图 X T X_T XT恢复出一张 λ t = λ 0 > λ T \lambda_t=\lambda_0>\lambda_T λt=λ0>λT的正常曝光的图片 X 0 X_0 X0。套用到diffusion的扩散过程,exposure diffusion就是将正常曝光的图片作为 X 0 X_0 X0,将暗图作为 X T X_T XT,用网络来模拟从 X t X_{t} Xt X t − 1 X_{t-1} Xt1的反向过程,从而实现对暗图的增强,如下图所示:
    在这里插入图片描述

  • 与一般diffusion model不同的是,exposure diffusion的目标函数是网络预测的分布和实际分布的KL散度的一个上界:
    在这里插入图片描述

  • 转移函数用的是如下公式,其中P是泊松分布:
    在这里插入图片描述
    而损失函数其实也很简单,如下:
    在这里插入图片描述
    其中 F Θ F_\Theta FΘ如下所示
    在这里插入图片描述
    其中 X ^ \hat X X^ R ^ \hat R R^分别是对正常光照的图像 X r e f X_{ref} Xref和 残差 R R R的预测值, M M M也是预测的一个soft的mask
    在这里插入图片描述

  • 所以其实整体流程上,就暗图增强任务,这篇论文并没有提出一个暗图增强的网络结构,可以用任何现有的暗图增强网络的网络结构来实现,本文只是利用diffusion理论和自己的一些公式推导,提出了一个训练框架,把现有网络的输出接一个卷积层预测X M R三个分量,然后用本文推导的输入和损失函数来训练这个网络,最终使得这个网络的输出配合diffusion的公式和上面的公式(12)能够得到raw image的增强结果:
    在这里插入图片描述

  • 实验结果看,用本文的方法,确实是可以提高网络在raw image上进行暗图增强的性能:
    在这里插入图片描述

  • 但是,个人感觉文章藏了一些东西,比如,明明table给出了不同模型的parameters flops inference time,顺手就可以在下面给出改进后模型的inference time进行对比看看增加了多少,它偏不,非要在table4给出个图,说small model的改进版本是larger model的25%的parameters 和FLOPs而获得了更好的性能(注意,这里就不提inference time,只说小模型用iteration number of 3可以比大模型更快,但是你这里获得更好的性能用的是iteration number of 3 吗?),这种拐弯抹角的方式不得不让我怀疑其实是在隐藏这一改进由于inference需要进行iteration会使得inference time翻很多倍的事实:
    在这里插入图片描述
    在这里插入图片描述

  • 评价:本身把diffusion和暗图增强这个任务进行了很好的结合,我应该给出很好的评价的。但是对inference time藏着掖着的态度让我又有了点降分。总而言之是一篇很好的文章,个人认为是目前为止看到的用diffusion model做暗图增强做得算好的了,在用diffusion 的框架进行暗图增强的训练的方向上做了一个理论上比较有说服力的工作。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/109781.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何解决idea运行出现java: 程序包XX不存在

原因一&#xff1a;pom.xml没有将程序包XXX的<dependency>配置 直接将程序包的<dependency>配置写上即可 原因二&#xff1a;maven配置问题 打开idea的Settings, 进入Build Execution Deployment/Build Tools/Maven/Runner,将Delegate IDE勾上就可以了。(将idea…

Maven 基础教程系列

Maven是一个项目开发管理和理解工具。基于项目对象模型的概念&#xff1a;构建、依赖关系管理、文档创建、站点发布和分发发布都由pom.xml声明性文件控制。Maven可以通过插件进行扩展&#xff0c;以使用许多其他开发工具来报告或构建过程。 一、Maven 使用教程-CSDN博客 二、…

Eclipse Xtext 实现PLC ST 语言到C的转换

Eclipse Xtext 是开发领域专用语言&#xff08;DSL&#xff09;的工具。例如数据库的SQL 语言&#xff0c;PLC 的ST 语言都是一种领域专用语言。在开放自动化领域&#xff0c;提倡基于模型的设计方法。DSL 是描述模型的强有力工具。 在开发PLC 程序IDE时&#xff0c;开发ST编译…

网络安全内网渗透之信息收集--systeminfo查看电脑有无加域

systeminfo输出的内容很多&#xff0c;包括主机名、OS名称、OS版本、域信息、打的补丁程序等。 其中&#xff0c;查看电脑有无加域可以快速搜索&#xff1a; systeminfo|findstr "域:" 输出结果为WORKGROUP&#xff0c;可见该机器没有加域&#xff1a; systeminfo…

LeetCode【17】电话号码的字母组合

题目&#xff1a; 思路&#xff1a; 参考&#xff1a;https://blog.csdn.net/weixin_46429290/article/details/121888154 和上一个题《子集》的思路一样&#xff0c;先画出树结构&#xff0c;看树的深度&#xff08;遍历层级&#xff09;&#xff0c;树的宽度&#xff08;横向…

10.18作业

使用手动连接&#xff0c;将登录框中的取消按钮使用qt4版本的连接到自定义的槽函数中&#xff0c;在自定义的槽函数中调用关闭函数 将登录按钮使用qt5版本的连接到自定义的槽函数中&#xff0c;在槽函数中判断ui界面上输入的账号是否为"admin"&#xff0c;密码是否为…

IntelliJ IDEA中使用“Generate equals() and hashCode()“提供不同模板的区别

当在IntelliJ IDEA中使用"Generate equals() and hashCode()"功能时&#xff0c;它提供了几个模板选项来生成equals()和hashCode()方法的代码。以下是这些模板的一些区别&#xff1a; IntelliJ Default&#xff08;IntelliJ 默认&#xff09;&#xff1a;这是Intelli…

Java文件前后端上传下载工具类

任何非压缩格式下载 package com.pisx.pd.eco.util;import java.io.*; import java.util.Collections; import java.util.HashMap; import java.util.Map;import javax.servlet.ServletOutputStream; import javax.servlet.http.HttpServletResponse;import org.springframewo…

C++11——包装器与lambda表达式

目录 一.背景 二.lambda 1.见一见lambda 2.lambda表达式语法 3.lambda捕捉列表说明 三.函数对象与lambda表达式 四.包装器 1.function包装器 2.包装类的成员函数 五.bind 1.调整参数位置 2.减少函数参数 一.背景 在C98中&#xff0c;如果想要对一个数据集合中的元素…

成都瀚网科技:如何有效运营抖店来客呢?

随着电子商务的快速发展和移动互联网的普及&#xff0c;越来越多的企业开始将目光转向线上销售渠道。其中&#xff0c;抖音成为备受关注的平台。作为中国最大的短视频社交平台之一&#xff0c;抖音每天吸引数亿用户&#xff0c;这也为企业提供了巨大的商机。那么&#xff0c;如…

Integer包装类常用方法和属性

包装类 什么是包装类Integer包装类常用方法和属性 什么是包装类 Java 包装类是指为了方便处理基本数据类型而提供的对应的引用类型。Java 提供了八个基本数据类型&#xff08;boolean、byte、short、int、long、float、double、char&#xff09;&#xff0c;每个基本数据类型对…

F5.5G落进现实:目标网带来的光之路

数字化与智能化的世界将走向何方&#xff1f;这个问题有着非常复杂的答案&#xff0c;但其中有一个答案已经十分清晰。那就是智能化的下一步&#xff0c;必将走向泛在万兆的世界。 网络是算力联接的底座&#xff0c;是智能演化的基础。纵观每一代数字化升级&#xff0c;都可以发…

代码随想录Day22 LeetCode T39 组合总和 T40 组合总和II T131 分割回文串

LeetCode T39 组合总和 题目链接:39. 组合总和 - 力扣&#xff08;LeetCode&#xff09; 树形图 题目思路: 这我们会发现和昨天的题目很像,只是这里的元素并不是只能选取一次了,我们可以根据代码画出树形图来解决问题,下面我们开始递归三部曲 首先我们先定义出result和path数…

亲,手撸图文博文太累了?试试这个神器!

这一篇博客有关如何使用[InternLM-XComposer]来写图文并茂的博文。InternLM-XComposer是一个基于人工智能的创作工具&#xff0c;它可以根据你的输入生成不同类型的内容&#xff0c;例如文章、诗歌、歌词、代码等。你可以使用它来创作有趣和有创意的博客&#xff0c;同时也可以…

C# OpenCvSharp 利用Lab空间把春天的场景改为秋天

效果 项目 代码 using OpenCvSharp; using System; using System.Diagnostics; using System.Drawing; using System.Drawing.Imaging; using System.Windows.Forms;namespace OpenCvSharp_Demo {public partial class Form1 : Form{public Form1(){InitializeComponent();}st…

免费:实时 AI 编程助手 Amazon CodeWhisperer

点 &#xff0c;一起程序员弯道超车之路 现已正式推出实时 AI 编程助手 Amazon CodeWhisperer&#xff0c;包括 CodeWhisperer 个人套餐&#xff0c;所有开发人员均可免费使用。最初于去年推出的预览版 CodeWhisperer 让开发人员能够保持专注、高效&#xff0c;帮助他们快速、安…

Java将Word转换成PDF-aspose

Java将Word转换成PDF 本文将演示用aspose-word.jar包来实现将Word转换成PDF&#xff0c;且可以保留图表和图片。 文章目录 Java将Word转换成PDF前言一、aspose是什么&#xff1f;二、使用步骤1.下载jar包2.引入库3.word 转pdf 补充1.根据模板生成word&#xff08;1&#xff09…

如何管理前端状态?

聚沙成塔每天进步一点点 ⭐ 专栏简介 前端入门之旅&#xff1a;探索Web开发的奇妙世界 欢迎来到前端入门之旅&#xff01;感兴趣的可以订阅本专栏哦&#xff01;这个专栏是为那些对Web开发感兴趣、刚刚踏入前端领域的朋友们量身打造的。无论你是完全的新手还是有一些基础的开发…

计算机网络中的CSMA/CD算法的操作流程(《自顶向下》里的提炼总结)

具有碰撞检测的载波侦听多路访问&#xff08;CSMA/CD算法&#xff09; 以下内容总结&#xff0c;对应《计算机网络自顶向下第七版》第六章链路层和局域网P299 操作流程&#xff1a; NIC&#xff08;适配器&#xff0c;即网络接口&#xff09;从网络层接收数据报&#xff0c;…

OneDrive打不开了,怎么办?使用管理员身份也无效,分享解决办法如下

文章目录 1、问题描述2、解决办法2.1 修改注册表信息2.2 修改本地组策略 1、问题描述 电脑自带的 OneDrive 突然打不开了&#xff0c;双击也没有任何反应&#xff0c;以管理员身份打开也不行。去看了好多资料才解决这个问题&#xff0c;现分享如下&#xff1b; 2、解决办法 …