Empowering Low-Light Image Enhancer through Customized Learnable Priors 论文阅读笔记

在这里插入图片描述

  • 中科大、西安交大、南开大学发表在ICCV2023的论文,作者里有李重仪老师和中科大的Jie Huang(ECCV2022的FEC CVPR2022的ENC和CVPR2023的ERL的一作)喔,看来可能是和Jie Huang同一个课题组的,而且同样代码是开源的,我很喜欢。
  • 文章利用了MAE的encoder来做一些事情,提出了一个叫customized unfolding enhancer (CUE)的方法。从MAE中学了illumination prior 和noise prior两个先验,用到了retinex模型中。流程如下图所示:
    在这里插入图片描述
  • 文章用的是如下的常规retinex公式:
    在这里插入图片描述
  • 目标是最小化如下表达式:
    在这里插入图片描述
  • 把限制项(2b)放到优化式中(拉格朗日),得到如下表达式:
    在这里插入图片描述
  • 用循环的方式来优化这个目标函数,其中L的优化目标如下:
    在这里插入图片描述
  • 用近端梯度下降法从 L k L_k Lk推导出 L k + 1 L_{k+1} Lk+1
    在这里插入图片描述
  • 其中 p r o x β ρ 2 prox_{\beta\rho_2} proxβρ2是对先验约束 β ρ 2 \beta\rho_2 βρ2的近端梯度下降算子,一般用一个网络来拟合。本文用的是如下网络。所以说利用MAE,其实就是利用MAE的方法来训练一个encoder来提取特征。文章用cnn做一个encoder decoder的网络,然后将输入图像用随机gamma校正进行数据增强后用三通道的max提取illumination maps后切分为不重叠的patch,随机mask掉一些patch,训练一个对illumination的inpainting模型,丢掉decoder,剩下的encoder用来放到下图的网络结构中。其实这样搞已经和MAE没多大关系了,没有注意力的MAE就是个普通的inpainting模型,所以这里其实只是用illumination inpainting任务预训练了一个encoder而已:
    在这里插入图片描述
    在这里插入图片描述
  • R模块用的是类似的公式,只是网络就简单的得多,两层卷积加一层relu:
    在这里插入图片描述
  • N模块也是两层卷积加一层relu:
    在这里插入图片描述
    在这里插入图片描述
  • 后面就是对估计出来的L进行增强,和KinD一样,训练的时候先用GT的L的均值除以暗图的L的均值得出一个 ε \varepsilon εconcatenate到L中(测试则直接指定一个预设值),进一个unet预测增亮后的L,同时也要把L R N都送进另一个unet预测修复后的R。修复后的R和增强后的L相乘得到增强结果I。
  • 损失函数分为三部分,一部分是前面的retinex 分解的损失,一部分是增强修复网络的损失,还有一部分就是文章第二处用到MAE的noise prior损失。
  • retinex分解损失有三个都是常见的,如暗图和亮图的R的距离,以及L的平滑损失,还有R和L相乘等于原图的重建损失。但有一个mutual consistency 损失好像不怎么见到,说是可以在亮度层中保留比较强的边缘而消除比较弱的边缘
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • 增强损失如下,也是比较常见:
    在这里插入图片描述
  • 第三部分的损失有点像perceptual loss,就是用一个MAE的encoder去求增强结果和GT的特征算距离,其中MAE的训练也是自己设计的,如下:
    在这里插入图片描述
    在这里插入图片描述
  • 实验结果如下,也就一般,而且你一个有监督方法和一堆无监督方法比PSNR就不太正常了吧 :
  • 评价:看起来给人的感觉就是一篇动机仅仅是为了和MAE结合做一个暗图增强的工作发一篇论文。个人观点是,做研究应该是发现问题解决问题,这篇文章看起来就像是蹭热度发论文。感觉就是大老板一拍脑袋说,最近MAE挺火,xxx你去结合MAE做一个暗图增强模型来。然后xxx kuakua一顿搞勉强拼出来一个模型,实验结果也不是很好,就找一堆无监督方法比一比,发了篇论文出来。感觉MAE的部分用得就很不自然,和一堆无监督方法比PSNR更是奇怪。唉,怎么ICCV这么多这样的论文。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/108172.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

快速排序、归并排序、基数排序

快速排序 算法思想 图 1-1 即确定一个基准值(一般为数组中间位置的元素,或者自定义),让待排序数组中所有比基准值小的元素放到基准值左边的位置,所有比基准值大的元素放到基准值右边的位置,这样一趟排序下…

iOS——Manager封装网络请求

在之前的项目里,我们都是把网络请求写在viewController的viewDidLoad,而实际中使用的时候并不能这么简单,对于不同的需要,我们需要有不同的网络请求。所以我们可以用单例模式创建一个全局的Manager类,用实例Manager来执…

设计模式~备忘录模式(memento)-22

目录  (1)优点: (2)缺点: (3)使用场景: (4)注意事项: (5)应用实例: 代码 备忘录模式(memento) 备忘录模式(Memento Pattern)保存一个对象的某个状态,以便在适当的时候恢复对…

给课题组师弟师妹的开荒手册(终篇)

0 写在前面 终于,在结束收尾工作后敲下了开荒手册的终篇,自己三年研究生生活过的离理想中的完美还差很多,不过胜在完整,哈哈,小满胜万全嘛。希望以自己不太完美的经历为例,抛我的砖,引师弟师妹…

解决Dev C++编译或运行报错 Source file not compiled

最近在研究青少年编程,用到DevC,写了个程序点击编译并运行后,我得到了一个错误消息:Source file not compiled。网上查了一下:原因是bloodshed Dev C与Windows10或者11不兼容所以才会报:Source file not co…

模块电源(四):可调DC-DC

一、DC-DC典型应用 以DC-DC转换器SCT2432数据手册为例,典型应用电路如下图所示: 其中,输出电压为: , DC-DC转换器中, 反馈电压是指反馈回路中的信号电压,用于控制输出电压与设定电压之间的误差&…

使用 AWS DataSync 进行跨区域 AWS EFS 数据传输

如何跨区域EFS到EFS数据传输 部署 DataSync 代理 在可以访问源 EFS 和目标 EFS 的源区域中部署代理。转至AWS 代理 AMI 列表并按 AWS 区域选择您的 AMI。对于 us-west-1,单击 us-west-1 前面的启动实例。 启动实例 2. 选择您的实例类型。AWS 建议使用以下实例类型之…

EVT/DVT/PVT/MP是指在制造行业一个产品

EVT/DVT/PVT/MP是指在制造行业一个产品研发导入从试产到量产的不同阶段: EVT:Engineering Verification Test工程验证测试阶段 DVT:Design Verification Test设计验证测试 PVT:Production Verification Test 小批量生产验证测试…

for循环中循环一次提交一次 insert update 关闭事务 spring springboot mybatis

省流: 在方法上直接加如下注解: Transactional(propagation Propagation.NOT_SUPPORTED) public void t1(){//业务代码 } 正文: 在测试的时候,有时候会希望在for循环中,代码循环一次就提交一次事务。 方法一&#…

【计算机毕设选题推荐】网络在线考试系统SpringBoot+SSM+Vue

前言:我是IT源码社,从事计算机开发行业数年,专注Java领域,专业提供程序设计开发、源码分享、技术指导讲解、定制和毕业设计服务 项目名 网络在线考试系统 技术栈 SpringBootSSMVueMySQLMaven 文章目录 一、网络在线考试系统-环境…

从永远到永远-吉他和弦替代原理

吉他和弦替代原理 0.背景1.和弦分类1.主和弦2.属和弦3.属七和弦4.下属和弦5.副属和弦6.离调和弦 2.功能组化分依据1.划分依据及分组2.Ⅵm、Ⅲm级 3.替代1.传统的和弦链接与替代2.离调和弦替代3.属和弦替代1.降五级替代2.减七和弦替代3.重属和弦 999 参考资料 0.背景 1.和弦分类…

哈佛教授因果推断力作:《Causal Inference: What If 》pdf下载

因果推断是一项复杂的科学任务,它依赖于多个来源的三角互证和各种方法论方法的应用,是用于解释分析的强大建模工具,同时也是机器学习领域的热门研究方向之一。 今天我要给大家推荐的这本书,正是因果推断领域必读的入门秘籍&#…

windows环境下搭建redis5.x集群

下载windows版本redis5.x redis.windows.conf内容修改如下: # 端口 (注意:改为每个文件夹对应的端口,分别为6379、6380、6381、6382、6383、6384) port 6379 # 允许创建集群 appendonly yes cluster-enabled…

工控网络协议模糊测试:用peach对modbus协议进行模糊测试

0x00 背景 本人第一次在FB发帖,进入工控安全行业时间不算很长,可能对模糊测试见解出现偏差,请见谅。 在接触工控安全这一段时间内,对于挖掘工控设备的漏洞,必须对工控各种协议有一定的了解,然后对工控协议…

ros学习笔记(1)Mac本地安装虚拟机,安装Ros2环境

Ros与Linux的关系 Ros环境基于Linux系统内核 我们平时用的是Linux发行版,centos,ubuntu等等,机器人就用了ubunut 有时候我们经常会听到ubunue的版本,众多版本中,有一些是长期维护版TLS,有一些是短期维护…

面试算法26:重排链表

问题 给定一个链表,链表中节点的顺序是L0→L1→L2→…→Ln-1→Ln,请问如何重排链表使节点的顺序变成L0→Ln→L1→Ln-1→L2→Ln-2→…? 分析 首先把链表分成前后两半。在示例链表中,前半段链表包含1、2、3这3个节点&#xff0c…

分布式系统部署Redis

文章目录 一、单点问题二、主从模式概念配置主从结构查看主从节点断开从属关系拓扑结构主从复制原理replication复制offset偏移量 全量复制和部分复制全量复制部分复制 实时复制redis主节点无法重启 三、主从哨兵模式哨兵概念监控程序人工恢复自动恢复为什么是哨兵集合使用dock…

Stm32_标准库_15_串口蓝牙模块_手机与蓝牙模块通信_BUG修复

代码&#xff1a; #include "stm32f10x.h" // Device header #include "Delay.h" #include "OLED.h" #include "Serial.h" #include "Time.h" #include "Function.h" #include <stdio.h> #include <…

数字孪生技术在智慧城市应用的推进建议

&#xff08;一&#xff09;坚持需求牵引&#xff0c;强场景重实效 必须始终坚持以人为本、场景导向、需求牵引&#xff0c;站在供给侧结构性改革的角度&#xff0c;突出以用促建&#xff0c;强调建用并重&#xff0c;真正发挥数字孪生城市应用建设的实效。从构建数字孪生创新…

寻找替代Redmine项目管理工具的常见方案

RedMine是一个非常受欢迎的项目管理工具&#xff0c;但它并不是万能的。随着时间的推移&#xff0c;许多功能和特性可能会发生变化或被取消。因此&#xff0c;有许多其他工具可以成为RedMine的替代品。 以下是六种可能的选择&#xff1a; 1、Zoho Projects&#xff1a; Zoho P…