微光图像增强(LLIE)旨在恢复照明并提高微光图像的可见性,本文对阅读的文献进行记录和分享,帮助回顾和大家建立学习资料。
- 文献一
- 摘要及前沿摘选
- 主要贡献
- 网络结构
- 实验
- 结论
- 文献二
- 摘要
- 文献三
- 摘要
- 主要贡献
- 网络架构
- 实验
- 文献四
- 摘要
- 实验
文献一
摘要及前沿摘选
论文翻译:
当一个人在弱光条件下拍摄图像时,图像往往能见度低。除了降低图像的视觉美感外,这种低质量还可能显著降低许多主要为高质量输入而设计的计算机视觉和多媒体算法的性能。在本文中,我们提出了一种简单而有效的微光图像增强(LIME)方法。更具体地说,首先通过找到R、G和B通道中的最大值来单独估计每个像素的照度。此外,我们通过在初始照明图上施加结构先验来细化初始照明图,作为最终照明图。具有构造良好的照明图,可以相应地实现增强。在许多具有挑战性的微光图像上进行的实验揭示了我们的LIME的功效,并表明其在增强质量和效率方面优于现有技术。
论文翻译:
此外,变分方法旨在通过在直方图上施加不同的正则化项来提高HE性能。例如,上下文和变分对比度增强(CVC)[6]试图找到一种关注大灰度差异的直方图映射,而工作[7]通过寻求2D直方图(LDR)的分层差异表示来实现改进。然而,在自然界中,它们专注于对比度增强,而不是利用真实的照明原因,存在增强过度和不足的风险。另一种解决方案是伽玛校正,它是对图像的非线性操作。主要缺点是,伽玛校正的非线性操作是在不考虑某个像素与其邻居的关系的情况下对每个像素单独执行的,因此可能会使增强的结果变得脆弱,并且在视觉上与真实场景不一致。
论文翻译:
在Retinex理论[8]中,主要的假设是(彩色)图像可以分解为两个因素,比如反射率和照明。基于Retinex的早期尝试,如单尺度Retinex(SSR)[9]和多尺度Retineex(MSR)[10],将反射率视为最终增强结果,这通常看起来不自然,并且经常看起来过度增强。[11]中提出的方法试图在保持照明自然度的同时增强对比度。尽管它防止了结果的过度增强,但在我们的实验中,它在效率和视觉质量方面都不如我们的方法令人印象深刻。傅等人提出了一种通过融合初始估计的照度图(MF)的多个导数来调整照度的方法[12]。MF的性能大部分是有希望的。但是,由于光照结构的盲目性,MF可能会失去纹理丰富区域的真实感。[13]的最新工作提出了一种用于同时反射率和光照估计(SRIE)的加权变分模型。利用估计的反射率和照度,可以通过操纵照度来增强目标图像。如[14]所示,倒置的微光图像看起来像雾度图像,如图2所示。基于这一观察结果,[14]的作者对倒置的微光图像进行了除雾处理。在去雾之后,所获得的不真实图像被再次反转,作为最终的增强结果。最近,李等人遵循这一技术路线,通过首先对输入图像进行过度分割,然后自适应地对不同的片段进行去噪,进一步提高了视觉质量[15]。尽管上述类似除雾的方法可以提供合理的结果,但它们所依赖的基本模型缺乏物理解释。相比之下,我们的方法具有清晰的物理直觉。
主要贡献
论文翻译:
我们的方法属于基于Retinex的类别,旨在通过估计其照明图来增强微光图像。值得注意的是,与[13]等将图像分解为反射率和照明分量的传统基于Retinex的方法不同,我们的方法只估计一个因素,比如照明,这缩小了解决方案空间,降低了计算成本,以达到所需结果。首先通过找到R、G和B通道中每个像素的最大强度来构建照明图。然后,我们利用照明的结构来细化照明图。给出了一种基于增广拉格朗日乘子(ALM)的算法来精确求解精化问题,同时设计了另一个加速求解器来大大减少计算量。在许多具有挑战性的图像上进行了实验,以揭示我们的方法与其他最先进的方法相比的优势。
网络结构
不使用全局的最大R、G、B三通道的值,而是使用每个像素点的RGB的最大值,有助于确保恢复不饱和。
目标是非均匀地增强低光图像的照明,而不是消除光源引起的颜色偏移。
另一个广泛使用的模型是基于观察到的倒置微光图像1−L看起来与雾度图像相似,因此表示为公式(4)。
其中a表示全球大气光。尽管倒置微光图像1−L的视觉效果在直觉上与雾度图像相似,但与模型(1)相比,上述的物理意义仍然模糊。下面我们将展示(4)和(1)之间的关系。
之前的方法大多关注于邻域像素,
如何使目标函数公式(8)最小,作者给出了相应的方案。如下方的伪代码。
然后就是如何加速上面的迭代求解过程。
最后是算法的整体流程。
实验
结论
翻译
在本文中,我们提出了一种高效、有效的方法来增强微光图像。微光增强的关键是照明图的估计效果。已经开发了结构感知平滑模型来提高照明一致性。我们设计了两种算法:一种可以获得目标问题的精确最优解,另一种可以交替求解近似问题,显著节省时间。此外,我们的模型对不同的(结构)加权策略是通用的。实验结果表明,与几种最先进的替代方案相比,我们的方法是先进的。值得肯定的是,我们的微光图像增强技术可以为许多基于视觉的应用提供高可见性输入,如边缘检测、特征匹配、对象识别和跟踪,从而提高其性能。
文献二
摘要
Yang, ** Nie. “Reference-free low-light image enhancement by associating hierarchical wavelet representations.” Expert Systems with Applications 213 (2023): 118920.
翻译
对于计算机视觉和图像内容理解来说,微光图像由于其对比度和光照差而成为一个明显的挑战。因此,微光图像增强(LLIE)技术引起了人们的极大关注。然而,现有的基于深度学习技术的LLIE方法大多依赖于参考图像来指导监督训练。在真实世界的场景中捕获参考图像是非常困难的。为了弥补这一点,我们提出了一种无参考的低光增强框架,通过小波分解和关联估计像素曲线。典型的LLIE方法大致在RGB图像上应用照明调整。与此相反,我们重新审视了当前的LLIE管道,并通过提取和关联频率先验提出了一个细粒度的图像增强框架。首先,利用小波变换将图像分解到频域。然后,利用层次小波分解实现了跳频信息的传递。最后,在小波频率之间具有一致关联的情况下,应用无参考损耗函数。这些损失用于指导细粒度的无参考LLIE范式。我们通过综合实验验证了我们的方法,并证明我们的模型在定量指标和视觉感知方面优于其他相关方法。
文献三
Liu, Yunlong, et al. “Low-Light Image Enhancement with Multi-stage Residue Quantization and Brightness-aware Attention.” Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023.
摘要
翻译:
微光图像增强(LLIE)旨在恢复照明并提高微光图像的可见性。传统的LLIE方法往往产生较差的结果,因为它们忽略了噪声干扰的影响。基于深度学习的LLIE方法专注于学习弱光图像和正常光图像之间的映射函数,该函数优于传统的LLIE算法。然而,大多数基于深度学习的LLIE方法还不能完全利用训练数据集中正常光图像提供的辅助先验的指导。在本文中,我们提出了一种基于亮度感知注意力和残差量化码本的具有正常光先验的亮度感知网络。为了实现更自然、更逼真的增强,我们设计了一个查询模块来获得更可靠的正常光特征,并通过融合分支将其与低光特征融合。此外,我们提出了一个亮度感知注意力模块,以进一步提高网络对亮度的鲁棒性。对真实捕获数据和合成数据的大量实验结果表明,我们的方法优于现有的最先进方法。
主要贡献
翻译:
提出了一种新的基于VQ-VAE的三阶段框架微光图像增强方法。据我们所知,我们提出的方法是第一种基于VQ的LLIE方法。
(1)通过残差量化构建了一个更具层次性和表达力的码本。此外,我们还设计了一个查询模块来弥合弱光特征和普通光码本之间的差距。
(2)为了避免下采样操作丢失图像细节,我们提出了一种融合低光特征和不同尺度的正常光先验的融合分支。
(3)设计了一个亮度感知注意力模块,该模块学习亮度图来调制特征,以提高网络对亮度的鲁棒性。
(4)在几个流行数据集上的大量实验结果表明,我们提出的方法优于现有的几种最先进的LLIE方法。
网络架构
翻译:
第一阶段I:阶段I的网络包含正常光编码器EN、具有码本C的残差量化(RQ)模块和正常光解码器DN。学习一个有表现力的码本C和一个精确的解码器DN是阶段I的核心。更多细节将在第3.2节中描述。
•第二阶段:在第二阶段,我们建议学习一个查询模块Q,并根据微光编码器EL和学习的查询Q的特征之间的相似性来选择码本项目。编码器EL和查询Q的参数需要训练,而在第一阶段学习的码本C和解码器DN是固定的。更多细节将在第3.3节中描述。
•第三阶段:在第三阶段,我们提出了一个融合分支来融合预训练编码器EL和解码器DN的特征。这样,它可以进一步保护更有价值的细节,并获得比第二阶段更好的性能。更多细节将在第3.4节中描述。
实验