Retinex Variational Model for Underwater Image Enhancement)

摘要

高质量的水下成像对水下探索至关重要。然而，由于海水的颗粒散射和光吸收，图像清晰度显著降低。为了解决这些问题，我们提出了一种结合像素分布重映射（PDR）和多优先级Retinex变分模型的新型水下图像增强（UIE）方法。我们设计了一种针对严重衰减通道的预补偿方法，有效防止了颜色校正过程中产生新的颜色伪影。通过结合通道间的耦合关系，我们计算了一个限制因子，用于重映射像素分布曲线以提高图像对比度。此外，考虑到显著的噪声干扰，我们在构建变分模型时引入了先验知识，包括水下噪声和纹理先验，并设计了符合水下特征的惩罚项，以去除反射分量中的过多噪声。我们的方法通过快速求解器高效地解耦了光照和反射分量。随后，利用伽马校正调整光照分量，并融合校正后的光照和反射分量，重建出最终自然的输出图像。通过对各种数据集的全面评估，我们的方法显著超越了当前的最新技术（SOTA）方法。结果表明，我们的方法在纠正颜色偏差和补偿水下图像的亮度损失方面具有良好的效果。

介绍

【强衰减通道补偿对颜色校正的结果。（a）-（f）中的顶行示出了没有补偿强衰减的颜色校正结果，导致显著的伪像。底行展示了在我们的方法对强衰减通道进行补偿之后的增强结果。】

清晰的水下图像是探索海底资源、水体污染监测和广泛科学研究的基本前提。因此，获得清晰的水下图像已成为一个重大挑战 [1], [2], [3]。然而，由于水下环境的复杂性和光照条件的变化，水下图像可能由于光衰减和悬浮颗粒散射而面临颜色失真、亮度损失和对比度低的问题 [4], [5], [6]。因此，各种方法已被探索以应对分析水下图像的挑战。

图1(b) 表明，不同光波长在水中衰减率不同。较长的波长，如红光，衰减得更快，而较短的波长，如蓝光，衰减较慢。这种衰减差异通常给水下图像带来蓝绿偏色，正如以往研究 [7] 所讨论的。传统的颜色偏差校正方法通常在强衰减通道上进行处理，而没有预补偿，从而导致增强后的明显伪影（见图2）。此外，也有基于物理模型的方法试图逆转水下环境中图像退化过程，通过建立先验条件 [8], [9], [10]。然而，这些方法在复杂的水下环境中通常表现不佳，正如我们早期的研究 [11] 所强调的。

水下图像传播的亮度退化，主要是由于颗粒散射和光吸收，提出了显著挑战 [12], [13], [14], [15]。一种常见的解决方案是应用Retinex理论，这涉及分解光照分量以增强图像亮度，如图1(a)所示。Retinex理论旨在去除或减少入射图像对原始图像的影响，保留物体的反射特性。基于Retinex的图像增强解耦了亮度分量和反射分量，然后调整亮度分量以消除不均匀照明的影响，从而提高图像的视觉效果。然而，传统的基于Retinex的方法忽略了水下特定先验知识在分解过程中的作用。这种忽视导致照明和反射分量之间的高度耦合，导致增强后的图像曝光过度和细节丢失。

在本文中，我们提出了一种新颖的水下图像增强方法来解决颜色偏移和亮度损失。我们的方法的关键贡献总结如下：

• 我们提出了一种新的颜色校正方法，与传统的颜色恒常性方法不同，通过对强衰减通道的像素值进行预补偿来防止颜色伪影。此外，该方法采用了一种创新的直方图均衡化来重新分配像素值，增强图像对比度并减少过度或欠增强区域的差异，从而获得均匀的最终增强图像。

• 我们采用Retinex理论进行水下成像，通过将水下噪声、纹理和梯度的先验知识集成到带有噪声项的变分模型中。我们设计了针对水下场景的具体惩罚项，成功解耦了照明和反射分量，同时减少了噪声的放大。

• 我们将UIE复杂过程分解为三个子任务，通过块坐标下降 [16]、最小二乘法 [17] 和预条件共轭梯度 (PCG) [18] 方法来解决每个子问题。我们通过高效的像素级处理来解决这些子问题。

本文的组织结构如下：第 II 节回顾了水下图像增强的相关工作。第 III 节详细描述了我们的方法。第 IV 节展示了我们方法的广泛实验验证结果。最后，第 V 节讨论了结论与未来的建议。

相关工作

近年来，许多努力集中在改善退化水下图像的可见性上，现有技术大致分为三类：基于模型的水下图像增强（UIE）方法、无模型水下图像增强方法和基于深度学习的水下图像增强方法。

基于模型的水下图像增强方法：

这些方法通常依赖于基于先验假设建立物理成像模型。关键参数被估计以逆转水下成像的退化过程。例如，文献 [19] 使用偏斜梯度运算符生成准确的透射图，并通过四叉树细分法估计背景光，关注平滑度和颜色变化。Ke 等人 [20] 通过景深和边缘图初步估计透射，并基于波长与散射系数的关系调整通道特定的透射图。为了处理复杂的水下散射，他们引入了具有可变平滑参数的加权最小二乘滤波器进行局部背景光估计。Zhou 等人 [21] 开发了一种色线模型来处理光散射和吸收问题，通过交替迭代算法解决水下环境中的传输问题。此外，另一项研究 [22] 采用通道强度先验（CIP）和自适应暗像素（ADP）来减弱回散现象，精确处理不同水下场景中的不均匀照明问题。尽管这些物理模型方法在增强效果上表现良好，但它们忽略了人的视觉感知，同时需要复杂的参数设置，这可能限制其适应性并影响增强图像的视觉吸引力。

无模型水下图像增强方法：

这些方法通常避免构建显式的物理成像模型，而是专注于图像像素的空间域调整。例如，Fu 等人 [23] 通过变分方法利用Retinex模型来分离照明分量，并通过交替方向优化进一步增强图像。文献 [24] 提出了一个BayesianRetinex算法，该算法在多尺度梯度先验的基础上进行反射率和亮度的修复。文献 [25] 研发了一种在变分框架内利用照明通道稀疏先验的方法。此外，另一种创新的方法 [26] 采用加权小波视觉感知融合（WWPF），通过衰减地图引导的颜色校正和基于小波的视觉感知融合，实现有效的水下图像增强。然而，这些方法仍然面临噪声放大、伪影出现和过度颜色校正等挑战。

基于深度学习的水下图像增强方法：

深度学习在各种视觉任务中取得了显著突破 [27], [28]。在这一领域，通常采用两种主要策略。一种是构建端到端架构或使用深度模型直接估计物理参数，以恢复退化图像。Wu 等人 [29] 提出了一个多尺度融合生成网络，能够矫正颜色失衡并增强图像对比度。此外，另一种创新发展 [30] 是一种反射率引导的水下图像增强网络，通过整合原始编码器和反射率编码器的输入来减弱不同场景对修复任务的影响，从而提升了严重退化图像的处理能力。Jiang 等人 [31] 通过多尺度密集增强模块、深度美学渲染模块和双通道注意模块，旨在通过处理浑浊和色差来改善水下图像的对比度和颜色偏移。然而，基于深度学习的方法通常需要大量的训练数据，通常需要真实的水下图像。训练阶段不仅耗费资源，而且耗时，这可能限制其在实际水下图像增强场景中的适用性。

论文方法

【概述了所提出的结合变分模型的UIE方法，包括像素分布重映射子方法（PDR）和多优先级亮度补偿子方法（MPLC）。**在PDR中，首先对输入图像的强衰减通道像素进行预补偿以避免引入色彩伪影，然后通过调整通道像素分布曲线来校正图像的色彩偏差，使其更符合人眼的视觉效果。**该算法结合PDR方法的结果图像和多种先验知识构建优化模型，通过快速求解器求解得到强解耦后的亮度分量，调整亮度曲线以补偿图像的亮度损失。最后，融合反射率和调整后的光照分量重建水下图像。】

概述

我们的方法由两个主要模块组成：像素分布重映射（Pixel Distribution Remapping, PDR）模块和多先验亮度补偿（Multi-Prior Luminance Compensation, MPLC）模块。其中，PDR模块旨在校正水下图像的颜色偏移并增强对比度，而MPLC模块旨在对抗亮度衰减，从而提升图像的清晰度。图3展示了我们方法的详细工作流程。

像素分布重映射（PDR）模块

水下环境和光照条件是导致水下图像质量失真的重要因素，如图 1(b) 所示。这种现象是由水中不同波长的光衰减速率差异引起的。较长波长（如红光）衰减迅速，而较短波长（如蓝光和绿光）在更大深度下更占主导地位。因此，退化的水下图像通常表现为绿色或蓝色调，显著影响视觉质量。

1、像素预补偿

2、通道拉伸

3、像素分布重映射

多先验亮度补偿（MPLC）模块