IEEE| IceNet《IceNet for Interactive Contrast Enhancement》论文超详细解读(翻译+精读)

学习资料:

  • 论文题目:《IceNet for Interactive Contrast Enhancement》(用于交互式对比度增强的IceNet)
  • 原文地址:export.arxiv.org/pdf/2109.05838v2.pdf

目录

ABSTRACT—摘要

翻译

精读

I. INTRODUCTION—简介

翻译

精读

II. RELATED WORK—相关工作

翻译

精读

III. PROPOSED ALGORITHM—方法

A. INTERACTIVECONTRASTENHANCEMENT—交互式增强

翻译

精读

1) Gamma estimation—伽玛估计

 2) Color restoration—颜色恢复

3) Personalized initial η—个性化初始η

B. LOSS FUNCTION—损失函数

翻译

精读

1) Interactive brightness control loss—交互式亮度控制损失

2) Entropy loss—熵损失

3) Smoothness loss—平滑损失

4) Total loss—总损失

C. IMPLEMENTATIONDETAILS—操作细节

翻译

精读

IV. EXPERIMENTS—实验

A. COMPARATIVEASSESSMENT—比较评估

翻译

1) User studies for IceNet—IceNet用户研究

精读

2) User studies for personalized initial η——个性化初始η的用户研究

翻译

精读

3) Quantitative comparison—定量比较

翻译

精读

B. ABLATIONAND ANALYSIS—消融和分析

翻译

精读

1) Preferences for contrast— 对比度偏好

2) Impacts of parameter settings—参数设置的影响

3) Skip connection—跳跃连接

4) Loss function—损失函数

V. CONCLUSIONS—结论

翻译

精读

ABSTRACT—摘要

翻译

摘要 本文提出了一种基于 CNN 的交互式对比度增强算法,称为 IceNet,该算法使用户能够根据自己的喜好轻松调整图像对比度。具体来说,用户提供用于控制全局亮度的参数和两种类型的涂鸦来使图像中的局部区域变暗或变亮。然后,根据这些注释,IceNet 估计用于逐像素伽玛校正的伽玛图。最后,通过色彩恢复,得到增强后的图像。用户可以迭代地提供注释以获得满意的图像。 IceNet还能够自动生成个性化的增强图像,如果需要的话可以作为进一步调整的基础。此外,为了有效、可靠地训练 IceNet,我们提出了三种可微损失。大量的实验表明,IceNet 可以为用户提供令人满意的增强图像。


精读

本文主要工作

本文提出了一种基于CNN对比度增强算法IceNet,这种算法是交互式的,用户可以根据需要自己调整图像的对比度。

具体方法

  1. 首先,用户提供了一个参数来控制全局亮度和两种类型的scribble(本义是涂写,我也不知道该怎么翻译)以使图像局部区域变暗或变亮。
  2. 接着,根据这些注释,IceNet估计出一张伽马图,用于像素级伽马校正。
  3. 最后,通过颜色恢复,得到增强后的图像。

注意:用户可以反复提供注释,以获得满意的图像。


I. INTRODUCTION—简介

翻译

尽管成像技术最近取得了进步,但由于曝光不均匀、快门周期短和环境光弱等挑战因素,照片常常无法忠实地表现场景细节。此类照片表现出对比度失真、褪色和低强度;特别是,异常的光线条件会严重扭曲颜色、纹理和物体,从而降低视觉体验。对比度增强(CE)技术可以缓解这些问题。

为了开发有效的 CE 技术,人们进行了许多尝试 [1]-[6]。一种简单但有效的方法是使用参数曲线来实现从输入到输出像素值的转换函数[2]、[6]–[9]。例如,幂律是一种众所周知的伽马校正参数曲线[10]。这些参数曲线产生了有希望的结果,但找到对不同图像有效的可靠参数具有挑战性。最近,随着卷积神经网络(CNN)在低级视觉领域的成功[11]-[14],基于CNN的CE方法也被提出,并产生了出色的性能[15]。

已经进行了许多研究来自动执行CE。然而,CE 是一个主观过程,因为人们对对比度有不同的偏好。请注意,对比度在图像解释中扮演着不同的角色。例如,观看者使用对比来吸引注意力;艺术家通过对比来表达重点;平面设计师利用对比度来告诉眼睛该去哪里[16]。因此,没有单一确定的方法来增强对比度。图 1 说明可以通过多种方法来增强同一图像的对比度。专业软件,例如Photoshop,提供了很多可以根据个人喜好调整对比度的工具,但使用这些工具需要花费很大的精力。在本文中,我们提出了第一个基于 CNN 的交互式 CE 算法,使用户能够轻松、自适应地调整图像对比度。

对于交互式 CE,我们提出了 IceNet,它可以在接受用户的注释后增强图像曝光不足和曝光过度区域的对比度。具体地,用户提供用于控制全局亮度的参数和两种类型的涂鸦来使输入图像中的局部区域变暗或变亮。然后,我们将输入图像和注释提供给 IceNet,后者生成用于逐像素伽玛校正的伽玛图。更具体地说,我们将涂鸦以及输入图像提供给特征提取器,生成特征图。同时,我们根据全局亮度参数生成驱动向量。然后,使用特征图和驱动向量,我们获得伽玛图,该伽玛图是根据用户注释自适应生成的。最后,我们通过颜色恢复来恢复增强的图像,其中我们仅调整输入图像的亮度分量,同时保留色度分量。此外,为了方便用户,我们提供了初步增强的图像,并允许用户以交互方式进一步增强它。此外,为了有效、可靠地训练 IceNet,我们提出了三种可微损失。实验结果表明,IceNet 不仅为用户提供了满意的图像,而且在质量和数量上都优于最先进的算法。强烈建议观看补充视频以了解 IceNet 的实时演示。

总而言之,这项工作有以下主要贡献:

• 我们提出了第一个基于 CNN 的交互式 CE 算法,称为 IceNet,它能够根据用户偏好自适应地生成增强图像,或者无需交互即可自动生成增强图像。

• 我们使用所提出的三个可微损失函数来训练 IceNet,从而实现与用户的交互并产生令人愉悦的增强图像。

• 通过各种实验结果,我们证明了IceNet 可以为用户提供满意的结果,明显优于传统算法。


精读

背景

曝光不均、快门周期短、环境光弱等问题——照片会出现对比度失真、颜色褪色和低强度,甚至会使颜色、纹理和物体发生扭曲,从而降低视觉体验

对比增强(CE)的研究

  • 传统: 使用参数曲线来转换从输入到输出像素值的函数。
  • 本文: 基于cnn的交互式CE算法。

IceNet简介

IceNet:交互式CE,在接受用户的注释后,可以增强图像中曝光不足和过度区域的对比度。

图1.使用IceNet对同一图像进行四种不同的CE结果。每个结果都有不同的解释:(a)温暖走廊具有高暴露水平,(b)冷走廊具有中等暴露水平,(c)和(d)黑暗走廊具有相同的低暴露水平。在(d)中,前景表和陶瓷被局部增亮突出。

本文主要贡献

  • 本文提出了第一个基于cnn交互式CE算法,称为IceNet,它可以根据用户的偏好,自适应地生成增强的图像,也可以自动生成无需交互的图像。
  • 本文用提出的三个可微损失函数训练IceNet,从而实现与用户的交互,并产生效果不错的增强图像。
  • 本文通过各种实验结果,证明IceNet可以为用户提供满意的结果,明显优于传统算法。

II. RELATED WORK—相关工作

翻译

CE[15]、[17]、色彩增强[18]、去雾[19]-[21]和细节增强[22]之间的增强目标密切相关但又有所不同。本节简要回顾 CE 技术。

A.传统方法传统

CE技术可分为三类:直方图方法、参数曲线方法和视网膜方法。首先,直方图均衡[10]试图使输出直方图尽可能均匀。它以较低的计算复杂度有效地增加了对比度,但它可能会过度增强图像,导致对比度过度拉伸、噪声放大和轮廓伪影。人们已经开发了各种直方图方法[1]、[3]、[4]、[23]、[24]来克服这些问题。其次,参数曲线方法,例如伽玛校正和对数映射,使用参数曲线作为输入和输出像素值之间的变换函数。许多参数曲线可用于 CE [2]、[6]–[9]。其中,伽玛校正不仅广泛用于CE,而且还用于匹配成像设备之间的不同动态范围。第三,假设图像可以分解为反射和照明,一些CE算法[5]、[25]-[27]基于视网膜理论[28]被开发出来。这些传统方法在某些情况下产生了有希望的结果。然而,它们的性能通常取决于仔细的参数调整;很难找到对不同输入图像有效的可靠参数。

B. 基于 CNN 的方法

最近,许多 CNN 是为 CE 设计的。大多数基于 CNN 的方法 [29]-[36] 都是在配对数据集上进行训练的,这些数据集由低对比度和高对比度图像对组成。每对图像都是从同一场景捕获的,或者从高对比度图像合成低对比度图像。然而,由于移动物体,很难两次捕捉同一场景。另一方面,合成的低对比度图像可能不真实。由于这些困难,一些方法[37]-[39]采用生成对抗网络[11]并使用不成对的数据集训练其网络,这些数据集由从不同场景捕获的低对比度和高对比度图像组成。然而,他们应该仔细选择未配对的图像。为了避免这个繁琐的过程,Guo 等人。 [40]提出了一种自监督学习方案,仅需要低对比度图像进行训练。然而,所有这些基于 CNN 的方法都不具有自适应性,无法满足不同的用户偏好。

C. 交互式方法

对于交互式CE,专业软件提供了工具,但使用这些工具需要大量的努力和培训。为了减少这种工作量,已经提出了简单的交互方法。斯托尔等人。 [41]提出了一种交互式直方图均衡方案来增强医学图像的细节。他们的方法允许用户指定感兴趣区域 (RoI) 并将均衡应用于该区域。 Grundland 和 Dodgson [16] 提出了一种交互式色调调整方法。当用户在图像上选择主色调时,它会保留这些色调,但会调整其他色调,同时保持整体色调平衡。利辛斯基等人。 [42] 和道奇森等人。 [43]还提出了交互方法,其中用户为本地CE指定RoI。这些交互方法[16]、[41]-[43]基于传统的图像处理。相比之下,据我们所知,所提出的 IceNet 是第一个基于 CNN 的交互式 CE 算法。


精读

A. TRADITIONAL METHODS—传统方法

  • 直方图方法:【低照度图像增强系列(1)】传统方法(直方图、图像变换)算法详解与代码实现
  • 参数曲线方法:如伽马校正和对数映射,使用参数曲线作为输入和输出像素值之间的转换函数。
  • retinex方法:【低照度图像增强系列(2)】Retinex(SSR/MSR/MSRCR)算法详解与代码实现_基于retinex理论的低照度图像增强的代码

不足:它们的性能通常取决于仔细的参数调优,对于不同的输入图像,很难找到可靠有效的参数。

B. CNN-BASED METHODS—CNN

  • 大多数基于cnn的方法是对由低对比度和高对比度图像组成的成对数据集进行训练的。
  • 自监督学习方案,该方案只需要低对比度的图像进行训练。

不足:

  • 由于物体的移动,很难两次捕捉到相同的场景。
  • 合成的低对比度图像可能不具有真实感。
  • 所有这些基于cnn的方法都是自适应的,不能满足不同的用户偏好。

C. INTERACTIVEMETHODS—交互式方法

  • 允许用户指定感兴趣的区域(RoI),并对该区域应用均衡
  • 交互式调音方法,当用户选择图像上的关键色调时,它会保留这些色调
  • 用户为本地CE指定roi

本文提出的IceNet是第一个基于cnn的交互式CE算法


III. PROPOSED ALGORITHM—方法

A. INTERACTIVECONTRASTENHANCEMENT—交互式增强

翻译

A. 交互式对比度

图 2 说明了所提出的算法。通过检查输入图像 I,用户提供曝光级别 η ε [0, 1] 用于控制全局亮度和两种类型的涂鸦。红色和蓝色的涂鸦分别表示用户想要使相应的局部区域变暗和变亮。它们在涂鸦图S中分别记录为-1和1,而其他像素被分配为0。我们将RGB彩色图像I转换到YCbCr空间并仅调整亮度分量Y,同时保留色度分量[4 ]。然后,我们估计用于 Y 的像素级伽玛校正的伽玛图 Γ。最后,通过颜色恢复,我们得到增强图像J。

1)Gamma估计

Gamma校正广泛用于CE[10]。选择合适的伽玛值非常重要:小于 1 的小伽玛会使曝光不足的区域变亮,而大于 1 的大伽玛会使曝光过度的区域变暗。伽玛值的选择也应考虑个人喜好。

我们根据用户偏好,通过图 2 中的特征提取器和自适应伽玛估计块 (AGEB) 确定图像中每个像素的伽玛值。特征提取器由七个具有级联跳跃连接的卷积层组成,这提高了层与层之间的信息流。我们连接 Y 和 S 以形成特征提取器的输入,从而生成特征图 F。然后,给定曝光级别 η 和特征图 F,AGEB 生成伽玛图 Γ。更具体地说,AGEB 通过两个全连接层从 η 产生驱动向量 w。然后,对于每个像素 x,它通过公式(1) 预测像素级伽玛值 Γ(x) (1),其中 ·,· 是内积,而 phi( ·) 是 sigmoid 函数。因此,我们有 0 < Γ(x) < 10。这对所有像素重复。

2) 颜色恢复

对于颜色恢复,我们首先通过使用其伽马值变换 Y 中的每个像素来获得伽马校正亮度图像 Z,由下式给出:公式(2)其中 Ymax 是最大亮度值(通常为 255)。然后,为了生成增强的 RGB 彩色图像 J,我们采用简单的颜色恢复方法 [44]公式(3) 保留了颜色比率。

3) 个性化初始

η 为了方便用户,我们提供了初始增强的图像,并允许用户以交互方式进一步增强它。为此,我们使用二次多项式估计初始曝光水平 ηinit :公式 (4) 其中 y = 1 N  x Y(x) 是输入图像的平均亮度,N 是数字像素。系数 a、b 和 c 是使用最小二乘法从观测值 {(yi, etai)}M i=1 中获得的,其中 eta 是用户选择的曝光级别,用于使用平均值增强第 i 个输入图像亮度yi。当 M > 3 时,我们执行这种个性化。 


精读

整体算法流程

图 2. 所提出算法的图示。用户提供曝光水平η和涂鸦图S,其中红色或蓝色涂鸦分别用于使输入图像I中的局部区域变暗或变亮。然后,IceNet生成增强图像J。用户可以迭代地提供注释,直到获得满意的图像。请观看补充视频,了解交互式增强功能的实时演示。

通过检查输入图像I,用户提供一个曝光等级η∈[0,1]来控制全局亮度和两种涂鸦类型(红色和蓝色的涂鸦分别表示用户想要使相应的局部区域变暗或变亮。步骤如下:

  • 首先,在涂鸦图S中分别记为−1和1,其余像素赋值为0。
  • 接着,将RGB彩色图像I转换到YCbCr空间,只调整亮度分量Y,同时保留色度分量。
  • 然后,我们估计了一张伽马图Γ,用于y的像素级伽马校正。
  • 最后,通过颜色恢复,得到增强后的图像J。

1) Gamma estimation—伽玛估计

伽玛值的选择

  • 小于1的小伽玛会使曝光不足的区域变亮
  • 大于1的大伽玛会使过度曝光的区域变暗

通过特征提取器和自适应伽马估计块(AGEB)来确定图像中每个像素的伽马值

特征提取器

  • 组成: 7个卷积层
  • 输入: 涂鸦图S和亮度分量Y连接起来,得到一个特征图F
  • 用户提供: 曝光等级η∈[0,1]
  • 输出: AGEB生成一个伽马图Γ

公式


 2) Color restoration—颜色恢复

首先通过使用Y中的伽玛值对每个像素进行变换,得到伽玛校正后的亮度图像Z

然后,为了生成增强的RGB彩色图像J,采用简单的颜色恢复方法


3) Personalized initial η—个性化初始η

目的: 为了方便用户,允许用户进一步进行增强操作。


B. LOSS FUNCTION—损失函数

翻译

为了训练 IceNet,我们使用三种可微损失:交互式亮度控制损失 Libc、熵损失 Lent 和平滑度损失 Lsmo。让我们随后描述这些损失。

1) 交互式亮度控制损失

给定曝光级别 η 和涂鸦图 S,我们构建目标亮度图 T 并将交互式亮度控制损失 Libc 定义为公式(5) 使得增强后的图像亮度Z在式(5)中。 (2)适合用户的喜好。为了获得目标亮度T,我们首先将涂鸦S添加到输入亮度Y中,公式(6) 其中λ是控制涂鸦影响的参数,固定为5。通过添加S,我们控制局部亮度级别。接下来,我们将 ~Y 归一化到 [0, 1] 的范围,产生 Y´ 。

然后,我们使用双边伽马调整方案[45]来提高暗区和亮区细节的可见度,其执行公式(7)~(9) 其中 γ = 5。请注意,暗区和亮区主要通过等式 2 得到增强。分别为(7)和(8)。为了保留黑暗和明亮区域的细节,等式: (9) 合并两个结果。用户可以通过曝光级别η来控制G的整体亮度。

图 3 说明了 η 的影响。图 3(a) 显示了当 α = 0.2、0.4、0.6 和 0.8 时从 Y(x) 到 G(x) 的变换函数。所提出的变换函数在最小和最大水平附近具有陡峭的斜率,因此它们使 IceNet 能够有效地增强曝光不足和过度曝光的区域。图3(b)~(e)是增强图像的例子。我们看到,随着 η 变大,增强图像 J 变得更亮。接下来,对于每个像素 x,我们计算局部最大值并将其缩放为 T(x) = Ymax × max y∈Ω(x) G(y) (10),其中 Ω(x) 是周围的 15 × 15 窗口X。在等式中。 (5),我们使用T代替Ymax×G来抑制相邻像素之间目标值差异太大,并实现更可靠的增强。 

2)熵损失

当图像的像素值分布更广泛时,图像具有更大的熵并传达更多信息[46]。特别地,最大熵是通过均匀分布实现的。因此,我们采用熵损失通过均衡输出图像的直方图来增加全局对比度。然而,直方图不能直接使用,因为其不可微性。为了克服这个问题,我们设计了一个软直方图。虽然一个像素仅对普通直方图的单个箱有贡献,但它以可微分的方式对软直方图中的多个箱有贡献。

对于软直方图,我们使用[47]中的映射函数表示像素 x 对第 i 个 bin 的贡献,由下式给出:公式(11) 其中 (·) 是 sigmoid 函数,Δ = 1 是 bin 宽度,σ 是坡。图 4(a) 显示了 σ = 5、10 或 20 时的软映射函数。请注意,σ 控制映射函数的宽度和高度之间的权衡。随着 σ 的增加,映射函数变得更窄但更高。在这项工作中,我们设置 σ = 10。接下来,我们通过对所有像素的贡献求和来制作软直方图 h,公式(12) 然后,我们将 Lent 定义为由 公式(13)

3) 平滑度损失

为了鼓励等式中伽玛图 Γ 中相邻值之间的平滑变化。 (1) 引入平滑度损失公式 (14) 其中 ·F 表示 Frobenius 范数,∇h 和 ∇v 是水平和垂直差分算子。

4) 总损失

总损失被定义为三个损失的加权和,由 公式 (15) 给出,其中 gone 和 wsmo 是权重。因此,所提出的 IceNet 经过训练以最小化三个损失函数。首先,Libc 使 IceNet 能够控制全局和局部亮度。其次,四旬斋鼓励平坦的直方图,这可以增加全局对比度。第三,Lsmo 平滑伽玛图。图 4(b)∼(e) 说明了每种损失的功效,这将在第 IV-B4 节中讨论。 


精读

1) Interactive brightness control loss—交互式亮度控制损失

交互亮度控制损失Libc

目的: 使式(2)中的增强亮度图像Z符合用户偏好。

  • 首先,在输入亮度Y上加上scribble的S
  • 接着,将Y归一化到[0,1]的范围,得到\widetilde{Y}

  • 最后,使用双边伽玛调整方案来提高细节在暗和亮区域的可见性

  • 式(7):暗区增强
  • 式(8):亮区增强
  • 式(9):将这两种结果结合起来,同时保留暗区和亮区细节 
    图3.曝光水平η的影响:(a)变换函数和(b) ~ (e)增强图像J。
  • 图3(a)显示了α = 0.2, 0.4, 0.6, 0.8时\widetilde{Y}(x)到G(x)的变换函数。
  • 图3(b) ~ (e)为增强图像。
  • 随着η变大,增强后的图像J变得更亮。

对于每个像素x,我们计算一个局部最大值,并将其缩放为T(x)


2) Entropy loss—熵损失

设计目的

  • 最大熵是通过均匀分布实现的,因此通过均衡输出图像的直方图,采用熵损失来增加全局对比度。
  • 直方图由于其不可微性,不能直接使用。所以本文设计了一个软直方图。
图4(a)显示了σ = 5、10或20时的软映射函数。
  • σ控制映射函数的宽度和高度之间的权衡。随着σ的增大,映射函数变窄变高。
  • 在本文中,设定σ = 10。

通过对所有像素的贡献求和,得到软直方图h(i)

定义Lent为熵的倒数

Lsmo


3) Smoothness loss—平滑损失

引入目的: 为了促进式(1)中伽马图Γ中相邻值之间的平滑变化


4) Total loss—总损失

总损失定义为三种损失的加权和

  • 首先,Libc使IceNet能够控制全局和局部亮度
  • 其次,Lent促进一个平滑的直方图的形成,这可以增加整体对比度。
  • 第三,平滑伽马图。

图4(b) ~ (e)说明了每一次损失的效果


C. IMPLEMENTATIONDETAILS—操作细节

翻译

每个卷积层或全连接层的输出通道数为32。在每个卷积层中,执行零填充和ReLU激活。未应用批量归一化,因为使用了 8 的小批量。我们用高斯随机数初始化 IceNet 中的所有参数。然后,我们通过 Adam 优化器 [48] 更新参数,初始学习率为 10−3。我们使用与[40]相同的 2,002 个训练图像。训练图像是在 SICE [49] 的 Part1 子集中随机选择的,包括曝光不足、正常和过度曝光的图像。使用 RTX 2080Ti GPU 迭代训练 50 个 epoch,仅需约 30 分钟。所有训练图像的大小都调整为 512 × 512。为了模拟用户注释,从 [0.2, 0.8] 中随机选择曝光级别 η,并在随机位置分别生成红色和蓝色涂鸦 0∼5 次。对于此仿真,每个涂鸦都是一个半径为 10 像素的圆。在等式中。 (15),went = 10,wsmo = 20。


精读

  • 输出通道数:32
  • 小批量:8
  • 学习率:10的-3次方
  • 数据集:SICE
  • 训练过程:在RTX 2080Ti GPU上迭代50个epoch,大约30分钟。所有训练图像的大小调整为512 × 512。
  • 模拟注释:从[0.2,0.8]中随机选取暴露等级η,并在随机位置分别生成0 ~ 5次红色和蓝色涂鸦。
  • went = 10, wsmo = 20。

IV. EXPERIMENTS—实验

A. COMPARATIVEASSESSMENT—比较评估

翻译

我们将所提出的算法与交互式增强算法(CB [43])和七种传统算法(LDR [4]、SRIE [26]、LIME [5]、Li et al. [27]、RetinexNet [32]、Zero -DCE [40],EnlightenGAN [39])。接下来,我们进行对比偏好分析。所有实验均使用 RTX 2080Ti GPU 和 Ryzen 9 3900X CPU 在 Python 中进行。

A.比较评估

在本节中,除非另有说明,我们使用作者提供的源代码和参数来获得传统算法的增强图像。

1) User studies for IceNet—IceNet用户研究

交互方法[16]、[42]、[43]的源代码不可用。因此,我们自己实现了 CB,并在 MEF [50] 的测试集上与提出的 IceNet 进行比较。我们要求 11 名参与者为这两种交互方法提供注释,并投票选出更好的结果。共有 187 票(17 张图片 × 11 名参与者)投票选出首选互动方式。提议的 IceNet 赢得了更多的选票:IceNet 在 80.2% 的测试中受到青睐,而 CB 仅占 19.8%。图 5 比较了定性结果,其中结果是由同一参与者获得的。虽然 CB 没有充分改善对比度,但 IceNet 成功地做到了这一点。

为了进行更主观的评估,我们通过从 NPE [25](85 张图像)、LIME [5](10 张图像)、MEF [50](17 张图像)的每个测试集中选择前 10 张索引图像来收集 50 张图像。 DICM [4]、[23](69 个图像)和 VV [51](23 个图像)。然后,我们对 11 名参与者进行了另一项用户研究。它的设计如下:

1)参与者向 IceNet 提供注释,然后生成增强的图像。

2)将IceNet和七种常规算法获得的八张增强图像以随机顺序呈现给参与者。

3) 参与者投票选出最满意的结果。
建议观看本用户研究演示的补充视频。

请注意,与 IceNet 的结果相比,参与者可能更喜欢传统算法的自动增强图像。这项研究的目的是检查参与者是否对使用 IceNet 的交互增强结果感到足够满意。表 1 总结了结果。提议的 IceNet 赢得了最多票数;它在 57% 的测试中是最受欢迎的,而第二好的 SRIE 只有 11%。图 6、图 7 和图 8 比较了定性结果,其中 IceNet 的结果是由参与者获得的。与传统算法相比,IceNet 以更少的伪影提供了更令人满意的结果。请注意,LDR 和 SRIE 并未充分改善对比度,Li 等人。产生模糊的图像。其他传统算法往往会产生噪声或过度增强轮廓伪影。


精读

方法1

  • 要求11名参与者对这两种交互方式进行注解,并投票选出更好的结果。
  • IceNet占80.2%,而CB只占19.8%
图5.IceNet与传统交互算法的定性比较。特别是在红色矩形内,传统算法并不能提高对比度。

方法2

  • 从NPE、LIME、MEF、DICM等的每个测试集中选择前10张索引的图片,收集了50张图片。
  • 然后,对11名参与者进行了另一项用户研究。
表1.用户研究结果。总共有550张选票(50张图片× 11名参与者)被选为最受欢迎的方法。IceNet在314张选票中赢得了最多的选票。57%的人认为它是最受欢迎的,而第二好的SRIE只有11%。

图6,7,8.IceNet与传统算法的定性比较。传统的增强方法在奇数行,而基于cnn的增强方法在偶数行。


2) User studies for personalized initial η——个性化初始η的用户研究

翻译

我们询问了 11 名参与者他们对最初增强图像的满意度。对于这个测试,方程中的系数。 (4) 由 (yi, ηi) 对进行个性化,这是每个参与者在之前的用户研究中选择的。然后,我们从 NPE、MEF、DICM 和 VV 中各选择 5 张低对比度图像,收集了 20 张新的测试图像。这些新图像与表 1 中用于测试的图像没有重叠。平均而言,每个用户对这 20 个案例中的 16.5 个初始图像感到满意。换句话说,82.5%的初始增强图像让用户满意。

此外,个性化初始 η 与微调后的平均绝对误差 (MAE) 仅 0.068。表2(a)显示了该测试的结果。这些结果证实最初增强的图像在大多数情况下是令人满意的。为了进行更主观的评估,我们要求 11 名参与者在最初增强的图像和 SRIE [26] 和 EnlightenGAN [39] 获得的自动增强图像之间选择首选图像。

请注意,在之前的用户研究中,SRIE 和 EnlightenGAN 是传统方法中最受欢迎的两种算法。表 2(b) 总结了投票结果。所提出的算法赢得了最多的选票。图 9 比较了定性结果,其中 IceNet 的结果是使用参与者的个性化暴露水平获得的。所提出的 IceNet 提供了更令人满意的结果,而无需每个图像交互。


精读

方法

NPE、MEF、DICMVV各选取5张低对比度图像,收集20张新的测试图像。

表2。个性化初始η的两个用户研究。(a)个性化初始η满意度调查结果。(b)共投出220张选票(20张图片× 11名参与者),选出最喜欢的方法。
图9.IceNet与传统算法的定性比较。请注意,所有增强的图像都是自动获得的,而不需要逐个图像进行交互。

3) Quantitative comparison—定量比较

翻译

表2(a)显示了该测试的结果。这些结果证实最初增强的图像在大多数情况下是令人满意的。为了进行更主观的评估,我们要求 11 名参与者在最初增强的图像和 SRIE [26] 和 EnlightenGAN [39] 获得的自动增强图像之间选择首选图像。

请注意,在之前的用户研究中,SRIE 和 EnlightenGAN 是传统方法中最受欢迎的两种算法。表 2(b) 总结了投票结果。所提出的算法赢得了最多的选票。图 9 比较了定性结果,其中 IceNet 的结果是使用参与者的个性化暴露水平获得的。所提出的 IceNet 提供了更令人满意的结果,而无需每个图像交互。IceNet* 测试过程中采样了 70 对 (yi, ηi)。在表3中,我们看到所提出的算法明显优于传统算法。此外,即使没有perimage交互,IceNet也能提供出色的性能。

精读

方法

在SICE数据集的Part2子集中使用了767对曝光不足和正常的图像。

表3.基于SICE的第2部分子集的全参考图像质量评估。最好的结果用黑体字表示,次好的结果用下划线表示。

B. ABLATIONAND ANALYSIS—消融和分析

翻译

1)对比度偏好

在图10中,奇数行显示了三个参与者如何在用户研究期间以不同方式增强相同的输入图像,偶数行显示参与者提供了各种注释以获得满意的图像。通过增强图像我们看到人们对对比度有不同的偏好。所提出的交互算法可用于自适应地满足这些偏好。

2)参数设置的影响

图11比较了所提出的IceNet与不同参数设置的结果。在这个测试中,我们改变了卷积层和输出通道的数量。请注意,所提出的 IceNet 的默认设置采用 7 个卷积层和 32 个输出通道。如图11所示,当参数量小于默认设置时,输出图像会过度增强。另一方面,当参数量大于默认设置时,输出图像与默认设置的图像相似。这表明默认设置既有效又高效。

3) 跳跃连接

图 12 比较了使用和不使用跳跃连接的 IceNet 的结果。在此测试中,输出图像在 η = 0.6 时生成,没有涂鸦。据观察,没有跳跃连接的 IceNet 无法显示隐藏的细节。

4)损失函数

最后,我们分析式(1)中每个损失项的功效。 (15)。图 4(b)∼(e) 显示了使用三种损失的各种组合训练的 IceNet 的结果。在此测试中,IceNet 在 η = 0.65 时生成无涂鸦的输出图像。首先,我们在没有图 4(c) 中的交互式亮度控制损失 Libc 的情况下训练 IceNet。通过与图 4(b) 进行比较,我们发现删除 Libc 并不能增强曝光不足的区域。其次,我们在没有熵损失 Lent 的情况下训练 IceNet,如图 4(d) 所示。与图4(b)相比,直方图更加集中,这表明对比度没有得到充分改善。最后,图 4(e) 显示了没有平滑度损失 Lsmo 的 IceNet 训练结果。删除 Lsmo 会导致图像过度增强。


精读

1) Preferences for contrast— 对比度偏好

图10.奇数行表明三个参与者对同一个输入图像进行了不同的增强,这表明人们对对比度有不同的偏好。偶数行是参与者提供的注释。

2) Impacts of parameter settings—参数设置的影响

图11.参数设置的影响。(L-C-N)表示具有L个卷积层、C个输出通道和N个参数的IceNet。注意,默认设置是(7、32、85K)。在η = 0.95时,得到了无涂改的结果。这种差异在红色矩形中更容易被观察到,放大后可以更好地观察到。

3) Skip connection—跳跃连接

图12.跳跃连接对特征提取器的影响。图像在η = 0.6时得到增强,没有涂鸦。

4) Loss function—损失函数

  • 图4(b) ~ (e)显示了三种损失的各种组合训练IceNet的结果。
  • 图4(c)与图4(b)的对比:去除Libc并不能增强暴露不足的区域。
  • 图4(d)与图4(b)相比:直方图更加集中,说明对比度提高不够。
  • 图4(e):移除Lsmo会导致图像过度增强。

V. CONCLUSIONS—结论

翻译

我们提出了用于交互式 CE 的 IceNet,它由多个卷积层和全连接层组成。 IceNet 使用户能够轻松调整图像对比度。具体来说,用户提供用于控制全局亮度的曝光级别和用于使局部区域变暗或变亮的涂鸦图。然后,IceNet 生成增强图像。用户可以迭代地提供注释,直到获得满意的图像。此外,IceNet还自动生成了个性化的增强图像,可以作为进一步调整的基础。此外,为了有效、可靠地训练 IceNet,我们开发了三个可微损失函数。对各种数据集的大量实验证明了 IceNet 出色的 CE 性能。尽管IceNet能够为用户提供满意的结果,但用户应该提供详细的涂鸦。未来,我们将设计一种更加人性化的交互式CE方法,使用户能够通过更简单的涂鸦更轻松地控制所需区域的局部亮度。

精读

本文提出了交互式CE的IceNet,它由多个卷积层全连接层组成。

IceNet使用户可以轻松调整图像对比度。用户可以反复地提供注释,直到获得满意的图像。IceNet还自动生成了个性化的增强图像,可以作为进一步调整的基础。

此外,本文开发了三个可微损耗函数

在未来,将设计一种更加友好的交互CE方法,使用户能够通过更简单的涂鸦更容易地控制想要区域的局部亮度。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/661350.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

通俗易懂三大范式

通俗易懂三大范式 第一范式说的是每个字段不可再分 第二范式说的是不能存在部分依赖&#xff08;不能由联合主键的部分就可以推出其他字段&#xff0c;必须整个联合主键才能推出其他字段&#xff09; 第三范式说的是不能存在间接依赖(A&#xff08;主键&#xff09;→B,B→C…

瑞_23种设计模式_工厂模式

文章目录 1 什么是工厂模式案例案例代码 2 简单工厂模式&#xff08;Simple Factory&#xff09;2.1 简单工厂模式的结构2.2 案例改进——简单工厂模式2.3 案例改进代码实现2.4 简单工厂模式优缺点2.5 拓展——静态工厂 3 工厂方法模式&#xff08;Factory Method&#xff09;★…

【零基础学习CAPL】——CAN报文的发送(按下按钮同时周期性发送)

🙋‍♂️【零基础学习CAPL】系列💁‍♂️点击跳转 文章目录 1.概述2.面板创建3.系统变量创建4.CAPL实现4.1.函数展示4.2.全量报文展示5.效果1.概述 本章主要介绍使用CAPL和Panel在按下按钮时发送周期性CAN报文。 本章主要在“【零基础学习CAPL】——CAN报文的发送(配合P…

数组与字符串深度巩固

经过再三思考觉得今天就写一篇关于数组与字符串相关的文章吧&#xff01;其中字符串主要通过练习来巩固知识亦或是获得新知识。好接下来将进行我们的学习时刻了。 首先我们来思考一个问题&#xff0c;你真的了解数组的数组名吗&#xff1f;数组名真的就单单一个名字而已吗&…

Mac安装配置JDK

Mac安装配置jdk 下载地址&#xff1a;https://www.oracle.com/java/technologies/downloads/#java8 下载jdk1.8及以上需要Oracle账号及密码 dokidoki811163.com\pass:Zywxmxbt1314… 安装jdk 双击安装包&#xff0c;点击.pkg&#xff0c;按照提示安装&#xff0c;配置环境之前…

微信小程序(二十八)网络请求数据进行列表渲染

注释很详细&#xff0c;直接上代码 上一篇 新增内容&#xff1a; 1.GET请求的规范 2.数据赋值的方法 源码&#xff1a; index.wxml <!-- 列表渲染基础写法&#xff0c;不明白的看上一篇 --> <view class"students"><view class"item">&…

介绍一个超好用的API管理工具:Apipost

Apipost是一款集API调试、生成文档、Mock、测试于一体的协同工具。单个工具可以同时满足接口测试、生成/分享文档、Mock、流程测试等功能&#xff0c;还有超实用的多人多角色间实时协作的功能。将前端、后端、测试三种角色串联起来&#xff0c;从而实现工作流程无缝衔接、提高研…

【Qt】—— 项⽬⽂件解析

目录 &#xff08;一&#xff09;.pro⽂件解析 &#xff08;二&#xff09;widget.h⽂件解析 &#xff08;三&#xff09;main.cpp⽂件解析 &#xff08;四&#xff09;widget.cpp⽂件解析 &#xff08;五&#xff09;widget.ui⽂件解析 &#xff08;一&#xff09;.pro⽂…

P1083 [NOIP2012 提高组] 借教室

P1083 [NOIP2012 提高组] 借教室 题目描述 在大学期间&#xff0c;经常需要租借教室。大到院系举办活动&#xff0c;小到学习小组自习讨论&#xff0c;都需要向学校申请借教室。教室的大小功能不同&#xff0c;借教室人的身份不同&#xff0c;借教室的手续也不一样。 面对海…

net 一台路由器如何让两个不同网段的终端可以通信。

# 终端设备自己设置就行了 # 路由器的设置 The device is running! #################################################### <Huawei> Feb 1 2024 21:21:09-08:00 Huawei %%01IFPDT/4/IF_STATE(l)[0]:Interface GigabitEt hernet0/0/0 has turned into UP state. <…

C++层uevent获取

本文用的是#include <cutils/uevent.h> 主要讲述android中怎么在C层接收uevent uevent 是 kernel层向用户层发送的一个事件 首先创建一个线程用于循环去获取uevent void testUevent {//创建一个线程一直循环pthread_t thread;int ret pthread_create(&thread, nu…

Win11系统连接带HDMI接口的显示器后,电脑没有声音如何调试

解决这个问题的方法很简单&#xff0c;没有那么复杂。之所以使用HDMI接口连接了显示器后没声音&#xff0c;原因就是HDMI接口是包含音频视频两种信号的接口。当电脑的HDMI接口被使用时&#xff0c;系统就会默认从HDMI设备输出声音信号了&#xff0c;而此时如果HDMI设备没有声音…

取巧方式el-select单选重复选择

前言&#xff1a;之前产品是可以多选&#xff0c;我就一想在el-select 加个multiple不就完事了吗&#xff1f;我兴高采烈几分钟就实现了这个选择框&#xff0c;可是后面说单选也要重复多选几个&#xff0c;顿时我就****,又不想自己写个 首先安装element-plus 一定要安装2.5版本…

OSPF排错

目录 实验拓扑图 实验要求 实验排错 故障一 故障现象 故障分析 故障解决 故障二 故障现象 故障分析 故障解决 故障三 故障现象 故障分析 故障解决 故障四 故障现象 故障分析 故障解决 故障五 故障现象 故障分析 故障解决 故障六 故障现象 故障分析 …

wespeaker项目grpc-java客户端开发

非常重要的原始参考资料&#xff1a; 链接: triton-inference-server/client github/grpc java ps&#xff1a; 使用grpc协议的其它项目python/go可以参考git hub目录client/tree/main/src/grpc_generated下的其它项目 其它链接&#xff1a; 想要系统了解triton-inference-ser…

【linux】运维-磁盘空间不足-用到的命令(简洁)

【linux】运维-磁盘空间不足-用到的命令 常用&#xff1a; 注&#xff1a;du -s 和 -d 不能同时都用, -s | -d n 注&#xff1a;df -H 和 -h 区别 -H 1K1000 -h 1K1024 #-T 显示文件系统类型 -h 高可读性显示 df -Th #-c显示总和 ;sort -r 倒序显示 ;2>/dev/nul…

小白初探|神经网络与深度学习

一、学习背景 由于工作的原因&#xff0c;需要开展人工智能相关的研究&#xff0c;虽然不用参与实际研发&#xff0c;但在项目实施过程中发现&#xff0c;人工智能的项目和普通程序开发项目不一样&#xff0c;门槛比较高&#xff0c;没有相关基础没法搞清楚人力、财力如何投入&…

Mask-Free Video Instance Segmentation

论文地址&#xff1a;[2303.15904] 无掩码视频实例分割 (arxiv.org) 论文代码&#xff1a;https://github.com/SysCV/MaskFreeVis 目录 一、摘要 二、介绍 三、方法 3.1 时间掩码一致性 3.2 时间KNN-patch Loss 3.3 训练MaskFreeVIS 四. 数据集 五.消融实验 六. 结果 七…

深度解读NVMe计算存储协议-1

随着云计算、企业级应用以及物联网领域的飞速发展&#xff0c;当前的数据处理需求正以前所未有的规模增长&#xff0c;以满足存储行业不断变化的需求。这种增长导致网络带宽压力增大&#xff0c;并对主机计算资源&#xff08;如内存和CPU&#xff09;造成极大负担&#xff0c;进…

Python网络爬虫分步走之 – 第一步:什么是网络爬虫?

Python网络爬虫分步走之第一步&#xff1a;什么是网络爬虫&#xff1f; Web Scraping in Python Step by Step – 1st Step, What is Web Crawler? By JacksonML 1. 什么是网络爬虫&#xff1f; 在能够使用Google搜索引擎的场合&#xff0c;你是否尝试过简单搜索&#xff…