《光学遥感图像中显著目标检测的多内容互补网络》2021-9

一、简介
在本文中，我们提出了一种新的多内容互补网络（MCCNet）来探索 RSI-SOD 的多内容互补性。具体来说，MCCNet 基于通用的编码器-解码器架构，并包含一个名为 multi-content complementation module （MCCM）的新型关键组件，它将编码器和解码器连接起来。在 MCCM 中，我们考虑了对 RSI-SOD 至关重要的多种类型的特征，包括前景特征、边缘特征、背景特征和全局图像级特征，并利用它们之间的内容互补性，通过注意力机制突出 RSI 特征中不同尺度上的显著区域。此外，我们在训练阶段全面引入了像素级、映射级和度量感知损失。
我们首先将前台内容集成到我们的 MCCM 中，我们引入了边缘内容，我们采用边缘监督来生成边缘注意力图，用于特征中的边缘激活。对于 RSI-SOD，我们认为除了前景和边缘之外，背景也很重要。在这里，我们考虑光学 RSI 的复杂背景内容。以上三种内容详细介绍了本地信息。我们整合了全局图像级内容，以实现全面的内容补充。通过这种方式，我们的 MCCM 可以同时捕获本地和全局内容，这对于准确感知突出区域和区分杂乱的背景区域非常有效。此外，为了提高 MCCM 的稳健性，我们在多个特征尺度上实施了 MCCM。我们将 MCCM 部署在编码器-解码器网络中，这是 NSI-SOD 的通用骨干。

二、文章提到的前人的技术和论文

Multilevel/scale fusion（多层 /尺度融合）：在显著目标检测中，不同层次或尺度的特征包含不同的信息。例如，浅层特征可能包含图像的细节和边缘信息，而深层特征则更侧重于语义信息。通过多层 /尺度融合技术，可以将不同层次或尺度的特征进行组合，以获得更全面和准确的特征表示。如在一些方法中，会将卷积神经网络中不同层的特征图进行融合，使网络能够同时利用低层次的细节信息和高层次的语义信息来更好地检测显著目标，提高对不同大小和复杂程度目标的检测能力。
Edge guidance/preservation（边缘引导 /保留）：边缘是物体的重要边界信息，对于确定显著目标的形状和位置至关重要。边缘引导技术利用图像中的边缘信息来指导显著目标的检测过程，例如通过将边缘区域的特征与其他区域特征进行特殊处理或加权，使网络更关注边缘附近的区域，从而更准确地勾勒出显著目标的轮廓。边缘保留则侧重于在特征处理过程中尽量保持边缘信息的完整性，防止边缘信息在卷积、池化等操作中丢失或模糊，确保网络能够利用清晰的边缘特征进行目标检测。
Attention（注意力机制）：注意力机制使网络能够动态地聚焦于图像中的关键区域或特征。在显著目标检测中，它可以帮助网络自动学习到哪些区域更有可能是显著目标，从而分配更多的计算资源和权重给这些区域。例如，通过像素级或区域级的注意力机制，网络可以根据图像内容的不同，对前景区域、高对比度区域或具有特定纹理的区域等给予更高的关注，增强这些区域在特征表示中的重要性，提高显著目标检测的准确性和效率。
Complementary losses（互补损失）：在训练过程中，单一的损失函数可能无法全面地衡量模型的性能。互补损失通过引入多种不同类型的损失函数来共同监督模型的训练。例如，除了常用的二元交叉熵（BCE）损失用于衡量预测的显著图与真实标签之间的差异外，还可能引入如交并比（IoU）损失来关注目标区域的重叠程度，或F - measure损失来综合考虑精度和召回率等指标。这些不同的损失函数从不同角度对模型进行约束和优化，使模型能够学习到更全面和准确的显著目标检测能力，避免模型在某些方面的过拟合或欠拟合
LVNet2019 将多分辨率输入融合在嵌套结构中，以感知不同大小的物体
PDFNet2020 集成了来自五个分支的 5 个尺度特征，以实现全面检测
DAFNet2021 不仅使用突出的边缘映射作为额外的监督，而且还以密集流畅的方式进行关注
与DAFNet类似，EMFINet2021采用三种不同分辨率的光学RSI作为输入，但与DAFNet不同的是，它采用边缘监督来生成具有边缘感知约束的特征，并引入混合损失来推断具有形状边界的显著对象
三、模型结构