【前沿热点视觉算法】-钢缺陷图像显著目标检测的跨尺度边缘净化网络

计算机视觉算法分享。问题或建议，请文章私信或者文章末尾扫码加微信留言。

显著目标检测在自然场景图像中取得了很大的成功，但在钢缺陷图像（SDIs）中仍有很大的探索空间。此外，SDIs的独特特性使得SDIs（SDI-SOD）中具有显著的目标检测成为一项具有挑战性的任务，许多具有代表性的自然场景图像方法难以在SDI-SOD中获得令人满意的结果。现有的SDI-SOD方法通常忽略边缘信息，只专注于增强不同层的特征交互。为此，我们提出了一种专门的跨尺度边缘纯化网络（CSEPNet）来探索SDI-SOD的不同尺度特征之间的相关性。具体来说，我们的CSEPNet是基于一般的编码器-解码器架构。首先，我们采用了一个通用的卷积块注意模块（CBAM）来改进和增强来自编码器的特征。然后，我们提出了跨尺度校准模块（CSCM）和跨尺度特征交织模块（CSFIM）来分别捕获层间特征和层内特征之间的关系。在CSCM中，不同尺度的相邻特征可以相互有效地校准，并通过它们的集体权重图重新校准，以生成信息特征。在CSFIM中，特征的两个分支与纯化的相应边缘信息交织融合，生成鲁棒特征。此外，我们采用深度监督和使用混合损失来指导培训过程。我们在公共sd-显著性-900数据集上进行了全面的实验，证明了我们的方法优于26种最先进的方法，包括传统的和基于cnn的方法。

提出了一种基于编码器-解码器体系结构的基于SDI-SOD的跨尺度边缘纯化网络（CSEPNet）。我们的CSEPNet探索了层间和层内特征的互补性，以逐步产生一个精确的显著性图。
提出了一种跨尺度校准模块，可以有效地捕捉不同层特征之间的关系，从而灵活地校准跨尺度层间特征，生成信息性特征。
提出了一种跨尺度特征交织模块来探讨层内特征的互补性。在这个模块中，我们提出了层内特征的双尺度表示，并以跨尺度的方式将它们与纯化的边缘信息交织在一起。然后，通过跨尺度加权模块（CSCM的一种变体）有效地聚合细化后的双尺度层内特征。

在这里插入图片描述

在这里插入图片描述

我们在图10中给出了所提出的CSEPNet的一些故障案例。具有挑战性的场景包括三种缺陷，包括补丁、包含物和划痕。如图10所示，第一列显示了一个典型的包含缺陷的微小物体场景。我们的CSEPNet未能定位到最突出的区域，并出现了一些错误。对于图10的第二列，我们的方法不能区分靠近突出缺陷区域的小区域。对于第三列，该场景涉及到多个缺陷区域。我们的方法定位了所有的缺陷区域，但结果对右下角的缺陷区域并不精确。图10的最后一个场景包含了一个结构精细的长划痕。我们的方法无法检测到整个区域。

尽管Sora目前尚未向公众开放，但据悉，它可能首先向OpenAI的付费用户提供，如ChatGPT Plus用户（升级 ChatGPT Plus 的教程）。Sora的推出将极大地简化视频创作流程，并提供前所未有的高效性和便利性。如果您有兴趣了解如何使用Sora，可关注官方网站获取最新信息。
如有其他疑问可以加以下微信二维码联系

在这里插入图片描述