恶劣天气下的目标检测新突破：多尺度退化建模与特征融合策略

更多优质内容，请关注公众号：智驾机器人技术前线

1.论文信息

论文标题：Degradation Modeling for Restoration-enhanced Object Detection in Adverse Weather Scenes
作者：Xiaofeng Wang, Xiao Liu, Hong Yang, Zhengyong Wang, Xiaoyue Wen, Xiaohai He, Linbo Qing, Honggang Chen
作者单位：四川大学
论文地址：https://ieeexplore.ieee.org/document/10636782
项目地址：https://github.com/xfwang23/RDMNet

2.摘要

目标检测在场景感知和智能驾驶等领域有广泛应用。然而，受到雨、雾、雪等天气因素的干扰，恶劣天气条件下的目标检测面临重大挑战。主流方法通常未能考虑到退化图像的目标检测，并且无法有效处理它们。在本文中，我们提出了一种名为RDMNet的基于退化建模的增强型目标检测网络，用于不利天气场景。首先，为了捕获退化图像的更多潜在信息，我们将恢复思想整合到检测网络中，形成了一个双分支网络。其次，为了提高网络对不同天气类型的适应性，我们提出对退化图像的退化进行建模，并学习其多尺度退化表示，以指导恢复和检测分支中的特征转换。最后，为了促进恢复和检测分支的跨任务整合，本文开发了一个多尺度双向特征融合块，并提出了一种恢复权重衰减训练策略。在雨、雾和雪天气中的广泛实验表明，本文的RDMNet超过了最近的目标检测方法。

3.主要贡献

本文是第一个将隐式退化建模方法引入恶劣天气场景的目标检测网络；
开发了一种新颖的双分支结构网络，用于捕获目标检测和图像恢复中的潜在信息；
设计了一个多尺度双向特征融合块，以更好地整合来自目标检测和恢复分支的多尺度特征；
广泛的实验表明，本文的RDMNet与其他恶劣天气条件下的目标检测方法相比，取得了显著的性能提升。

4.核心思想与方法

如下图所示，本文的RDMNet是一个包含检测和恢复分支的双分支结构网络。它由六个组成部分构成：退化编码器（DE）、目标检测编码器、恢复编码器、多尺度双向特征融合块（MBFFB）、目标检测回归和恢复解码器。

本文提出的RDMNet的架构

5.实验仿真验证

6.总结 && 展望

本文提出了一种针对恶劣天气条件的联合退化感知和恢复目标检测方法。首先，引入了一种对比学习方法来通过构建不同的正样本对和负样本对来建模退化，并学习相应的表示。然后，设计了一个检测和恢复双编码分支来提取具有检测和恢复特征的特征。在特征提取阶段，从退化编码器获得的表示指导目标检测和恢复编码器的特征转换，增强了模型对退化的感知能力。随后，为了融合目标检测和恢复编码器的多尺度特征，本文设计了一个多尺度双向特征融合块，以实现两种类型特征的有效整合和信息互补。最后，提出了一种恢复权重衰减训练策略用于模型训练，在训练过程中逐渐减少恢复损失在总损失中的比例，从而保持恢复分支对模型性能的有利影响。在雨、雾、雪图像下的广泛实验证明了所提出方法的有效性和与现有方法相比的优越性。