本改进已集成到 RT-DETR-Magic 框架。
下采样操作如最大池化或步幅卷积在卷积神经网络(CNNs)中被广泛应用,用于聚合局部特征、扩大感受野并减少计算负担。然而,对于语义分割任务,对局部邻域的特征进行池化可能导致重要的空间信息丢失,这有助于逐像素预测。为了解决这个问题,我们引入了一种简单而有效的池化操作,称为基于Haar小波的下采样(HWD)模块。该模块可以轻松集成到CNNs中,以提高语义分割模型的性能。HWD的核心思想是应用Haar小波变换来降低特征图的空间分辨率,同时尽可能保留更多信息。此外,为了研究HWD的好处,我们提出了一种新的指标,称为特征熵指数(FEI),用于衡量CNNs中下采样后信息不确定性的程度。具体而言,FEI可用于指示下采样方法在语义分割中保留关键信息的能力。我们的全面实验表明,所提出的HWD模块能够(1)有效地提高不同模态图像数据集上各种CNN架构的分割性能,并且(2)与传统的下采样方法相比,有效地降低信息不确定性。
代码地址:https://github.com/apple1986/HWD