摘要
涨点效果:在我自己的数据集上,mAP50 由0.986涨到了0.993,mAP50-95由0.737涨到0.77,涨点明显!
DCNv4是可变形卷积的第四版,速度和v3相比有了大幅度的提升,但是环境搭建有一定的难度,对新手不太友好。如果在使用过程遇到编译的问题,请严格按照我写的环境配置。
论文:《DCNv4:对视觉应用的动态和稀疏算子的重新思考》
https://arxiv.org/pdf/2401.06197.pdf
我们介绍了可变形卷积v4(DCNv4),这是一种高效且有效的运算符,专为广泛的视觉应用而设计。DCNv4解决了其前身DCNv3的局限性,通过两个关键改进:1. 去除空间聚合中的softmax归一化,以增强其动态属性和表达力;2. 优化内存访问以最小化冗余操作以提高速度。这些改进导致与DCNv3相比,收敛速度显著加快,处理速度大幅提升,DCNv4的前向速度提高了三倍以上。DCNv4在各种任务中表现出色,包括图像分类、实例和语义分割,尤其是图像生成。当将其集成到诸如U-Net之类的潜在扩散模型中的生成模型中时,DCNv4超过了其基线,突显了其增强生成模型的潜力。在实践应用中,将DCNv3替换为DCNv4在InternImage模型中创建FlashInternImage,可实现高达80%的速度提升和性能改进而无需进一