涨点神器:即插即用特征融合模块!超低参数,性能依旧SOTA

在写论文时,一些通用性模块可以在不同的网络结构中重复使用,这简化了模型设计的过程,帮助我们加快了实验的迭代速度

比如在视觉任务中,即插即用的特征融合模块可以无缝集成到现有网络中,以灵活、简单的方式提升神经网络的性能。这类模块通过专注于数据的关键点和模式,帮助模型更有效地学习特征,从而提高在各种视觉任务中的准确度和效率

以南航提出的AFF模块、港大等提出的即插即用轻量级模块AdaptFormer为例:

  • AFF模块:一种即插即用的新注意力特征融合机制AFF,仅使用了35.1M的参数量就能达到性能优于SKNet、SENet等方法的效果。

  • AdaptFormer:核心是一种轻量级模块,微调不到0.2%,就能提高ViT的迁移能力,而不需要更新其原始的预训练参数。

为方便各位理解和运用,我这次精挑细选了8个即插即用特征融合模块。这些模块的来源文章以及代码我都整理了,并简单罗列了创新点,更详细的工作细节建议各位仔细阅读原文。

论文原文以及开源代码需要的同学看文末

Attentional Feature Fusion

方法:论文提出了一种统一的、普遍适用的特征融合方案,名为注意力特征融合,用于处理现代网络体系结构中的特征融合。为了更好地融合具有不一致语义和尺度的特征,作者提出了一种多尺度通道注意力模块。此外,作者还发现初始特征图的集成可能成为一个瓶颈,通过添加另一层注意力来缓解这个问题,称之为迭代注意力特征融合。

创新点:

  • 提出了一种统一且通用的方案,即注意力特征融合,适用于大多数常见场景,包括由短路连接和长路连接引起的特征融合以及在Inception层内部的特征融合。

  • 提出了一种多尺度通道注意力模块,用于更好地融合具有不一致语义和尺度的特征。通过在通道维度上聚合多尺度的上下文信息,可以同时强调分布更广泛的大对象和分布更局部的小对象,从而有助于网络在极端尺度变化下识别和检测对象。

  • 提出了迭代注意力特征融合方法,通过在输入特征中添加另一个注意力模块来改善初始融合质量,并通过逐步改进初始融合来提高性能。通过简单地将现有的特征融合运算符替换为提出的迭代注意力特征融合模块,可以提高各种网络的性能。

AdaptFormer: Adapting Vision Transformers for Scalable Visual Recognition

方法:论文提出了一种名为AdaptFormer的有效的适应Transformer的方法,可以高效地将预训练的ViTs适应到许多不同的图像和视频任务中。与现有的完全微调模型相比,AdaptFormer引入了轻量级模块,仅添加了不到2%的额外参数到ViT中,而且在不更新原始预训练参数的情况下,显著优于现有的100%完全微调模型在动作识别基准上的表现。

创新点:

  • AdaptMLP模块:作者引入了AdaptMLP模块,用于将预训练的ViT骨干网络适应于多个下游视觉识别任务。AdaptMLP模块包括两个子分支,一个与原始网络的MLP层相同,另一个是额外引入的轻量级模块用于任务特定的微调。AdaptMLP模块只引入少量参数,使得ViT的可迁移性得到提高,相比于全微调方法,在动作识别任务上能够取得更好的性能。

  • 平行设计:作者发现平行设计对于特征集成是一种有效的方式。平行设计通过一个独立的分支保留原始特征,并通过元素级缩放求和聚合更新的上下文信息。因此,作者选择了平行设计作为默认设置,因为它在性能上具有优势。平行设计与全微调相比,在参数开销较小的情况下,能够获得更好的性能。

DEA-Net: Single image dehazing based on detail-enhanced convolution and content-guided attention

方法:论文提出了一种细节增强注意力网络(DEA-Net)来解决单一图像去雾问题,其中包含细节增强卷积(DEConv)和内容引导注意力(CGA)两个部分。CGA通过为每个通道分配唯一的空间重要性映射(SIM)来关注特征中编码的更有用的信息,并提出了一个CGAFusion,即插即用的特征融合模块。通过结合上述组件,DEA-Net能够恢复高质量的无雾图像,实验证明其在PSNR指数上超过最先进的方法,并且只使用了3.653 M个参数。

创新点:

  • 设计了一种细节增强卷积(DEConv)层,通过并行部署多个普通卷积和差异卷积来提取特征,增强了表示和泛化能力,同时不引入额外的参数和计算成本。

  • 提出了一种内容引导注意力(CGA)机制,可以生成通道特定的空间重要性图(SIMs),并将通道注意力和空间注意力进行融合,以实现信息交互和有效的梯度流动。

  • 提出了基于CGA的混合融合方案,可以自适应地融合编码器部分的低级特征和相应的高级特征,通过学习到的空间权重对特征进行调节。

CFNet: Cascade Fusion Network for Dense Prediction

方法:论文提出了一种名为CFNet的新的架构,用于密集预测任务。与通常使用轻量级融合模块来融合由重型分类主干提取的多尺度特征的FPN及其变种不同,CFNet通过引入多级级联阶段来学习基于提取的高分辨率特征的多尺度表示。通过将特征集成操作插入到主干中,可以有效利用整个主干的大部分来有效地融合多尺度特征。

创新点:

  • CFNet引入了级联阶段的创新架构,以学习基于高分辨率特征的多尺度表示。

  • CFNet通过将特征集成操作插入到主干中,有效利用了整个主干的大部分来融合多尺度特征。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“特征即插”获取全部论文+代码

码字不易,欢迎大家点赞评论收藏

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/12165.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

7.STL中string的一些超常用函数 (附习题)

目录 1.find 2.atoi 3.to_string 4.getline 【leetcode 习题】 387.字符串中的第一个唯一字符 125. 验证回文串 1.find 1.查找第一次出现的目标字符串:说明:如果查找成功则输出查找到的第一个位置,否则返回-1; s1.find(s2…

宇宙(科普)

宇宙(Universe)在物理意义上被定义为所有的空间和时间(统称为时空)及其内涵,包括各种形式的所有能量,比如电磁辐射、普通物质、暗物质、暗能量等,其中普通物质包括行星、卫星、恒星、星系、星系…

【目标检测】YOLOv5|YOLOv8模型QT界面可视化部署

YOLO-Deploy-QT_Interface 最近笔者做了YOLO系列算法的部署工作,现做一个总结。主要工作是做了用于部署YOLOv5和YOLOv8的可视化QT界面,可实现图片、文件夹、视频、摄像头的ONNX与OpenVino部署,具体效果如下: 代码链接:https://github.com/Zency-Sun/YOLO-Deploy-QT_Inte…

Centos7 配置 DNS服务器

Centos 7 配置DNS服务器 环境描述: 一台服务器和一台用于测试的客户机 服务器IP:192.168.200.132 客户机IP:192.168.200.143 服务器配置 yum install bind bind-utils -y #安装软件包vim /etc/named.conf //编辑named主配置文件listen-on p…

【Linux】解析键盘组合键产生信号的完整过程:从硬件中断到信号发送

前言 每一个了解Linux的都知道这样一个知识,CtrlC组合键能够终止一个进程。 个人了解进程相关知识之后知道,一个进程被终止只会有有三种情况: 代码运行完毕,结果正确代码运行完毕,结果不正确代码运行异常&#xff…

huggingface 笔记:pipeline

1 介绍 pipeline() 是使用预训练模型进行推理的最简单和最快速的方式。可以针对不同模态的许多任务直接使用 pipeline() 2 举例:情感分析 2.1 创建pipeline实例 from transformers import pipelineclassifier pipeline("sentiment-analysis") #首先创…

SystemC学习使用记录

一、概述 对于复杂的片上系统,在进行RTL编码前,需进行深入的系统级仿真,以确认设计的体系结构是否恰当、总线是否能满足吞吐量和实现性要求以及存储器是否浪费,所进行的这些仿真要求在芯片的仿真模型上运行大量的软件&#xff0c…

图像数据预处理——openCV

目录 灰度化 几何变换 图像缩放 中心裁剪 标准化 图像增强 可视化图像 import numpy as np import pandas as pd import json import cv2 import os 灰度化 使用cv2读取图像时,就可以选择读取彩色图像还是灰度图像 image cv2.imread(filename, flags) flags&…

跨境必看|TikTok账号运营的八大秘籍

国内的传统生意都是可以在抖音上做,那么也可以在TikTok 上重新做一遍。那该如何才能把握住这片巨大的蓝海,TikTok 账号的运营就成为了主要的关键了,对于TikTok账号运营的八大秘籍,大家一起看看是如何做的? 一、固定节…

为什么需要使用SOCKS5代理?

SOCKS代表Socket Secure,是一种网络协议,能够在网络上进行数据传输。SOCKS5是SOCKS协议的第五个版本,它提供了更加安全和灵活的数据传输方式,因此在网络安全和隐私保护方面被广泛应用。在我们的日常生活中,为什么需要使…

VMware虚拟机安装详细教程

VMware下载安装好后,下载好我们要安装的操作系统的镜像文件后,此处安装的为centos7版本,就可以开始安装了。 1点击下一步 image 2、勾选【我接受条件款协议中的条款】,然后点击【下一步】。 image 3、取消勾选,然后点…

深拷贝和浅拷贝--深拷贝

深拷贝 深拷贝是指在复制对象时&#xff0c;不仅复制对象的所有成员变量的值&#xff0c;还复制成员变量指针或引用所指向的实际数据。这意味着原对象和拷贝对象拥有独立的底层数据&#xff0c;互不影响。 #include <iostream>class Person { public:int* age;// 构造函…

富在术数,不在劳身 财富的积累更多依赖于智慧和策略,而不是单纯的体力劳动 GPT-4o免费用

"富在术数&#xff0c;不在劳身"这句话的意思是财富的积累更多依赖于智慧和策略&#xff0c;而不是单纯的体力劳动。这句话强调了智慧和技巧在获取财富过程中的重要性&#xff0c;提示人们在追求财富时&#xff0c;应注重策略和方法的运用&#xff0c;而不仅仅依靠辛…

【JAVA】单元测试的简单应用

单元测试是验证软件中最小可测试部分正确性的自动化测试。在Java中&#xff0c;单元测试通常针对类的方法或函数进行。以下是单元测试的一般写法&#xff0c;以及一些常用的单元测试框架。 1. 准备工作 在开始编写单元测试之前&#xff0c;需要确保项目中包含了单元测试框架。…

元组(tuple)

1. 区别 和列表相似&#xff0c;本质上是一种有序的集合元组和列表的不同之处&#xff1a; a.列表:[ ] 元组&#xff1a;( ) b.列表中的元素可以进行增加和删除操作&#xff1b;但是&#xff0c;元组中的元素不能修改【元素&#xff1a;一旦被初始化&#xff0c;将不能发生改…

prompt工程策略(三:使用 LLM 防护围栏创建系统提示)

原文&#xff1a;我是如何赢得GPT-4提示工程大赛冠军的 原文的原文&#xff1a; How I Won Singapore’s GPT-4 Prompt Engineering Competition &#xff01;&#xff01;本内容仅适用于具有 System Prompt&#xff08;系统提示&#xff09;功能的 LLM。具有这一功能的最著名 …

python dbUtil

# -*- coding: utf-8 -*- import pyodbc import cx_Oracleclass Database:def __init__(self, driver, server, database, username, password):"""链接数据库:param driver: 数据库驱动:param server: 地址:端口:param database: 数据库名称:param usernam…

工业无风扇计算机的优点

无风扇计算机往往采用紧凑且密封的外形&#xff0c;使其坚固耐用&#xff0c;使其能够在需要现场工程师进行维护之前承受恶劣的环境数年。机载移动部件较少或没有移动部件会降低组件无法按预期运行的可能性&#xff0c;或者更糟糕的是发生故障和损坏。采用工业组件和较低的散热…

您的文件和驱动器上的“密码保护”有多安全?

某些行业&#xff08;例如医疗保健、法律和公司&#xff09;的人们在通过电子邮件发送文件时通常依赖密码保护&#xff0c;认为它可以提供足够的安全性来防止窥探。然而&#xff0c;对 PDF 或 Excel 文件进行简单的密码保护并不像看起来那样万无一失。 使用密码保护文件而不加…

亿级流量系统架构设计与实战

&#x1f482; 个人网站:【 摸鱼游戏】【神级代码资源网站】【工具大全】&#x1f91f; 一站式轻松构建小程序、Web网站、移动应用&#xff1a;&#x1f449;注册地址&#x1f91f; 基于Web端打造的&#xff1a;&#x1f449;轻量化工具创作平台&#x1f485; 想寻找共同学习交…