当CNN遇上Mamba,高性能与高效率通通拿下!

传统视觉模型在处理大规模或高分辨率图像时存在一定限制,为解决这个问题,研究者们就最近依旧火热的Mamba,提出了Mamba结合CNN的策略。

这种结合可以让Mamba在处理长序列数据时既能够捕捉到序列中的时间依赖关系,又能够利用CNN的局部特征提取能力来加速处理过程,实现计算效率与模型性能的双赢,因此被广泛应用于各大领域。

比如在医学图像分割领域的应用中,Weak-Mamba-UNet等网络架构通过结合两者优势,有效地解决了医学图像中复杂的结构和模式识别问题,准确率高达99.63%。

另外还有HC-Mamba、InsectMamba等,都是最新提出的效果nice的结合成果。为帮助大家快速了解并掌握前沿,我挑选并整理了2024新发表的9篇Mamba+CNN高质量工作,可参考的创新点都提炼好了,开源代码已附。

论文原文+开源代码需要的同学看文末

HC-MAMBA: VISION MAMBA WITH HYBRID CONVOLUTIONAL TECHNIQUES FOR MEDICAL IMAGE SEGMENTATION

方法:论文提出了新型医学图像分割模型HC-Mamba。HC-Mamba基于Mamba结合了多种为医学图像优化的卷积技术,包括扩张卷积和深度可分离卷积。这些技术的结合使得HC-Mamba能够在保持高性能的同时,以更低的计算成本处理大规模医学图像数据。

HC-Mamba模型在医学图像分割任务中表现出色,实验结果显示其具有高准确率(94.84%)、mIoU(80.72%)和DSC(89.26%)的有效性,证明了其在医学图像分割领域的有效性和实用性。

创新点:

  • 提出了一种用于医学图像分割的混合卷积 Mamba 模型(HC Mamba),它结合了多种针对医学图像优化的卷积方法,以提高模型的感受野并减少模型的参数。

  • 引入了 HC-Mamba 模型中的扩张卷积技术,让模型能够在不增加计算成本的情况下捕捉更广泛的上下文信息,通过扩展卷积核的感知域来增强模型对不同尺度图像结构的感知能力。

InsectMamba: Insect Pest Classification with State Space Model

方法:论文介绍了一个名为InsectMamba的新型方法,它结合了SSMs、CNNs、多头自注意力机制以及MLPs。InsectMamba通过在Mix-SSM块中整合这些不同的视觉编码策略,来提取更全面的视觉特征,用于昆虫害虫分类任务。论文还提出了一个选择性模块,用于自适应地聚合不同编码策略中的特征,增强模型识别害虫特征的能力。

创新点:

  • 首次尝试将基于SSM的模型应用于昆虫害虫分类,提出了InsectMamba模型。

  • 提出了一种选择性聚合模块,可以自适应地组合来自不同编码策略的视觉特征,从而使模型能够选择用于分类的相关特征。

  • 实验结果显示,InsectMamba在准确率、精确度、召回率和F1分数等评价指标上均优于现有模型,特别是在农业害虫数据集上达到了91%的准确率。

Weak-Mamba-UNet: Visual Mamba Makes CNN and ViT Work Better for Scribble-based Medical Image Segmentation

方法:论文介绍了一个名为Weak-Mamba-UNet的新型弱监督学习框架,它结合了CNN、ViT以及最新的视觉Mamba架构,用于基于涂鸦(scribble-based)注释的医学图像分割。其在公开可用的MRI心脏分割数据集上表现出色,Dice系数达到0.9171,准确率达到0.9963。

创新点:

  • Weak-Mamba-UNet是一种创新的弱监督学习框架,通过结合CNN、ViT和VMamba的特征学习能力,显著降低了注释所需的成本和资源。

  • 该框架采用多视角交叉监督学习方法,增强了不同网络架构的适应性,使它们能够相互受益。

Large Window-based Mamba UNet for Medical Image Segmentation: Beyond Convolution and Self-attention

方法:论文介绍了一个名为LMa-UNet的新型网络结构,用于2D和3D医学图像分割。LMa-UNet利用了Mamba进行长距离依赖建模,并且结合了大窗口的优势,以实现局部空间建模和全局建模的高效性。论文中还设计了一种新颖的分层和双向Mamba块(LM块),以进一步增强Mamba在全局和邻域空间建模能力。

创新点:

  • 提出了一种用于2D/3D医学图像分割的大内核Mamba UNet模型(LKM-UNet)。

  • 通过给SSM层分配大内核,实现了大感受野的空间建模能力。

  • 设计了一种双向和分层的Mamba模块,增强了SSM的局部和全局特征建模能力。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“曼巴CNN”获取全部论文+开源代码

码字不易,欢迎大家点赞评论收藏

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/42556.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

思维+并查集,1670C - Where is the Pizza?

一、题目 1、题目描述 2、输入输出 2.1输入 2.2输出 3、原题链接 1670C - Where is the Pizza? 二、解题报告 1、思路分析 考虑两个数组a,b的每个位置只能从a,b中挑一个 不妨记posa[x]为x在a中位置,posb同理 我们假如位置i挑选a[i]&a…

【JS+H5+CSS实现烟花特效】

话不多说直接上代码 注意:背景图路径是picture/star.jpg&#xff0c;自己在同级目录先创键picture目录再下载一张图片命名为star.jpg HTML: <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"vi…

【LLM】三、open-webui+ollama搭建自己的聊天机器人

系列文章目录 往期文章回顾&#xff1a; 【LLM】二、python调用本地的ollama部署的大模型 【LLM】一、利用ollama本地部署大模型 目录 前言 一、open-webui是什么 二、安装 1.docker安装 2.源码安装 三、使用 四、问题汇总 总结 前言 前面的文章&#xff0c;我们已经…

探索Qt的QVariant:灵活的数据交换机制

&#x1f60e; 作者介绍&#xff1a;欢迎来到我的主页&#x1f448;&#xff0c;我是程序员行者孙&#xff0c;一个热爱分享技术的制能工人。计算机本硕&#xff0c;人工制能研究生。公众号&#xff1a;AI Sun&#xff08;领取大厂面经等资料&#xff09;&#xff0c;欢迎加我的…

VMware使用技巧

目录 1. 系统快照 1.1 拍摄快照 1.2 查看快照 1.3 应用/删除快照 2. 克隆虚拟机 3. 删除虚拟机 1. 系统快照 1.1 拍摄快照 将当前系统的状态保存下来&#xff0c;如果将来系统出现不可修复的故障&#xff0c;使用快照可以恢复操作系统&#xff1b; CentOS7——拍照—…

【开源】基于RMBG的一键抠图与证件照制作系统【含一键启动包】

《博主简介》 小伙伴们好&#xff0c;我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。 ✌更多学习资源&#xff0c;可关注公-仲-hao:【阿旭算法与机器学习】&#xff0c;共同学习交流~ &#x1f44d;感谢小伙伴们点赞、关注&#xff01; 《------往期经典推…

【Linux】System V信号量详解以及semget()、semctl()和semop()函数讲解

&#x1f490; &#x1f338; &#x1f337; &#x1f340; &#x1f339; &#x1f33b; &#x1f33a; &#x1f341; &#x1f343; &#x1f342; &#x1f33f; &#x1f344;&#x1f35d; &#x1f35b; &#x1f364; &#x1f4c3;个人主页 &#xff1a;阿然成长日记 …

Kotlin构造函数

目录 构造函数类型 主构造函数 成员变量设置 私有化操作 次级构造函数 构造函数类型 主构造函数&#xff08;主构造器&#xff09;——只能有一个次构造函数&#xff08;次构造器&#xff09;——可以是多个 主构造函数 构造器 constructor关键字前 无注解或修饰符作用&…

性能监控的革命:Eureka引领分布式服务监控新纪元

性能监控的革命&#xff1a;Eureka引领分布式服务监控新纪元 引言 在微服务架构中&#xff0c;服务的分布式性能监控对于维护系统健康和优化用户体验至关重要。Eureka作为Netflix开源的服务发现框架&#xff0c;为服务的注册与发现提供了强大支持&#xff0c;而结合其他工具&…

数字化转型:企业法务管理的未来发展 ​​​

在数字化浪潮的推动下&#xff0c;企业法务管理正经历着前所未有的变革。传统的法务工作模式在数据处理、合同审查、风险评估等方面逐渐显得力不从心。面对这一挑战&#xff0c;企业法务管理的数字化转型成为提升效率、保障合规、优化法律服务的必然选择。 数字化转型涉及到法…

HTML(30)——动画

动画 实现步骤 定义动画 keyframes 动画名称{ from{} to{} } keyframes 动画名称{ 0%{} 10%{} .... 100%{} } 2.使用动画 animation:动画名称 动画花费时间; 示例&#xff1a;盒子的宽度从200变到400px&#xff0c;两个状态一般用from to的形式 <style>.box {width: …

解析Xml文件并修改QDomDocument的值

背景&#xff1a; 我需要解决一个bug&#xff0c;需要我从xml中读取数据到QDomDocument&#xff0c;然后获取到我想要的目标信息&#xff0c;然后修改该信息。 ---------------------------------------------------------------------------------------------------------…

各大常用代码编辑器的快捷键集合

visualstudio2017 快捷键 多行注释 crtl / 取消多行注释crtl Q 代码跳转返回 crtl /- visualcode快捷键 代码跳转返回 crtl 左键/右键 androidstudio快捷键 代码跳转返回 crtl alt 左键/右键

VUE中ECharts提示框tooltip自动切换

目录 前言1导入插件2定义参数3 插件API 前言 使用VUE开发的数据大屏统计&#xff0c;又需要将 echarts的提示框 tooltip 实现自动切换&#xff0c;网上有个很简单的插件&#xff08;echarts-tooltip-auto-show&#xff09;&#xff0c;使用教程简单分享给大家。 自动每隔几秒切…

哦华为仓颉语言

本来我不太想说的&#xff0c;奈何有不少粉丝提问提到了这语言&#xff0c;目前的情况我不透露太多&#xff0c;看过这课程C实现一门计算机编程语言到手撸虚拟机实战的懂的自然懂。 在互联网领域几乎大部分应用软件运行在X86 LINUX上居多&#xff0c;如果你有问题可以先学习这…

多版本python环境中,让python3固定指向其中一个python可执行文件

如果你只安装一个python环境&#xff0c;那么一般可执行文件名就叫python.exe和pythonw.exe 但是如果你有多个python环境时&#xff0c;可执行文件名是需要进行修改的&#xff0c;使得在安装库和调用时能够分辨python环境&#xff0c;比如我的电脑中装有python3.10和python2.x …

Transformer模型论文解读、源码分析和项目实践

本文是ChatGPT系列的开篇之作&#xff0c;为什么吧Transformer放到这里呢&#xff0c;因为不管是chatgpt-1&#xff0c; chatgpt-2&#xff0c; chatgpt-3都是以Transformer作为底层基础来实现&#xff0c;相当于chatgpt系列的老祖先了。如果想要深入的了解清楚chatgpt的来龙去…

AcWing 4173. 线段 (贪心)

数轴上有 n 条线段&#xff0c;选取其中 k 条线段使得这 k&#x1d458; 条线段两两没有重合部分&#xff0c;问 k 最大为多少。 输入格式 第一行为一个正整数 n&#xff1b; 在接下来的 n 行中&#xff0c;每行有 2 个数 ai,bi&#xff0c;描述每条线段的左右端点坐标。 输…

BUUCTF[堆][of_by_one]

堆中of_by_one 介绍&#xff1a; 严格来说 off-by-one 漏洞是一种特殊的溢出漏洞&#xff0c;off-by-one 指程序向缓冲区中写入时&#xff0c;写入的字节数超过了这个缓冲区本身所申请的字节数并且只越界了一个字节。溢出字节为可控制任意字节 &#xff1a;通过修改大小(size…

token无感刷新方法

1.这里推荐去看这个老师的视频,我的方案都是根据他的视频来的视频地址 2.这边使用的工具是axios import axios from axios const service axios.create({baseURL: ,headers: {Authorization: token 你自己的token,},timeout: 1000 * 60, })// 拦截响应 service.interceptors…