开源Mamba-2性能狂飙8倍!多个Mamba超强进化体拿下顶会

MambaOut的热度刚过去没多久,Mamba-2就带着它狂飙8倍的性能炸场了。

Mamba-2的核心层是对Mamba的选择性SSM的改进,同等性能下,模型更小,消耗更低,速度更快。与Mamba不同,新一代的Mamba-2再战顶会,这次顺利拿下ICML。

其实除了Mamba-2以外,还有很多关于Mamba的改进方案也被各大顶会收录,比如视觉Mamba中稿ICML 2024,SegMamba和Swin-UMamba均中稿MICCAI 2024。而且现在关于Mamba的各种研究一直在爆发性地增长,已经成了顶会的热门投稿方向。

这次我从Mamba众多改进方案中挑选了12个最新研究成果来分享,这些成果的代码都已开源,我也一并附上了,方便各位快速了解Mamba改进的前沿进展并复现。

论文原文以及开源代码需要的同学看文末

Mamba®: Vision Mamba ALSO Needs Registers

方法:本文探讨了Vision Mamba特征图中的伪影与Vision Transformers的区别,并引入了一种名为Mamba®的新型架构,通过策略性地插入寄存器来增强图像处理能力,实验证明Mamba®在准确性和可扩展性方面表现优越,为未来优化Mamba架构在视觉领域的研究提供了坚实的基础。

创新点:

  • 引入了一种改进的Mamba ® 架构,通过在令牌序列中插入一些新的、与输入无关的寄存器令牌,对Vision Mamba进行简单而有效的架构改进。与先前的方法不同,该方法不仅在输入层的一端附加几个寄存器令牌,而且在Vision Mamba的末尾,将寄存器令牌连接起来,形成用于最终预测的综合图像表示。

  • 在Vision Mamba中引入了寄存器令牌,以解决特征图中的伪影问题。通过在令牌序列中更密集地分布寄存器令牌,该方法能够更好地解决更普遍的伪影问题,从而增强图像处理能力。

SSAMBA: Self-Supervised Audio Representation Learning with Mamba State Space Model

方法:本文介绍了一种自监督音频Mamba(SSAMBA)模型,它利用状态空间模型(SSMs)和双向架构的优势进行音频表示学习,相比传统的基于Transformer的模型,SSAMBA提供了一种更高效、可扩展的替代方案。

创新点:

  • 提出了SSAMBA,这是第一个自我监督、无注意力、基于SSM(state space models)的音频表示学习模型。SSAMBA采用双向Mamba对音频进行编码和处理,并且在没有标签数据的情况下进行预训练。

  • 相比于传统的基于transformer的模型,SSAMBA采用了更高效且可扩展的Mamba架构,避免了二次复杂性。SSAMBA在资源受限的设备上表现出色,具有广泛的实际应用潜力,从移动和边缘设备到大规模云系统。

PoinTramba: A Hybrid Transformer-Mamba Framework for Point Cloud Analysis

方法:本文介绍了一种名为PoinTramba的新型混合框架,将Transformer的强大建模能力与Mamba的计算效率相结合,用于增强点云分析。通过将点云分段成组,Transformer捕捉到组内复杂的依赖关系并生成组嵌入,而Mamba则同时捕捉到组间关系,确保了全面的分析。

创新点:

  • PoinTramba是一种创新的混合框架,将Transformer的强大建模能力与Mamba的高效计算能力相结合,用于点云分析。通过融合这两种架构,PoinTramba在计算复杂度和分析性能之间实现了卓越的平衡,标志着领域中的一个重大进展。

  • 引入了一种新的双向重要性感知排序策略(BIO),以处理随机点云排序的负面影响。该策略根据计算得到的重要性分数重新排序组嵌入,从而显著提高了Mamba的性能,并优化了整体分析过程。

Mamba as Decision Maker: Exploring Multi-scale Sequence Modeling in Offline Reinforcement Learning

方法:MambaDM是一种用于离线强化学习的行动序列预测器,它通过一个创新的全局-局部融合Mamba(GLoMa)模块,有效地结合了全局和局部特征的多尺度序列建模,以捕捉强化学习数据集中的复杂相互关系,并在Atari和OpenAI Gym基准测试中实现了最先进的性能。

创新点:

  • 全局-局部融合(GLoMa):创新性地设计了GLoMa模块,用于同时捕捉局部和全局特征,以更好地理解强化学习轨迹内的内在相关性。

  • 数据集规模的缩放法则:与自然语言处理(NLP)领域不同,实验结果表明,在Atari和OpenAI Gym环境中,增加模型大小并不一定提高结果。但是,为MambaDM提供更大的数据集可以显著提高性能。

  • 依赖信息的捕捉能力:通过可视化分析Mamba核心转换矩阵的特征值变化,展示了Mamba模块捕捉依赖信息的能力。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“改曼巴”获取全部论文+代码

码字不易,欢迎大家点赞评论收藏

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/23706.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【AI大模型】Transformers大模型库(二):AutoModelForCausalLM

目录​​​​​​​ 一、引言 二、AutoModelForCausalLM 2.1 概述 2.2 主要功能 2.3 代码示例 三、总结 一、引言 这里的Transformers指的是huggingface开发的大模型库,为huggingface上数以万计的预训练大模型提供预测、训练等服务。 🤗 Transfo…

SOA的相关概念

1.SOA的定义 面向服务的体系结构(Service-Oriented Architecture,SOA),从应用和原理的角度看,目前有两种业界公认的标准定义。 从应用的角度定义,可以认为SOA是一种应用框架,它着眼于日常的业务…

【Python机器学习】预处理对监督学习的作用

还是用cancer数据集,观察使用MinMaxScaler对学习SVC的作用。 首先,在原始数据上拟合SVC: cancerload_breast_cancer() X_train,X_test,y_train,y_testtrain_test_split(cancer.data,cancer.target,random_state0 ) svmSVC(C100) svm.fit(X_t…

推荐个 Edge/Chrome/Firefox 都支持的 IP 定位查询扩展

作为一个博客站长,对 IP 地址应该都不陌生,可以说是跟站长的工作是息息相关的,反正明月几乎每天都会面临 IP 查询、定位的需要,今天让明月给找到了一个叫”IP 定位查询“的浏览器扩展,在 Edge 和 Firefox 下体验后感觉…

多卡聚合智能融合通信设备在无人机无线视频传输应用

无人驾驶飞机简称“无人机”,是利用(无线电)遥控设备和自备的程序控制装置操纵的不载人飞行器,现今无人机在航拍、农业、快递运输、测绘、新闻报道多个领域中都有深度的应用。 无人机无线视频传输保证地面人员利用承载的高灵敏度照相机可以进行不间断的画…

【蓝桥杯2025备赛】分巧克力

【蓝桥杯2025备赛】分巧克力 [蓝桥杯 2017 省 AB] 分巧克力 题目描述 儿童节那天有 K K K 位小朋友到小明家做客。小明拿出了珍藏的巧克力招待小朋友们。 小明一共有 N N N 块巧克力,其中第 i i i 块是 H i W i H_i \times W_i Hi​Wi​ 的方格组成的长方形…

自动化执行任务的脚本代码分享!

在当今信息化社会,自动化执行任务的脚本代码已经成为提高工作效率、减少人工错误的重要工具。 无论是数据处理、文件操作,还是网络请求、系统监控,脚本代码都能帮助我们实现自动化操作,从而释放人力,让我们有更多时间…

LeetCode-103. 二叉树的锯齿形层序遍历【树 广度优先搜索 二叉树】

LeetCode-103. 二叉树的锯齿形层序遍历【树 广度优先搜索 二叉树】 题目描述:解题思路一:层序遍历,唯一区别就是ans.append(level[::-1] if len(ans) % 2 else level)背诵版:解题思路三:0 题目描述: 给你二…

网络层-IP协议 二

一、网段划分 为了进行组网,把一个IP地址,分成了两个部分: 网络号 主机号 例如:192.168.2.100 这个IP地址中,前面一部分 : 192.168.2就是我们的网络号 后面一部分 100就是我们的主机号. 家用宽带来说,一般默认就是前面三个字节是网络号,主机号的范围就表示局域网中可以有…

计数排序(简略概括)

介绍 通过数组,将对应的数存放在新数组对应的下标位置,遇到重复的数就1. 然后遍历数组将每个数存放到原数组中 实现 找到最大的数和最小的数,最小的数为下标0的位置,最大的数与最小的数的差值为数组大小 代码 // 计数排序 v…

避免使用for循环操作高维数组:numpy.apply_along_axis用法

文章目录 场景实际操作编写相关函数np.apply_along_axis 场景 设想我有一列高维向量,读取之后的数据都是字符串变量,我需要把这些字符串数据转换为复数之后求绝对值 实际操作 在使用pd.read_csv()读取数据之后,将这一列数据转换为numpy数…

信息系统项目管理师0145:敏捷与适应方法(9项目范围管理—9.2项目范围管理过程—9.2.3敏捷与适应方法)

点击查看专栏目录 文章目录 9.2.3 敏捷与适应方法9.2.3 敏捷与适应方法 对于需求不断变化、风险大或不确定性高的项目,在项目开始时通常无法明确项目的范围,而需要在项目期间逐渐明确。敏捷或适应型方法特意在项目早期缩短定义和协商范围的时间,为后续细化范围、明确范围争取…

一些关于科技的想法

一、背景 1、自从有了科技,生产力快速发展,可以生产很多以前没有的产品,扩展人的交通、沟通交流、食物生产、物质流通等方面,还能提供超出想象的服务(基因治疗、人造器官、辐射育种、特种材料等等)。 2、有了不断发展的科技&…

mybatisplus 条件是更新者并按时间排序查最新一条

要在MybatisPlus中根据更新者(假设字段名为updater)作为条件,并按时间(假设时间字段名为update_time)排序来查询最新的一条记录,你可以结合LambdaQueryWrapper或QueryWrapper来实现。这里提供一个使用Lambd…

打响G7国家降息第一枪!加拿大央行宣布降息

KlipC报道:6月5日,加拿大央行宣布降息25个基点至4.75%,与市场预期一致。加拿大央行是G7国家中第一个降息的央行。其还表示有持续证据表明核心通胀正在缓解,货币政策不再需要那么限制性。 KlipC分析师表示,在2023年7月&…

打破信息孤岛,U-Mail邮件系统轻松集成各类业务系统

随着国家大力推动企业数字化转型,企业内部数字化建设需要各种业务系统来提高企业生产力,然而,随着在业务数据量逐步增大的情形下,如何更加高效地整合、协同各个系统之间的信息交互,并且更好地融合企业邮件系统&#xf…

【C++ | 类】类和对象

😁博客主页😁:🚀https://blog.csdn.net/wkd_007🚀 🤑博客内容🤑:🍭嵌入式开发、Linux、C语言、C、数据结构、音视频🍭 ⏰发布时间⏰:2024-05-30 本…

存在 ZooKeeper 未授权访问【原理扫描】--通过防火墙策略进行修复

ELK集群存在 ZooKeeper 未授权访问【原理扫描】 10.xx.xx.115; 10.xx.xx.98; 10.xx.xx.110; 10.xx.xx.6; 10.xx.xx.95; 1、启动firewalld服务并设置开机自动启动,下面的命令必须在防火墙开启的状态下才可用,由于firewalld默认不是放行所有端口&#xf…

nn.Sequential 和 nn.ModuleList

在 PyTorch 中,nn.Sequential 和 nn.ModuleList 都是用来容纳多个子模块的容器,但它们的用途和行为有所不同。以下是它们的用法和区别的详细解释,以及样例代码。 nn.Sequential nn.Sequential 是一个顺序容器,模块将按它们在传递…

重学java 57.哈希表结构存储过程

别焦虑,生活无非见招拆招 —— 24.6.3 哈希表存储数据去重复的过程: a.先比较元素的哈希值(重写hashCode),再比较内容(重写equals) b.如果哈希值不一样,证明内容不一样,存 c.如果哈希值一样,再比较内容 如果哈希值一样,内容不一样(哈希碰撞,哈希冲突),存 如果哈希值…