SAM遥感图像处理开源新SOTA!在GPU上实现40倍加速,不损准确性

在遥感图像处理领域,通过SAM捕捉复杂图像特征和细微差异,可以实现高精度的图像分割,提升遥感数据的处理效率。这种高度的准确性让SAM+遥感展现出了比传统方法更优越的性能。

不仅如此,这种策略灵活普适的特性还能拓展遥感技术的应用领域,因此具有很大的创新潜力。对论文er来说,是个发论文的前沿好方向。最近发布于CVPRW24的SAM-Road模型证明了这点。

SAM-Road 模型发挥了SAM模型的能力,结合了语义分割和图神经网络,在城市数据集上的处理速度比现有最先进的方法快 40 倍。

除SAM-Road外,还有一些很值得学习的SAM+遥感最新成果,我从中挑选了9篇,简单提炼了可参考的创新点,希望可以给同学们提供论文灵感。

论文原文以及开源代码需要的同学看文末

Segment Anything Model for Road Network Graph Extraction

方法:研究提出了SAM-Road模型,该模型结合了分割和图形方法的优势,能够高效准确地生成大规模道路网络图,并在城市规模和SpaceNet基准测试中取得了与现有方法相当的准确性。SAM-Road模型不仅具有较高的准确性,而且在GPU推理速度上也比现有方法快得多,具有很高的实际应用价值和研究意义。

创新点:

  • 提出了SAM-Road模型,将Segment Anything Model (SAM) 应用于从卫星图像中提取大规模、矢量化的道路网络图。

  • 将图形几何预测任务转化为密集语义分割任务,利用SAM的优势进行预测。

  • 设计了基于Transformer的轻量级图神经网络,利用SAM的图像嵌入来估计顶点之间的边存在概率。

SAM-Assisted Remote Sensing Imagery Semantic Segmentation with Object and Boundary Constraints

方法:本文介绍了一种用于遥感图像语义分割的简单而灵活的框架,通过充分利用SAM的原始输出与通用遥感图像语义分割模型相结合。该框架通过利用两个损失函数——对象一致性损失和边界保护损失,以及SAM的原始输出,实现了不同网络结构的基本语义分割任务的改进。

创新点:

  • 提出了一种简单而通用的框架,旨在充分利用SAM的原始输出与通用的遥感图像语义分割模型相结合。该框架通过利用两个损失函数(对象一致性损失和边界保持损失)的辅助优化策略,改进了基本的语义分割任务,并且不需要额外的模块。

  • 引入了对象一致性损失,该损失函数可以直接利用SGO的信息,而无需语义信息,以达到精确语义分割结果的目的。这是首次将对象和边界约束引入语义分割任务中,直接利用SAM的原始输出而无需额外的类别提示。

RSPrompter: Learning to Prompt for Remote Sensing Instance Segmentation based on Visual Foundation Model

方法:本研究提出了RSPrompter方法,通过学习生成与语义类别相关的提示,使SAM能够在遥感图像中产生语义明确的分割结果。RSPrompter方法包括一个轻量级的多尺度特征增强器和一个基于锚点的提示生成器。多尺度特征增强器从SAM的ViT骨干网络提取特征,并生成多尺度的特征图。基于锚点的提示生成器利用锚点区域建议网络(RPN)生成候选目标框,并通过语义头、定位头和提示头生成适用于SAM的提示嵌入。

创新点:

  • RSPrompter是一种学习提示的方法,用于远程感知图像的实例分割。

  • RSPrompter结合了SAM模型,通过生成语义相关的提示嵌入来增强SAM模型的实例分割能力。

  • RSPrompter分为基于锚点和基于查询的两种实现方式,它们都能有效地提高实例分割的性能。

GeoSAM: Fine-tuning SAM with Sparse and Dense Visual Prompting for Automated Segmentation of Mobility Infrastructure

方法:本文介绍了一种针对地理图像的自动化移动基础设施分割方法GeoSAM。该方法采用SAM模型作为基础模型,并通过精细调整和提示来对SAM进行改进,以适用于地理图像的分割任务。研究通过自动生成稀疏和密集提示的自动化流程,提高了SAM在移动基础设施分割任务上的准确性和效率。

创新点:

  • 首次将基础模型SAM应用于移动基础设施细分,解决了使用地理图像进行多类别细分的问题,无需人工干预,克服了零样本SAM的局限性。

  • 开发了SAM在地理图像中的微调和提示,通过利用稀疏和密集提示从领域特定知识中增强SAM的能力。

  • 设计和实施了一个新颖的自动化流程,用于从零样本学习生成密集提示和从预训练的CNN编码器生成稀疏提示,以提高SAM在性能低下的移动基础设施细分任务上的效果和效率。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“SAM遥感”获取全部论文+代码

码字不易,欢迎大家点赞评论收藏

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/17649.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

4款让人骄傲的国产软件,功能过于强大,却被误认为是外国佬研发

说到国产软件,许多人可能会有“流氓软件、弹屏广告多、隐藏消费套路”等负面印象。 这种偏见导致一些功能强大、用户友好的国产软件被误认为是外国人开发的。 1、格式工厂 格式工厂是一个很实用的国产格式转换工具,它完全免费且没有广告,不…

实现echarts多图联动效果

实现echarts多图联动效果 文章目录 实现echarts多图联动效果业务场景实现关键api代码示例(vue) 业务场景 提示:主要是记录一下多个echarts联动效果实现方案 这本来就是echarts本身自带的api,并没有多高级,奈何寻找的过…

使用DockerFile 编写 指令来构建镜像

文章目录 前言使用DockerFile 编写 指令来构建镜像1. 构建2. 验证 前言 如果您觉得有用的话,记得给博主点个赞,评论,收藏一键三连啊,写作不易啊^ _ ^。   而且听说点赞的人每天的运气都不会太差,实在白嫖的话&#x…

Git转移命令cherry-pick的使用

天行健,君子以自强不息;地势坤,君子以厚德载物。 每个人都有惰性,但不断学习是好好生活的根本,共勉! 文章均为学习整理笔记,分享记录为主,如有错误请指正,共同学习进步。…

混合A*算法详解(二)路径平滑

描述 上一篇文章混合A*算法详解(一)路径搜索 路径损失函数使用Voroni势能图 根据之前的文章分析,决定A*路径长度的有两点:路径长度和距离障碍物远近。Voroni图用于权衡这两者。之前我在记录二维点云的阿尔法形状算法时简单介绍过…

grafana大盘展示node_expod节点

node_expod添加lables标签 Prometheus查询 语句查询 node_exporter_build_infografna添加变量查询 正常有值 切换其他的是有值的 我的报错原因 因为有多个数据源,我选择错了,因为修改的lable标签是其他数据源,所以获取不到 查询语句 我的变量是 $app node_filesyste…

【zustand】快速使用

基本使用 const useStore create((set) > {return {// 状态数据count: 0,// 修改状态数据的方法inc: () > {set((state) > ({count: state.count 1})) // 最后这个 () 的意思是返回了一个对象,基于原数据进行计算得到// set({count: 100}) // 不需要使…

JavaScript的当前时间设置及Date的运算

作者:私语茶馆 1.场景描述 如下图,在HTML刚加载时,需要将开始时间设置为默认当前时间,结束时间设置为当前时间后7天的时间。手工填写时间时,时间段不超过30天。 这里涉及到两个技术点: 1)Input Date的当前时间设置 2)date的运算 由于是动态修改HTML,所以采用…

AI预测福彩3D采取888=3策略+和值012路一缩定乾坤测试5月28日预测第4弹

昨天的第二套方案已命中,第一套方案由于杀了对子,导致最终出错。 今天继续基于8883的大底,使用尽可能少的条件进行缩号,同时,同样准备两套方案,一套是我自己的条件进行缩号,另外一套是8883的大底…

freemarker ftl模板 格式、列表、图片

文章目录 前言一、freemarker实现内容替换二、ftl 模板1.word另存ftl2.编辑ftl文件2.1 了解一下常用的标记及其说明2.2 list处理2.3 红线2.4 图片 总结 前言 固定内容word生成:freemarker ftl模板 动态表格生成:https://blog.csdn.net/mr_wanter/articl…

Python爬虫入门到进阶:解锁网络数据的钥匙

Python爬虫入门到进阶:解锁网络数据的钥匙 一、Python爬虫基础1.1 爬虫基本概念1.2 Python爬虫必备库1.3 第一个爬虫示例 二、实战爬虫实例2.1 爬取天气数据2.2 高级技巧:异步爬虫 三、反爬机制与应对策略3.1 常见反爬机制3.2 应对策略 四、性能优化与安…

【经验分享】可视化的项目管理,轻松解决资源冲突和协作困难

在数字化时代,高效协同逐步成为提升组织效能的重要着力点,同时也是企业保持竞争力、实现持续发展的关键要素。一方面可以打破部门壁垒,促进信息流通,从而提升整体工作效率;另一方面还能帮助企业优化资源配置和管理流程…

keithely 2401 低压源表

Keithley 2401 低压源表提供精密电压和电流源以及测量功能(1V - 20V 和 10pA - 1A)。它既是高度稳定的直流电源,也是真正的仪器级 5 位万用表。电源特性包括低噪声、精度和回读。万用表功能包括高重复性和低噪声。结果是紧凑型单通道直流参数…

JavaSE:String类常用方法(巨详细)

1、引言 在学习C语言时,我们就已经了解了字符串,但是在C语言中字符串只能用字符数组或者指针来表示,没有特定的字符串类型,而在Java中,我们有了字符串这一特定的类型---String类。 2、String类的常用方法 2.1 字符串…

ECU与外部通讯的场景

车辆ECU(电子控制单元)与车辆、路侧单元(RSU)、移动终端等进行直连通信时,确保通信的安全性是非常重要的。证书有效性和合法性的验证是确保通信双方身份真实性和数据传输安全的关键措施。以下是一些应进行证书验证的场…

第98天:权限提升-WIN 全平台MSF 自动化CS 插件化EXP 筛选溢出漏洞

目录 思维导图 前置知识 案例一: Web&Win2008-人工手动&全自动msf-筛选&下载&利用 手动 全自动msf 案例二: Web&Win2019-CS 半自动-反弹&插件&利用 思维导图 前置知识 提权方式,这里讲的是溢出漏洞 windows权限 常…

Java处理CSV文件示例

Java处理CSV文件示例 1. 导入依赖 <dependency><groupId>org.apache.commons</groupId><artifactId>commons-csv</artifactId><version>1.10.0</version></dependency>文件示例 下面是示例文件文件数据 vscode和idea都有解析…

使用python进行网络图绘制

网络图绘制 关系网络 结合下面的关系表格,替换预留的“学号”和“专业”字段为他们各自的学号和专业名称。替换和增加自己的兴趣节点以体现个性化信息。确保关系在网络图中能正确显示。节点表格节点ID名称类型备注1数学系基础节点2计算机科学系基础节点3数据科学组基础节点学…

多线程基础知识

什么是死锁&#xff1f;如何避免死锁&#xff1f; 死锁是指在多线程编程中&#xff0c;两个或多个线程互相等待对方持有的资源&#xff0c;导致程序无法继续执行的状态。 死锁的发生通常需要满足以下四个条件&#xff1a; 互斥条件&#xff1a;至少有一个资源被某个线程独占时&…

智慧林业云巡平台 客户端和移动端(支持语音和视频)自动定位巡护,后端离线路线监测

目前现状 无法客观、方便地掌握护林员的到位情况&#xff0c;因而无法有效地保证巡护人员按计划要求&#xff0c;按时按周期对所负责的林区开展巡护&#xff0c;使巡护工作的质量得不到保证。遇到火情、乱砍滥伐等灾情时无法及时上报处理&#xff0c;现场状况、位置等信息描述…