【图像压缩感知】论文阅读:Content-Aware Scalable Deep Compressed Sensing

tips: 本文为个人阅读论文的笔记,仅作为学习记录所用。本文参考另一篇论文阅读笔记

Title: Content-Aware Scalable Deep Compressed Sensing

Journal: TIP 2022
代码链接: https://github.com/Guaishou74851/CASNet
文章地址: https://ieeexplore.ieee.org/document/9854112

问题动机

现有的模型驱动深度学习CS方法计算成本高且可扩展性较弱,而深度卷积神经网络在某些方面也有局限。

解决方法

提出了CASNet框架,包含自适应采样率分配、细粒度可扩展性、高质量重建这三部分。
自适应采样率分配 :利用基于CNN的图像显著性检测器,根据图像内容自适应分配CS比率。
细粒度可扩展 :可学习的生成矩阵促进可扩展和自适应的采样过程。
高质量重建 :对传统PDG算法进行改写,将基于凸优化的方法(GD部分)和基于深度网络的方法(PM部分)结合起来进行图像恢复。

本文贡献

1、提出一种内容感知的可扩展网络,称为CASNet,实现分块CS比例分配,并由单个网络处理任意采样率r∈[0,1]下的图像CS任务。据我们所知,这是第一次将CS比率分配、模型可扩展性和展开恢复集成在一起的工作
2、提出采用轻量级CNN自适应检测图像显著性分布,并设计一种块比例聚合(BRA)策略来实现逐块CS比例分配,而不是像以往基于显著性的方法那样使用手工制作的检测函数
3、为CASNet评估提供了两种促进策略和四阶段实施。实验表明,CASNet基于其不同组件和策略之间固有的强兼容性和相互支持,优于最先进的CS方法

整体架构

在这里插入图片描述

采样子网

在这里插入图片描述

显著性检测

采用CNN作为显著性检测器来评估图像每个位置的显著性,突出不同区域的重要信息

CS比率分配

首先,对原图像进行分块处理。
设计了一种块比例聚合(BRA)策略,具体内容如下:
在这里插入图片描述

逐块采样

将原图像按块展开,每个块根据其自适应的观测矩阵,进行采样。
在这里插入图片描述

初始化子网

直接按块,使用转置矩阵对数据进行初始化。
这一部分就十分简单。

恢复子网

在这里插入图片描述
将传统的PGD算法进行转换,并深度展开:
在这里插入图片描述

块梯度下降

引入辅助变量Z,梯度下降部分还是保留传统的。
在这里插入图片描述

显著性信息引导近端映射

第二阶段使用了一种称为 U-Net 的网络结构,包含了编码器和解码器模块,以及跳跃连接,这有助于改善图像的恢复质量。
显著性特征图是基于图像内容的重要性生成的,这在网络中用于指导重建过程,以便更好地恢复图像的细节。
采样率映射表显示了根据显著性信息为图像的不同区域分配的采样率。
映射表被扩展以适应 U-Net 的输入尺寸要求。
卷积层和残差块用于处理特征图,上采样和下采样操作用于在不同的尺度上捕获特征。
在这里插入图片描述

实验

消融实验

在这里插入图片描述

功能特性、时间、参数数对比

在这里插入图片描述

性能对比

在这里插入图片描述

本文小结

为了全面解决图像CS问题,提出了一种新的内容感知可扩展网络CASNet,该网络试图充分利用传统方法的优点,共同实现自适应CS比例分配、细粒度可扩展性和高质量重建。与以往基于显著性的方法不同,使用数据驱动的显著性检测器和块比聚合(BRA)策略来实现准确的采样率分配。提出了一种统一的可学习生成矩阵,用于生成降低记忆复杂度的采样矩阵。PGD展开恢复子网利用CS比信息和块间关系逐步恢复图像。我们使用基于SVD的初始化方案来加速训练,并使用随机变换增强(RTE)策略来提高网络的鲁棒性。

CASNet的所有参数都可以端到端不加区分地学习,其组件和策略之间具有很强的兼容性和相互支持。此外,考虑了CASNet框架和物理CS系统之间可能存在的差距,并为公平评估和实际部署提供了四个阶段的实施。大量的实验表明,CASNet大大改进了最先进的CS方法的结果,具有高结构效率和深刻的矩阵洞察力。

读者小结

本文还是在追求一种自适应的压缩感知,这是一种更加接近真实环境的情况,追求质量的优化、效率的提升,肯定是值得做的。
但我对其中的一些内容有相当的疑问,在显著性检测部分,需要对真实图像数据(Ground Truth)进行检测,但图像压缩感知本质上追求的还是一个病态的逆成像问题,追求的还是将少量测量的信号恢复成原始数据,因此我的GT数据应该是很难获得的。若没有GT数据,那我又该对谁进行显著性检测呢?
还有,我不确定这个显著性检测的泛化性如何,在训练集上训练完的自适应采样矩阵放到其他数据集中,是否还能达到自适应,若是还需要调整,那是否还是需要GT数据?
既然已有了GT数据,那我又何必还要进行复杂的网络迭代,得到一个结果呢?

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/60846.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

浙大版《C语言程序设计(第4版)》题目集(一)

✨博客主页: https://blog.csdn.net/m0_63815035?typeblog 💗《博客内容》:.NET、Java.测试开发、Python、Android、Go、Node、Android前端小程序等相关领域知识 📢博客专栏: https://blog.csdn.net/m0_63815035/cat…

谷歌AI进军教育,这将改变未来?

近日,谷歌(Google)正式发布了一款名为“Learn About”的全新人工智能工具,这犹如一颗耀眼的新星,在教育领域掀起了一阵波澜。这款产品具有诸多令人瞩目的亮点,为学习者带来了全新的学习体验。 个性化的学习…

Python酷库之旅-第三方库Pandas(218)

目录 一、用法精讲 1021、pandas.DatetimeIndex.inferred_freq属性 1021-1、语法 1021-2、参数 1021-3、功能 1021-4、返回值 1021-5、说明 1021-6、用法 1021-6-1、数据准备 1021-6-2、代码示例 1021-6-3、结果输出 1022、pandas.DatetimeIndex.indexer_at_time方…

MATLAB用到的矩阵基础知识(矩阵的乘和矩阵的逆)

1. 矩阵乘法 方法: 设第一个矩阵为 A A A,第二个矩阵为 B B B,则 A A A的第一行乘 B B B的第一列,先想乘再相加,作为目标矩阵的一个元素。 前提条件: 所以我们可以看到矩阵相乘的前提条件:第一个矩阵的列数等于第二个矩阵的行数。否则,我们就无法进行行和列的相乘。 最…

SpringBoot+MyBatis+MySQL的Point实现范围查找

前言 最近做了一个功能,需要通过用户当前位置点获取指定范围内的数据。由于后端存储用的是 MySQL,故选择使用 MySQL 中的 Point 实现范围查找功能。ORM 框架用的是 MyBatis,MyBatis 原生并不支持 Point 字段与 POJO 的映射,需要自…

共享门店模式:创新零售的新篇章

​在消费升级和数字化转型的双重浪潮下,传统零售业正面临前所未有的挑战与机遇。其中,共享门店模式作为一种创新的商业模式,正逐渐成为实体店铺应对电商冲击、提升运营效率和市场竞争力的重要途径。本文将深入解析共享门店模式的内涵、优势、…

通过JS删除当前域名中的全部COOKIE教程

有时候需要通过JS来控制一下网站的登录状态,就例如:网站登出功能,我们可以直接通过JS将所有COOKIE删除,COOKIE删除之后,网站自然也就退出了。 那么今天我就给大家分享一段JS的函数,通过调用这段函数就可以实现删除COO…

QT开发之版本选择

在选择Qt开发版本时,以下是一些建议: 1. **稳定性和广泛使用**:Qt5系列是目前使用最广泛的版本,其中一些长期支持(LTS)版本因其稳定性和长期维护而受到推荐。 2. **Qt5 LTS版本推荐**:以下是一…

docker desktop运行rabittmq容器,控制台无法访问

docker desktop运行rabittmq容器,控制台无法访问 启动过程:…此处缺略,网上一大堆 原因 原因是在Docker上运行的RabbitMQ,默认情况下是没有启用管理插件和管理页面的 解决办法 使用命令 docker exec -it 容器id /bin/bash 进…

C++中的栈(Stack)和堆(Heap)

在C中,堆(heap)和栈(stack)是两种用于存储数据的内存区域。理解它们的原理和区别,对于优化代码性能和确保代码的安全性至关重要。以下是对C中堆栈的详细解析,包括它们的分配方式、优缺点、应用场…

爬虫开发工具与环境搭建——环境配置

第二章:爬虫开发工具与环境搭建 第二节:环境配置 在进行爬虫开发之前,首先需要配置好开发环境。一个良好的开发环境不仅能提高开发效率,还能避免因环境不一致带来的问题。以下是环境配置的详细步骤,涵盖了Python开发…

wpf的C1FlexGrid可见表格合并计算操作

计算动态加载行后的部分字段的计算求和操作 表格上添加事件触发ItemsSourceChanged属性&#xff0c;触发事件 <c1:C1FlexGrid Name"CfgSaleOrderReviewItem" Style"{StaticResource Green}" ItemsSource"{Binding SaleOrderList,ModeTwoWay}"…

计算机图形学在游戏开发中的应用

&#x1f493; 博客主页&#xff1a;瑕疵的CSDN主页 &#x1f4dd; Gitee主页&#xff1a;瑕疵的gitee主页 ⏩ 文章专栏&#xff1a;《热点资讯》 计算机图形学在游戏开发中的应用 计算机图形学在游戏开发中的应用 计算机图形学在游戏开发中的应用 引言 计算机图形学的基本概念…

计算机视觉和机器人技术中的下一个标记预测与视频扩散相结合

一种新方法可以训练神经网络对损坏的数据进行分类&#xff0c;同时预测下一步操作。 它可以为机器人制定灵活的计划&#xff0c;生成高质量的视频&#xff0c;并帮助人工智能代理导航数字环境。 Diffusion Forcing 方法可以对嘈杂的数据进行分类&#xff0c;并可靠地预测任务的…

大学语文教材电子版(第十一版)教学用书PDF及课件

大学语文课件&#xff1a;https://caiyun.139.com/m/i?005CiDusEVWnR 《大学语文》&#xff08;第十一版&#xff09;主编&#xff1a;徐中玉 齐森华 谭帆。 大学语文教材电子版教师用书PDF第一课《齐桓晋文之事》艺术赏析&#xff1a; 孟子四处游说&#xff0c;养成善辩的…

鸿蒙核心技术理念

文章目录 1)一次开发,多端部署2)可分可合,自由流转3)统一生态,原生智能1)一次开发,多端部署 “一次开发,多端部署”指的是一个工程,一次开发上架,多端按需部署。目的是支撑开发者高效地开发多种终端设备上的应用 2)可分可合,自由流转 元服务是鸿蒙系统提供的一…

数学分组求偶数和

问题描述 小M面对一组从 1 到 9 的数字&#xff0c;这些数字被分成多个小组&#xff0c;并从每个小组中选择一个数字组成一个新的数。目标是使得这个新数的各位数字之和为偶数。任务是计算出有多少种不同的分组和选择方法可以达到这一目标。 numbers: 一个由多个整数字符串组…

PCHMI串口接收实验

插入的唯一一行代码 config1.START((Control)this, System.Reflection.Assembly.GetExecutingAssembly().GetTypes(), null);

华为Ensp模拟器配置RIP路由协议

目录 RIP路由详解&#xff1a;另一种视角解读 1. RIP简介&#xff1a;轻松理解基础概念 2. RIP的核心机制&#xff1a;距离向量的魅力 3. RIP的实用与局限 RIP配置实验 实验图 ​编辑 PC的ip配置 RIP配置步骤 测试 结语&#xff1a;RIP的今天与明天 RIP路由详解&…

IDEA 开发工具常用快捷键有哪些?

‌在IDEA中&#xff0c;输出System.out.println()的快捷键是sout&#xff0c;输入后按回车&#xff08;或Tab键&#xff09;即可自动补全为System.out.println()‌‌。 此外&#xff0c;IDEA中还有一些其他常用的快捷键&#xff1a; 创建main方法的快捷键是psvm&#xff0c;代…