PromptIR论文阅读笔记

在这里插入图片描述

  • MZUAI和IIAI在NIPS2023上的一篇论文,用prompt来编码degradation,然后用来guide restoration network,使得模型能够泛化到不同degradation types and levels,也就是说是一个模型一次训练能够应对多种degradation的unified model。
  • 文章分析,对每种degradation都要train一个模型是compute-intensive and tedious process, and oftentimes impractical for resource-constrained platforms. 同时,为了对一张图片进行restore,需要提前知道degradation以选择对应的模型。因此本文提出这样的框架,对输入图片,用一个PGM来生成degradation prompt,然后在现有restoration网络中插入PIM,利用degradation prompt来实现对多种degradation的差异化处理,实现一个unified网络完成多种restoration任务。
  • 具体如下图所示,主要就是这个PGM和PIM。首先预定义好一些prompt components,他们是可训练的参数,有固定的size,是CHW的。然后在每个块里面,会对prompt components进行bilinear upsampling到本层特征的size大小,然后用w对不同通道分配权重后再过一层3x3卷积然后和本层特征concatenate到一起去处理。w是从本层特征经过GAP,全连接,softmax后得到的。整个网络的backbone用的是restormer:
    在这里插入图片描述
  • 实验部分,做了两类实验,一类是single task的,就是一个task train一个模型,去测。multi-task的,就是在混合的数据集中train一个模型,去多个task上测。可以看到all-in-one的结果确实是sota,虽然在denoising上优势不高,但在其它两个任务上有很大优势:
    在这里插入图片描述
  • 而在single task也达到了各个任务的sota:
    在这里插入图片描述
  • 评价:我有一点强烈的质疑,就是prompt是CHW这个事情,从数学上看就非常不合理。concatenate进去的prompt,如果代表的是degradation信息,为什么在不同的位置有不同的预设值?难道所有的图片的degradation的空间分布都一样吗?假设其中一个通道代表噪声强度,那这个HxW的map的实际意义是什么呢?噪声强度?那这个map的左上角比中间小,难道代表对所有图片来说,左上角的噪声强度都比中间小吗?这个CHW的prompt总之在可解释性上非常存疑。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/847269.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

讲座PPT分享|医学人工智能开始进入黄金时代|24年6月·讲座速递·06-03

小罗碎碎念 这期推文想分享的是自己四月底受邀做的一个报告——主题是“人工智能在肿瘤领域的进展&人工智能在脊柱外科领域中的进展”。 先解释一下,为什么我一个研究肿瘤的,会去关注脊柱外科——因为受到了脊柱外科医生的邀请,去给他们…

PTR记录-系统架构师(五)

1、关于串行总线的说法中,正确的是()。 A串行总线一般都是双全工总线,适宜于长距离传输数据 B串行总线传输的波特率是总线初始化时预先定义好的,使用中不可改变 C串行总线是按位(bit)传输数据…

每日练习——牛客周赛 Round 45

小紫的总分 题目描述 登录—专业IT笔试面试备考平台_牛客网 运行代码 #include<iostream> using namespace std; int main(){int a,b,c,d,e,sum;cin>>a>>b>>c>>d>>e;sumabcde;if(sum>100){ cout<<"YES";}else cout&…

MySQL之查询性能优化(二)

查询性能优化 慢查询基础:优化数据访问 查询性能低下最基本的原因是访问的数据太多。某些查询可能不可避免地需要筛选大量数据&#xff0c;但这并不场景。大部分性能低下的查询都可以通过减少访问的数据量的方式进行优化。对于低效的查询&#xff0c;我们发现通过下面两个步骤…

初识Sass

1、Sass概述 Sass&#xff08;Syntactically Awesome Style Sheets&#xff09;是一种CSS预处理器&#xff0c;用于增强CSS的功能和灵活性。 定义与起源&#xff1a; Sass最初由Hampton Catlin设计&#xff0c;由Natalie Weizenbaum开发。它是对CSS3的一种扩充&#xff0c;允许…

家政预约小程序09小程序分享及海报分享

目录 1 设置弹窗2 制作海报总结 上一篇我们介绍了服务详情页面的开发&#xff0c;本篇介绍一下用户分享及海报分享的功能 1 设置弹窗 当用户点击分享按钮的时候&#xff0c;系统弹出弹窗界面&#xff0c;提供分享好友及分享海报的选项。选中页面组件&#xff0c;添加弹窗组件 …

nodeJs项目总结

文章目录 学习总结mongoose指令操作schema 对象将Shcema对象转化为数据模型操作数据库插入查询删除修改限制查询条数 模板引擎语法模版输出条件判断循环 子模版模版继承 项目Login主要步骤及逻辑身份认证session cookiejwt 学习总结 mongoose 指令 mongodb 数据库名 mongod…

了解 IPv4 和 IPv6 之间的区别?

在广阔的互联网环境中&#xff0c;设备之间的通信依赖于一组独特的协议来促进连接。在这些协议中&#xff0c;IPv4&#xff08;互联网协议第4版&#xff09;和IPv6&#xff08;互联网协议第6版&#xff09;是数字基础设施的支柱&#xff0c;能够跨网络传输数据。但是&#xff0…

基于WIN2016搭建MS2016 ALWAYS ON域控故障转移群集

基于WIN2016搭建MS2016 ALWAYS ON域控故障转移群集 一、前言1、Always On简介2、AD DC域控简介 二、部署实施1、部署环境简介2、搭建流程简介3、域控服务器安装及群集节点加域3.1、安装域控&#xff0c;安装同时会安装DNS系统3.2、执行安装&#xff0c;完成后重启服务器3.3、将…

前端需不需要控制并发请求?浏览器自带并发控制?

不知道为什么&#xff0c;最近大数据给我推荐了几篇前端做控制并发的文章&#xff0c;技术实现是没任何问题&#xff0c;使用到的技术核心也不错&#xff0c;就是应用的地方就有点问题了。 浏览器 HTTP 请求 pending 打开浏览器&#xff0c;network 可以看每个请求的状态&…

如何让 大模型/深度学习 更加聪明(切实有效的8个思考角度)

要让大模型更加聪明&#xff0c;可以采取以下方法&#xff1a; 增加数据量&#xff1a;大模型需要足够的数据来学习和理解复杂的问题。通过增加训练数据的数量&#xff0c;可以帮助模型更全面地学习和推理。 提高模型的复杂度&#xff1a;大模型往往有更多的层和参数&#xff…

「vue同一个组件,不同路由切换时界面没有更新问题」

问题&#xff1a;vue项目中不同路由切换时&#xff0c;因为引用的同一个组件&#xff0c;界面数据没有更新 一、解决方法 添加key&#xff0c;具体原理可参考vue中的diff算法 <router-view :key"$route.fullPath"></router-view>

【代码随想录算法训练营第37期 第二十八天 | LeetCode93.复原IP地址、78.子集、90.子集II】

代码随想录算法训练营第37期 第二十八天 | LeetCode93.复原IP地址、78.子集、90.子集II 一、93.复原IP地址 解题代码C&#xff1a; class Solution { private:vector<string> result;void backtracking(string& s, int startIndex, int pointNum){if(pointNum 3){…

AI大数据处理与分析实战--体育问卷分析

AI大数据处理与分析实战–体育问卷分析 前言&#xff1a;前一段时间接了一个需求&#xff0c;使用AI进行数据分析与处理&#xff0c;遂整理了一下大致过程和大致简要结果&#xff08;更详细就不方便放了&#xff09;。 文章目录 AI大数据处理与分析实战--体育问卷分析一、数据…

【电子通识】什么是电力电子

什么是电力电子 在日常生活中&#xff0c;电能变换的需求无处不在。比如给手机充电&#xff0c;充电器从插座220V交流电取电并转换为手机电池所需的5V或者其他幅度的直流电输送给手机&#xff0c;这就完成了最简单的AC-DC电能转换。除此之外&#xff0c;还有空调、电视、新能源…

【C++】入门(二):引用、内联、auto

书接上回&#xff1a;【C】入门&#xff08;一&#xff09;&#xff1a;命名空间、缺省参数、函数重载 文章目录 六、引用引用的概念引用的使用场景1. 引用做参数作用1&#xff1a;输出型参数作用2&#xff1a;对象比较大&#xff0c;减少拷贝&#xff0c;提高效率 2. 引用作为…

MySQL—约束—外键约束(基础)

一、引言 概念&#xff1a;外键用来让两张表的数据之间建立连接&#xff0c;从而保证数据的一致性和完整性。 举个例子&#xff1a; 提示说明&#xff1a;&#xff08;有两张表&#xff09; &#xff08;1&#xff09;员工表&#xff1a;emp id&#xff1a;主键、姓名、年龄、…

git 提交

当你不小心在master上改了代码&#xff0c;并且add&#xff0c; commit 之后&#xff0c;想push&#xff0c;发现根本push不了&#xff08;本来也不能直接将master代码push到远端&#xff09;&#xff0c;而且每次pull远程master的时候都要和本地的master进行merge &#xff0c…

机器人系统ros2-开发学习实践16-RViz 用户指南

RViz 是 ROS&#xff08;Robot Operating System&#xff09;中的一个强大的 3D 可视化工具&#xff0c;用于可视化机器人模型、传感器数据、路径规划等。以下是RViz用户指南&#xff0c;帮助你了解如何使用RViz来进行机器人开发和调试。 启动可视化工具 ros2 run rviz2 rviz2…

css-Ant-Menu 导航菜单更改为左侧列表行选中

1.Ant-Menu导航菜单 导航菜单是一个网站的灵魂&#xff0c;用户依赖导航在各个页面中进行跳转。一般分为顶部导航和侧边导航&#xff0c;顶部导航提供全局性的类目和功能&#xff0c;侧边导航提供多级结构来收纳和排列网站架构。 2.具体代码 html <!-- 左侧切换 --><…