Image Super-Resolution with Text Prompt Diffusion

Image Super-Resolution with Text Prompt Diffusion (Paper reading)

Zheng Chen, Shanghai Jiao Tong University, arXiv23, Code, Paper

1. 前言

受多模态方法和文本提示图像处理进步的启发,我们将文本提示引入图像SR,以提供退化先验。具体来说,我们首先设计了一个文本图像生成管道,通过文本退化表示和退化模型将文本集成到SR数据集中。文本表示采用基于装箱方法的离散化方式来抽象描述退化。这种表示方法还可以保持语言的灵活性。同时,我们提出了PromptSR来实现文本提示SR。PromptSR采用了扩散模型和预先训练的语言模型(例如T5和CLIP)。我们在生成的文本图像数据集上训练模型。

2. 整体思想

在这里插入图片描述

快速一篇文章!没什么insight。如上图,这篇文章就是SR3+prompt或者说完全等于Stable Diffuison。数据集就是下面这么构建的:

在这里插入图片描述

好像没有别的要说的了。。。。不如看看这两篇文章1)AutoDIR: Automatic All-in-One Image Restoration with Latent Diffusion;2)CONTROLLING VISION-LANGUAGE MODELS FOR MULTI-TASK IMAGE RESTORATION

3. 实验

在这里插入图片描述


在这里插入图片描述


在这里插入图片描述


·消融实验,图4在给出[轻微噪声]这个prompt时,不能有效去除噪声,给出错误的[unchange]这个prompt时,会引入伪影。还做了不同文本编码器的影响,我觉得没必要吧。因为你这个text prompt换成1,2,3,4没准也work?

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/183629.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2023.11.30 homework

兴趣最重要了,没兴趣不喜欢勉强带来的苦楚,并不能促使变好变优秀。 虽然我们的社会环境依旧很残酷,各种各样的硬性要求。

计算机网络(一)| 概述 因特网 性能 协议基本

文章目录 1. 因特网组成1.1 四元素组成1.2 二元素组成1.3 核心部分 2.计算机网路的功能3. 几种不同类别的网络4 性能指标5 网路协议5.1网络体系结构 6 PDU 互联网(或因特网)之所以能够向用户提供服务,是因为互联网具有两个重要基本特点 连通性…

Java多线程

20.1线程介绍 世间有很多工作都是可以同时完成的。例如,人体可以同时进行呼吸、血液循环、思考问题等活动;用户既可以使用计算机听歌,也可以使用它打印文件。同样,计算机完全可以将多种活动同时进行,这种思想放在 Java…

Grafana部署与Zabbix集成,搭建开源IT监控平台

Grafana部署与Zabbix集成 目前在一家公司主要是网络、运维、IT支持,每次需要检查服务器状态都是需要手动登录系统进行查看,因此想着部署一套监控系统,功能上需要实现监控、可视化、告警等。由于预算没有,服务器资源倒是有空闲的&a…

Python高级数据结构——堆(Heap)

Python中的堆(Heap):高级数据结构解析 堆是一种基于树结构的数据结构,具有高效的插入和删除操作。在本文中,我们将深入讲解Python中的堆,包括堆的基本概念、类型、实现方式、应用场景以及使用代码示例演示…

智能工厂是什么?

今天就聊聊企业智能工厂的打造,企业想实现数字化转型建立智能工厂,就需要先建设数字化车间,可以说数字化车间是建设智能工厂的重要一环,智能工厂的基础是数字化车间。数字化车间可以实现企业生产过程中车间计划调度、工艺执行管理…

鸿蒙(HarmonyOS)应用开发——基础组件

组件 组件化是一种将复杂的前端应用程序分解成小的、独立的部分的方法。这些部分被称为组件,它们可以重复使用,可以与其他组件组合使用以创建更复杂的组件,并且它们有自己的生命周期和状态。 组件化的目的是提高开发效率和代码重用率&#…

深入解析 Docker:作用、优势及应用领域

引言 Docker 是一种轻量级、可移植、自给自足的容器化技术,它已经成为现代软件开发和部署的重要工具。本文将深入解析 Docker 的作用、优势以及在不同应用领域的应用。 Docker 的作用 1. 容器化应用程序 Docker 通过将应用程序及其依赖项打包到一个容器中&#…

详细学习Pyqt5中的6种按钮

Pyqt5相关文章: 快速掌握Pyqt5的三种主窗口 快速掌握Pyqt5的2种弹簧 快速掌握Pyqt5的5种布局 快速弄懂Pyqt5的5种项目视图(Item View) 快速弄懂Pyqt5的4种项目部件(Item Widget) 快速掌握Pyqt5的6种按钮 快速掌握Pyqt5的10种容器&…

基于python 医院预约挂号系统-计算机毕业设计源码24802

摘 要 随着互联网时代的到来,同时计算机网络技术高速发展,网络管理运用也变得越来越广泛。因此,建立一个基于django 医院预约挂号系统 ,会使;医院预约挂号系统的管理工作系统化、规范化,也会提高平台形象&a…

基于javaweb的宠物服务商城系统设计与开发

摘 要 最近几年以来,宠物在人们的日常生活中所占的地位越来越重要了,它们不仅仅是我们的朋友,也成为了我们家庭中的一份子。21世纪,信息技术飞速发展,计算机行业日新月异,极大地带动了信息的流动&#xff…

顺丰JAVA开发一面—面试实战经验分析【已通过】

文章目录 面试总结面试开始项目相关基础知识反问环节 顺丰JAVA开发一面面试过程中的问题确实涵盖了很多方面,从项目架构到基础知识再到具体技术细节都有所涉及。 面试官的提问风格也是比较开放的,注重考察面试者的深度理解和解决问题的能力。以下是对每个…

新手村之SQL——函数多表联结

1.将数值四舍五入——ROUND ROUND( X ):返回参数 X 四舍五入后的一个整数。 ROUND(X, D): 返回参数 X 四舍五入且保留 D 位小数后的一个数字。如果 D 为 0,结果将没有小数点或小数部分。 2.判断字段是否为NULL——ISNULL 是否为 NULL 值返回…

c语言:回文字符串

题目: 思路: 创建一个字符数组,然后判断字符串长度,用循环,看对应字符是否相等,相等则输出,不相等则将对应字符ascll较大的改成ascll较小的(题目要求字典最小的情况)。…

手势识别4:C/C++实现手部检测和手势识别(含源码下载)

手势识别4:C/C实现手部检测和手势识别(含源码下载) 目录 手势识别4:C/C实现手部检测和手势识别(含源码下载) 1. 前言 2. 手势识别模型(YOLOv5) (1)手势识别模型训练 (2)将Pyto…

c语言总结(解题方法)

项目前期处理: 1.首先需要确定项目的背景知识,即主要的难点知识,如指针,数组,结构体,以检索自己是否对项目所需的背景知识足够了解。 2.确定问题实现方法,即题目本身的实现方法,在c语…

GoLong的学习之路,进阶,Redis

这个redis和上篇rabbitMQ一样,在之前我用Java从原理上进行了剖析,这里呢,我做项目的时候,也需要用到redis,所以这里也将去从怎么用的角度去写这篇文章。 文章目录 安装redis以及原理redis概念redis的应用场景有很多red…

【开源】基于Vue+SpringBoot的创意工坊双创管理系统

项目编号: S 049 ,文末获取源码。 \color{red}{项目编号:S049,文末获取源码。} 项目编号:S049,文末获取源码。 目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 管理员端2.2 Web 端2.3 移动端 三、…

nodejs 沙盒逃逸

1.[GFCTF 2021]ez_calc 一道很有意思的一道nodejs的题 沙箱逃逸和绕过: F12 看源码 if(req.body.username.toLowerCase() ! admin && req.body.username.toUpperCase() ADMIN && req.body.passwd admin123){ // 登录成功&am…

如何关闭vue项目中的[eslint]校验

要关闭Vue项目中的ESLint校验,可以按照以下步骤进行操作: 打开项目根目录下的.eslintrc.js文件(如果没有该文件,则创建一个新的)。在文件中添加以下代码:module.exports {// 其他配置项...rules: {// 禁用…