SeeSR: Towards Semantics-Aware Real-World Image Super-Resolution

  • CVPR2024 香港理工大学&OPPO&bytedance
  • https://github.com/cswry/SeeSR?tab=readme-ov-file#-license
  • https://arxiv.org/pdf/2311.16518#page=5.80
  1. 问题引入
  • 因为有些LR退化情况比较严重,所以超分之后的结果会出现语义的不一致的情况,所以本文训练了degradationaware prompt extractor来提取soft and hard semantic prompts辅助超分模型;
  • 在inference的过程中LR也参与了;
  1. methods
    在这里插入图片描述
  • 分为两个阶段,第一个阶段训练DAPE来从LR中提取对应的语义特征,包含soft(feature和hard(tag两个级别,训练的目标是使HR和LR对应的输出尽可能相似;第二个阶段是使用得到的语义信息来进行超分任务;
  • 对应HR-LR数据对 x , y x,y x,y,其中 y y y是对 x x x进行degradation得到的,之后分别输入到DAPE模型中得到 f x r e p , f x l o g i t s , f y r e p , f y l o g i t s f_x^{rep},f_x^{logits},f_y^{rep},f_y^{logits} fxrep,fxlogits,fyrep,fylogits,DAPE模型是从tag预训练模型初始化而来,最后的损失是 L D A P E = L r ( f y r e f , f x r e p ) + λ L l ( f y l o g i t s , f x l o g i t s ) L_{DAPE}=L_r(f_y^{ref},f_x^{rep}) + \lambda L_l(f_y^{logits},f_x^{logits}) LDAPE=Lr(fyref,fxrep)+λLl(fylogits,fxlogits) L r L_r Lr是MSE损失, L l L_l Ll是cross entropy损失,两部分损失中logits部分损失受到模型thresh值设定的影响,所以使用representation部分进行补充;
  • 超分网络在原始SD模型的基础上新增了representation和image作为条件,分别对应representation cross attention模块和controlnet模块,其中representation cross attention添加到text cross attn模块后面;
  • LR Embedding in Inference:推理的时候往常是随机初始化的噪声,但是本文是对LR添加噪声来进行噪声初始化;
  1. 实验
    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/38544.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

微信小程序实现双向数据绑定

微信小程序实现了类似Vue.js的双向数据绑定机制,允许你在WXML模板中绑定数据源,并在数据变化时自动更新视图。尽管其内部实现与Vue.js不同,但对开发者而言,使用体验是相似的。 如何在微信小程序中实现双向数据绑定: 定…

Android SurfaceFlinger——系统动画服务启动(十四)

在了解了 SurfaceFlinger、HWC、OpenGL ES 和 EGL 等相关概念和基础信息后,我们通过系统动画的调用流程引入更多的内容。 一、解析init.rc 开机就启动进程,肯定就要从 rc 文件开始。负责开机动画的进程是 bootanimation。 1、bootanim.rc 源码位置:/frameworks/base/cmds…

vue中避免多次请求字典接口

vuex缓存所有字典项 背景vuex管理所有字典项调用字典接口处理字典项数据的filter页面中使用字典 背景 每次用到字典都需要通过对应的字典type调用一次字典接口,当一个页面用到字典项很多时,接口请求炒鸡多,会导致接口响应超时。 本篇文章改为…

Python入门 2024/7/1

目录 第一个程序hello world 数据类型 注释 变量 用type类型查看数据类型 ​编辑 数据类型转换 ​编辑 标识符 运算符 字符串的三种定义方式 字符串拼接 ​编辑​编辑 字符串格式化 第一个程序hello world 区分c和python c是printf python是print print("h…

图论·Bellman_ford算法

无负权回路例题 带负权回路例题 Bellman_ford算法 适用条件 单源最短路径存在负权值边检测负权回路 核心操作 松弛&#xff1a;对每条边与源点的距离重新计算 if (dist[item.v1] ! INT_MAX && dist[item.v1] item.w < dist[item.v2]) {dist[item.v2] dist[i…

晶振在硬件系统中的位置选择与优化策略

在现代电子设备中&#xff0c;晶振扮演着至关重要的角色&#xff0c;它们提供稳定且精确的时钟信号&#xff0c;是系统心脏般的存在。然而&#xff0c;晶振的性能不仅取决于其本身的质量&#xff0c;还与它在硬件系统中的位置选择紧密相关。一个恰当的位置能够最大限度地减少外…

基于K线最短路径构造的非流动性因子

下载地址https://download.csdn.net/download/SuiZuoZhuLiu/89492221

软件工程简答

什么是软件工程 软件工程&#xff1a;将系统化的、规范的、可量化的方法应用于软件的开发、运行和维护&#xff0c;即将工程化方法应用于软件。支持软件工程的根基在于质量关注点。 软件工程的基础是过程层&#xff0c;将各个技术层次结合在一起。方法层为构建软件提供技术上的…

springboot调用wsdl接口

springboot调用wsdl接口 maven依赖 <!--xml报文数据--><dependency><groupId>com.fasterxml.jackson.dataformat</groupId><artifactId>jackson-dataformat-xml</artifactId><version>2.9.8</version></dependency><…

nodejs--【Express基本使用】

10 【Express基本使用】 https://www.expressjs.com.cn/ 基于 Node.js 平台&#xff0c;快速、开放、极简的 web 开发框架。 1.Express的安装方式 Express的安装可直接使用npm包管理器上的项目&#xff0c;在安装npm之前可先安装淘宝镜像&#xff1a; npm install -g cnpm -…

Mysql 对重复数据筛选过滤

在日常开发工作中常会遇到要对数据库中的重复数据做筛选的操作需求&#xff0c;可以考虑使用排序函数&#xff08;ROW_NUMBER()&#xff09; 第一种写法&#xff1a;row_number() over(partition by 一个或多个分组列 order by 一个或多个排序列 asc/desc) as 别名 //如果不写a…

PostgreSQL 数据库设计与管理(四)

1. 数据库设计原则 1.1 规范化 规范化是组织数据库结构的一种方法&#xff0c;旨在减少数据冗余并提高数据完整性。常用的规范化范式包括&#xff1a; 第一范式&#xff08;1NF&#xff09;&#xff1a; 确保每列都是原子的&#xff0c;不可再分。第二范式&#xff08;2NF&a…

领先Intel 旗舰60%,AMD锐龙9000系桌面CPU彻底杀疯了

早在月初台北国际电脑展上&#xff0c;Intel 公布了下一代低功耗移动端处理器 Lunar Lake。 也就是第二代移动版酷睿 Ultra。 而作为叫板王&#xff0c;AMD 丝毫不怂&#xff0c;不但掏出了 Ryzen AI 300 移动端处理器应对。 还抢在 Intel 之前带来了全新一代 Zen 5 架构 Ryz…

前端vue项目升级nodejs后无法运行了

问题描述&#xff1a; 运行、打包都正常的vue项目&#xff0c;在将nodejs升级到v20.14.0后&#xff0c;均报错了&#xff1a; Error: error:0308010C:digital envelope routines::unsupported opensslErrorStack: [ error:03000086:digital envelope routines::initializ…

制造业如何拥抱数字化?百数服务商的转型策略与实践

制造业作为实体经济的主体部分&#xff0c;也是核心部分&#xff0c;发挥着基础性、主导性和引领性作用。推动制造业数字化转型是实现经济高质量发展的必由之路。 在这场数字化浪潮中&#xff0c;低代码平台作为一种新兴的技术手段&#xff0c;逐渐受到了企业的青睐。其能够在…

[5]python+selenium - UI自动框架之重写unittest.TestCase

重写unittest.TestCase 不仅继承了unittest的方法&#xff0c;还丰富不同断言方法&#xff0c;用起来更方便、简单。 import unittest from common.BSBase import BasePage from common.log import log from common.browserDriver import getdriver from common.publicFunc imp…

2024.06.30 刷题日记

121. 买卖股票的最佳时机 实例 1&#xff1a; 输入&#xff1a;[7,1,5,3,6,4] 输出&#xff1a;5 解释&#xff1a;在第 2 天&#xff08;股票价格 1&#xff09;的时候买入&#xff0c;在第 5 天&#xff08;股票价格 6&#xff09;的时候卖出&#xff0c;最大利润 6-1 5…

高考假期预习指南:开启你的IT学习之旅

七月来临&#xff0c;各省高考分数已揭榜完成。而高考的完结并不意味着学习的结束&#xff0c;而是新旅程的开始。对于有志于踏入IT领域的高考少年们&#xff0c;这个假期是开启探索IT世界的绝佳时机。作为一名在计算机行业深耕多年的专家&#xff0c;我愿意为准新生们提供一份…

等级保护测评在测评中Linux系统怎么改

在等级保护测评中&#xff0c;针对Linux系统的整改主要是为了提高其安全性&#xff0c;使之符合等级保护的基本要求。 以下是一些常见的整改步骤和建议&#xff1a; 1. 身份鉴别&#xff1a; • 强化密码策略&#xff0c;例如设置复杂的密码规则、密码长度、密码复杂度、密码…

Web基础与HTTP协议:

Web基础与HTTP协议 Web&#xff1a;就是我们所说的页面&#xff0c;打开网站所展示的页面。&#xff08;全球广域网&#xff0c;万维网&#xff09; 分布式图形信息系统。 http https &#xff08;加密的&#xff09;超文本传输协议 分布式&#xff1a;计算机系统或者应用程序…