RDDM论文阅读笔记

在这里插入图片描述

  • CVPR2024的残差去噪模型。把diffusion 模型的加噪过程分解为残差diffusion和noise diffusion,其中残差diffusion模拟从target image到degraded image的过程,而noise diffusion则是原来的diffusion过程,即从图片到高斯噪声的加噪过程。前者可以看作是对应restoration,后者对应generation。通过这一设计,仅用一个Unet,bs为1,用L1 Loss即可train一个sota的restoration模型。

  • 现有的diffusion image restoration模型通常是把LQ作为diffusion的condition,而diffusion仍然是从噪声开始的,作者认为这是没有必要的,可以直接从LQ开始而没必要从噪声开始。

  • 把DDPM中diffusion的终点 I T = ϵ I_T=\epsilon IT=ϵ 改成 I T = ϵ + I i n I_T=\epsilon+I_{in} IT=ϵ+Iin,把forward的过程中加的0均值高斯噪声改成以scale后的残差为均值的高斯噪声,残差即input image - target image,具体如下:
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 通过调整beta 和 alpha的大小,可以控制generation的力度和restoration的力度。

  • 那么reverse的过程,用一个 I r e s θ ( I t , t , I i n ) I^\theta_{res}(I_t, t, I_{in}) Iresθ(It,t,Iin) 网络和一个 I ϵ θ ( I t , t , I i n ) I^\theta_{\epsilon}(I_t, t, I_{in}) Iϵθ(It,t,Iin) 网络分别预测残差 I r e s θ I^\theta_{res} Iresθ和噪声 ϵ θ \epsilon^\theta ϵθ,可以从上面的公式7推出对 I 0 I_0 I0的预测:
    在这里插入图片描述
    则reverse的过程是:
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 最终推导出的损失函数倒是很简单,采样 ϵ \epsilon ϵ t t t计算 I t I_t It,再送进网络对预测的残差和噪声算L2损失即可:
    在这里插入图片描述

  • 方法差不多就到这里,接下来的内容基本是对一些超参数作用的探究,包括这里的两个lambda,以及alpha 和 beta的设定上。lambda没什么好说其实,就是消融证明了其中一个lambda为0都不能顾全fid和psnr,只有两个都不为零才能有好结果,并且可以设计一个自动算法来设定这些值。其中一个为0时表示对应的网络不生效,也就是说,当 λ ϵ \lambda_\epsilon λϵ为0时,reverse过程不用网络来预测 ϵ \epsilon ϵ,直接用下面的公式推就行,反之亦然:
    在这里插入图片描述

  • alpha 和 beta的设定,即可以按DDIM的alpha来计算(意思是,如果是用下面这个表达式,并且残差为0,那么本模型其实和DDIM是等价的),也可以另外设计schedules:
    在这里插入图片描述

在这里插入图片描述

  • 实验证明,随着t降低alpha增加beta是最好的,解释是这样的,当t很大的时候,图像噪声严重,因此beta应该大一点,去噪嘛,而alpha应该小一点,因为对residual估计不准确,当t比较小的时候,噪声已经去得差不多了,beta就应该小一点,alpha则可以估计得准确了,应该大一点,加快restoration的速度。
  • 文章同时还涉及了一个Partially Path-independent Generation Process。这个的意思是这样的,原先DDPM和DDIM,如果在某个alpha的schedule上train,就固定只能用这个schedule测试,如果用其它的schedule就会失败。但是文章想要改变generation process使得schedule可以改。怎么改,首先把DDIM的schedule改成上面的等价的等式17,也就是加了个beta进来。此时和DDIM还是等价的。然后把alpha的schedule从原先的linear改成P曲线,如下所示
    在这里插入图片描述
    在这里插入图片描述
  • 这样改之后,alpha和beta分别表示denoise的强度和restoration的强度,还需要再改一步,就是把alpha和beta作为网络的输入,这样网络才能根据输入的alpha和beta,自适应地进行denoise和restoration,如下:
    在这里插入图片描述
  • 文章其实还提了一点,说是用两个网络分别来预测残差和噪声,但我想这不是必然的吗,一般不会想用同一个网络来预测两个东西吧。。。反正这样改了之后网络就可以使用不同的schedule了,不过我也不知道这样有什么用,为什么不老实使用训练时候的schedule呢。。
  • 文章还做了其它的探究实验,比如先remove residual再remove noise,会导致前面remove residual不准确从而图像语义发生变化,先remove noise再remove residual导致过渡平滑失去细节,有点平均预测的现象,体现在人脸任务上对不同的人脸都预测了平均脸。

实验结果

  • 文章声称仅用一个UNet,并且没有过度调参就达到了SOTA:
    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/14542.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

rocketmq 学习一

官方文档:RocketMQ 官方网站 | RocketMQ 一 介绍 RocketMQ 诞生于 2012 年,诞生即开源。2012~2015 年,RocketMQ 一直在通过内部电商业务打磨自身服务能力,并在 2015 年于阿里云上线公测。2016 年,阿里云 RocketMQ 完…

如何让社区版IDEA变得好用

如何让社区版IDEA变得好用 背景 收费版的idea功能非常强大,但是费用高。社区版的免费,但是功能被阉割了。如何才能让社区版Idea变得好用,就需要各种插件支持了。经过全局配置编码,maven,jdk版本,在加上各…

《扑克牌游戏》

描述 有一个扑克牌游戏,游戏规则是不断地摸牌,尽可能地使手上的牌的点数接近于10,最完美的情况是总点数为10,不可以超过10,否则就爆了。输入10张牌的点数,(每张点数不超过10),请你输出用户应该抓…

架构二。。

1、CAP 只能3选2 1)一致性(Consistency) 客户每次读都是返回最新的写操作结果 2)可用性(Availability) 非故障节点在合理的时间内返回合理的响应 3)分区容忍性(Partition Tolerance…

Ribbon负载均衡(自己总结的)

文章目录 Ribbon负载均衡负载均衡解决的问题不要把Ribbon负载均衡和Eureka-Server服务器集群搞混了Ribbon负载均衡代码怎么写ribbon负载均衡依赖是怎么引入的? Ribbon负载均衡 负载均衡解决的问题 首先Ribbon负载均衡配合Eureka注册中心一块使用。 在SpringCloud…

lua函数执行和虚拟机指令

Stack based vs Register based VM 可直接参考 Stack based vs Register based VM lua函数调用 先看一下lua函数的结构: /* ** Function Prototypes */ typedef struct Proto {CommonHeader;TValue *k; /* constants used by the function */Instruction *code;…

计算机网络之应用层知识点总结

6.1 网络应用模型 (1)应用层概述 (2)网络应用模型的介绍 客户/服务器(C/S)模型 P2P模型 6.2 域名解析系统DNS (1)DNS系统介绍 (2)域名 (3&#…

面试字节大模型算法实习岗,感觉有点崩溃。。。

节前,我们组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。 针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。 总结链接…

学习平台|基于Springboot+vue的学习平台系统的设计与实现(源码+数据库+文档)

学习平台系统 目录 基于Springboot+vue的学习平台系统的设计与实现 一、前言 二、系统设计 三、系统功能设计 1系统功能模块 2管理员功能模块 3学生功能模块 4教师功能模块 四、数据库设计 五、核心代码 六、论文参考 七、最新计算机毕设选题推荐 八…

不小心丢失mfc140u.dll文件怎么办?mfc140u.dll丢失的解决办法

当您发现mfc140u.dll文件不见了或者受损,别担心,我们可以一起解决这个问题!首先,您可能会注意到一个小提示,当您尝试打开某些程序时,屏幕上会跳出一个消息说“找不到mfc140u.dll”或者“mfc140u.dll文件缺失…

解决docker中container运行闪退终止的问题

在运行bindmount-test时,点击完运行按钮后闪退结束运行。 第一步查看log日志: 2024-05-18 23:46:18 Error: Cannot find module /app/nodemon 2024-05-18 23:46:18 at Function.Module._resolveFilename (internal/modules/cjs/loader.js:668:15) …

2024-5-24 石群电路-15

2024-5-24,星期五,22:15,天气:晴,心情:晴。今天最后一天上班,终于要放返校假啦,开心!!!!!!不过放假也不能耽误…

rust_使用条件变量和使用通道有什么区别_各有什么优缺点

使用条件变量(Condvar)和使用通道(mpsc::channel)在 Rust 中都有各自的用途和特点,选择哪种方式取决于具体的应用场景和需求。以下是两者的主要区别和各自的优缺点: 使用通道 (mpsc::channel) 优点 简单…

【HarmonyOS4学习笔记】《HarmonyOS4+NEXT星河版入门到企业级实战教程》课程学习笔记(八)

课程地址: 黑马程序员HarmonyOS4NEXT星河版入门到企业级实战教程,一套精通鸿蒙应用开发 (本篇笔记对应课程第 15 节) P15《14.ArkUI组件-状态管理state装饰器》 回到最初的 Hello World 案例,首先验证 如果删掉 State…

Pycharm导入所有安装包到requirements.txt文件中

Pycharm导入所有安装包到requirements.txt文件中 在pycharm的终端命令行输入下边的命令,但是必须确保位于项目的根目录下 pip freeze > requirements.txt

物理服务器介绍

物理服务器介绍 概述分类按服务器应用分类按服务器结构分类塔式服务器机架式服务器刀片式服务器机架式服务器与刀片式服务器的对比按处理器个数分类按处理器架构分类 主板概述工作原理物理结构技术参数 CPU概述工作原理指令集相关技术技术参数主流产品 内存概述类型相关技术技术…

C语言-atoi()库函数的模拟实现

文章目录 前言一、atoi()库函数的介绍及使用1.1 atoi()库函数介绍1.2 atoi()库函数使用 二、atoi()库函数的模拟实现2.1 函数设计2.2 函数实现思路2.3 具体实现2.4 测试 总结 前言 本篇文章介绍c语言中库函数atoi()的使用,以及模拟实现库函数。 一、atoi()库函数的…

Threes 特效 炫酷传送门HTML5动画特效

基于Three.js的HTML5 3D动画,这个动画模拟了游戏中的一个炫酷的3D场景,支持360度视角查看,也支持鼠标滚轮进行缩放。画面中主要展现了一个游戏中传送门的效果,同时还有路两边的围栏、灯笼、石头,以及星光闪闪的萤火虫&…

Python机器人动力学和细胞酶常微分方程

📜常微分方程-用例 📜Python物理量和化学量数值计算 | 📜Julia和Python蛛网图轨道图庞加莱截面曲面确定性非线性系统 | 📜Python和C数学物理计算分形热力学静电学和波动方程 | 📜C计算资本市场收益及成本分配数学方程…

note-网络是怎样连接的3 集线器、交换机和路由器

助记提要 双绞线抑制噪声的原理集线器的工作交换机的工作过程交换机维护MAC地址表的方式交换机特殊情况下的操作 3种全双工模式的特点自动协商的原理路由器组成路由表内容路由器工作过程路由器和交换机的区别地址转换的基本原理 3章 从网线到网络设备 探索集线器、交换机和路…