- neurips23 上交Ð&字节&清华&上海ai lab&悉尼大学&西湖大学
- https://github.com/zhengchen1999/HI-Diff
问题引入
- 现在的diffusion的方法在sample的时候需要的iteration过多，所以本文提出在高度压缩的空间进行DM，且deblur模型主体是regression base的模型，DM只是生成prior feature，prior feature integrate到regression model的方式是Hierarchical的；
methods
- stage1：首先将GT和LQ进行concat之后送到LE模块得到prior feature z ∈ R N × C ′ z\in\mathbb{R}^{N\times C'} z∈RN×C′，之后在transformer部分进行integrate，通过HIM模块进行cross attention，输入的feature map首先reshape到 X r ∈ R H ^ W ^ × C ^ X_r\in\mathbb{R}^{\widehat{H}\widehat{W}\times \widehat{C}} Xr∈RH W ×C ，之后经过linear层得到 Q Q Q，类似的还将 z z z经过线性层得到 K , V K,V K,V，之后计算cross attention S o f t M a x ( Q K T / C ^ ) ⋅ V SoftMax(QK^T/\sqrt{\widehat{C}})\cdot V SoftMax(QKT/C )⋅V，最后的损失是去模糊之后的图片和GT的L1损失；
- stage2：DM生成prior feature，流程还是和DiffIR这篇文章的stage2一样；
