- 深圳先进研究院&上海ai lab&港中文
- https://github.com/XPixelGroup/DiffBIR
- https://arxiv.org/pdf/2308.15070
- 问题引入
- 使用一个统一的框架来处理image restoration任务，包含图片超分BSR，图片去噪BID和人脸restoration BFR，分为两个阶段，第一个阶段是degradation removal来去掉与图片无关的退化信息，第二个阶段是generation module for lost information regeneration.
- 使用SD预训练模型，增加额外的controlnet可训练部分；
- 之所以要进行第一阶段，主要是因为以退化之后的图片作为条件进行生成，生成模型无法区分那些是degradation那些是图片本身，导致artifact，图示：
- methods
- 分别为三个子任务使用各自的训练好的degradation removal模型，除此之外还专门训练了一个restoration module使用MSE进行训练，训练好之后专门为stage2使用，用来作为image cond的预处理；
- stage2：图片cond，实现通过controlnet实现
- 实验
