Pre-trained Diffusion Models for Plug-and-Play Medical Image Enhancement

摘要

本文通过基于扩散模型的框架解决了深度学习医学图像增强方法的局限性。这一框架减少了对配对数据的需求，并且可以通过一个预训练的扩散模型同时处理多个增强任务而无需微调。实验结果表明，本文的方法对图像去噪和超分辨率具有通用性和鲁棒性，为可扩展和通用的图像增强提供了实用的解决方案。
代码地址

本文方法

图1.（a）常见的配对图像依赖范式和（b）用于医学图像增强的即插即用范式的比较。前者需要基于配对的低/高质量图像构建定制模型，而后者可以使用一个预训练的扩散模型处理所有任务，只需要高质量图像作为训练数据。预训练模型可以处理实验中展示的未见过的图像。这里的a和b做左和右

Image Enhancement with Denoising Algorithm

一般来说，图像增强任务可以通过以下方式制定：

其中 y 是退化图像，H 是退化矩阵，x 是未知的原始图像，n 是独立的随机噪声。该模型可以表示各种图像恢复任务。例如，在图像去噪任务中，H是单位矩阵，在图像超分辨率任务中，H是下采样算子。主要目标是通过解决最小化问题来恢复 x：

其中，第一个数据保真度项保持数据一致性，第二个数据正则化项 R（x） 对解决方案施加先验知识约束。该问题可以通过迭代去噪和反向投影（IDBP）算法来解决，该算法优化了修正后的等效问题

估计 x∗ 本质上是一个去噪问题，可以由去噪算子求解，yˆ∗ 有一个近式解：

Pre-Trained Diffusion Models for Plug-and-play Medical Image Enhancement

我们通过利用扩散模型和IDBP算法的优势引入了一个即插即用的框架。在这里，我们强调两个好处：（1）它消除了对配对图像的需求;（2）它可以简单地将单个预训练的扩散模型应用于多个医学图像增强任务。

实验结果