11. Dual Diffusion Implicit Bridges for Image-to-Image Translation

  该文提出一种双扩散隐式桥（Dual Diffusion Implicit Bridges， DDIBs）方法用于图像转换，其最大的特点在于处理源域图像的模型和处理目标域图像的模型是彼此分开独立的。使用源域图像训练一个扩散模型$v_{\theta }^{(s)}$，然后使用目标域图像训练另外一个模型$v_{\theta }^{(t)}$，给定一个源域图像$x^{(s)}$，首先利用$v_{\theta }^{(s)}$将其转化为潜在特征$x^{(l)}$，然后再经过$v_{\theta }^{(t)}$将其转化为目标域图像$x^{(t)}$。这带来一个好处，训练过程中不需要同时使用源域和目标域图像对模型进行训练，这在一些对数据私密性要求较高的领域是十分必要的。此外，源域和目标域模型是可以相互转换的，即源域扩散模型，反过来也可以当作目标域的生成模型使用，这就能够实现从目标域向源域的转换。而且一个训练好的扩散模型可以跟任意的目标域生成模型结合，这就使得许多图像转换任务所需模型的数量是随着域的数量线性增长，而不是原本的二次方增长。还有一个重大优势，就是这个方法采用了DDIM模型中的常微分方程ODE建模方式，这就在理论上保证了转化过程具有非常好的循环一致性，即由源域图像$x^{(s)}$，生成的目标域图像$x^{(t)}$，再经过反向生成得到的伪源域图像$x^{\prime (s)}$与初始的源域图像$x^{(s)}$之间仅存在一个微小的ODE求解过程中的离散化误差。最后，就是这个方法其实对于扩散模型和生成模型$v_{\theta }$是没有什么限制的，我们可以使用各种最新的模型来进行扩散和生成。

  作者首先对基于分数的生成模型（SGMs）进行了回顾，提到其中的两个重要代表作SMLD（NCSN）和DDPM算法都是可以用随机微分方程SDEs来描述的，其扩散和生成过程如下$$\mathrm{d}\mathbf{x}=\mathbf{f}(\mathbf{x},t)\mathrm{d}t+g(t)\mathrm{d}\mathbf{w},\mathrm{d}\mathbf{x}=\left[\mathbf{f}-g^2{\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})\right]\mathrm{d}t+g(t)\mathrm{d}\mathbf{w}\text{\hspace{1em}(1)}$$同时，也提到任何的扩散过程都可以通过确定性的常微分方程来表示，称之为概率流常微分方程（PF ODEs），其扩散过程表示如下$$\mathrm{d}\mathbf{x}=\left[\mathbf{f}(\mathbf{x},t)-\frac{1}{2}g(t{)}^2{\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})\right]\mathrm{d}t\text{\hspace{1em}(2)}$$如果我们用$v_{\theta }=\mathrm{d}\mathbf{x}/\mathrm{d}t$来表示参数为$\theta$的一个速度场（velocity field），也就是公式(2)中方括号里的内容，则使用ODE求解由$x(t_0)$到$x(t_1)$的映射关系过程表示如下$$\mathrm{ODESolve}\left(\mathbf{x}\left(t_0\right);v_{\theta },t_0,t_1\right)=\mathbf{x}\left(t_0\right)+{\int }_{t_0}^{t_1}{v}_{\theta }(t,\mathbf{x}(t))\mathrm{d}t\text{\hspace{1em}(3)}$$当$t_0=0,t_1=1$时就表示扩散过程，而当$t_0=1,t_1=0$时就表示生成过程，DDIBs的扩散和生成流程如下图所示，其中求解器ODESolve本文使用的是DDIM，当然其他的求解器也是可以的。此外$v_{\theta }$中的未知量${\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})$通常用一个噪声估计网络或者叫做分数估计网络$s_{\theta }$来进行估计，$s_{\theta }$可采用带有注意力机制的UNet模型或者条件UNet模型。

  其实讲到这里，DDIBs方法的过程和特点就已经介绍完了，下面作者又分析了其背后的理论依据，作者是从薛定谔桥问题（Schrodinger Bridges Problem，SBP）的角度来描述DDIBs的理论基础的。假设$\Omega =C\left([0,1];{\mathbb{R}}^n\right)$是在时间[0,1]范围内$n$维实值连续函数的路径空间，$\mathcal{D}\left(p_0,p_1\right)$是空间$\Omega$上所有的分布集合，其在时刻$t=0,t=1$上的边缘分布分别为$p_0,p_1$。给定一个先验的参考度量$W$，则SBP就是要寻找在$p_0$和$p_1$之间随时间$t$变化的概率最大的进化路径，也就是说从$\mathcal{D}\left(p_0,p_1\right)$寻找一个分布使得其与参考度量$W$之间的KL散度最小，即下式所示 P S B P : = arg ⁡ min ⁡ { D K L ( P ∥ W ) ∣ P ∈ D ( p 0 , p 1 ) } (4) P_{S B P}:=\arg \min \left\{D_{K L}(P \| W) \mid P \in \mathcal{D}\left(p_{0}, p_{1}\right)\right\}\tag{4} PSBP​:=argmin{DKL​(P∥W)∣P∈D(p0​,p1​)}(4)作者还解释到SBP实际上是一个带有额外熵正则项的Monge-Kantorovich (MK)最优传输问题（OT）。上面这一大段，其实我也没怎么看懂，大概的意思是SBP就是寻找一个时间跨度为$t$，边缘分布分别为$p_0$和$p_1$的概率分布$P$。那么SBP与上面提到的SGMs又有什么关系呢？作者引用他人研究的结果证明SGMs是一种隐式的最优传输模型，对应着带有线性或退化漂移（linear or degenerate drifts）的SBP。简单理解为SGMs是退化版的SBP，是SBP的一个特例。那么用SBP来描述扩散和生成过程如下：$$\mathrm{d}\mathbf{x}=\left[\mathbf{f}+g^2{\nabla }_{\mathbf{x}}\log {\Phi }_t(\mathbf{x})\right]\mathrm{d}t+g(t)\mathrm{d}\mathbf{w},\mathrm{d}\mathbf{x}=\left[\mathbf{f}-g^2{\nabla }_{\mathbf{x}}\log {\hat{\Phi }}_t(\mathbf{x})\right]\mathrm{d}t+g(t)\mathrm{d}\mathbf{w}\text{\hspace{1em}(5)}$$其中${\Phi }_t,{\hat{\Phi }}_t$为薛定谔因子，其满足$p_t(\mathbf{x})={\Phi }_t(\mathbf{x}){\hat{\Phi }}_t(\mathbf{x})$。式中${\mathbf{z}}_t=g(t){\nabla }_{\mathbf{x}}\log {\Phi }_t(\mathbf{x})$和${\hat{\mathbf{z}}}_t=g(t){\nabla }_{\mathbf{x}}\log {\hat{\Phi }}_t(\mathbf{x})$能够充分的表征SBP的动态变化过程，因此可以被看作是扩散和生成过程所遵循的策略。从对数似然的角度来看，当${\mathbf{z}}_t,{\hat{\mathbf{z}}}_t$满足以下条件时，SBP和SGMs是等价的$$\left({\mathbf{z}}_t,{\hat{\mathbf{z}}}_t\right)=\left(0,g(t){\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})\right)\text{\hspace{1em}(6)}$$当然与SGMs相似，SBP也能够推导出其对应的确定性概率流常微分方程PE ODE，如下所示$$\mathrm{d}\mathbf{x}=\left[\mathbf{f}(\mathbf{x},t)+g(t)\mathbf{z}-\frac{1}{2}g(t)(\mathbf{z}+\hat{\mathbf{z}})\right]\mathrm{d}t$$其中$\mathbf{z}$只与$\mathbf{x}$有关，与时间$t$无关。
  费了这么多力气，作者就想说明一点DDIBs是两个级联的薛定谔桥，分别连接了源域和潜在空间以及潜在空间和目标域。这就是该文提出方法名字的来源，双扩散隐式桥（Dual Diffusion Implicit Bridges， DDIBs）是基于去噪扩散隐式模型（Denoising Diffusion Implicit Models， DDIM）的且包含两个独立的薛定谔桥以连接数据和潜在空间分布。后面作者在一个2维图像数据集上，验证了DDIBs方法所具备的图像转换的平滑性和循环一致性，如下图所示

由图a可以看出来，当图像从一种形状转换到另一种形状时，其颜色的分布情况几乎与源图像保持一致；由图b可以看出，当图像从形状A转换到B再转换回A时，两者之间几乎没有任何差别，这就显著表明了生成过程具备很好的循环一致性。
  此外，作者还利用条件扩散模型测试了DDIBs由一个源域转换到多个目标域的表现，如下图所示

可以看到，当源域图像（狮子，类别代号291）转化为其他多个类别时，再保留原有的吼叫姿态的同时，又能很好的兼顾目标类别的特征。