Diffusion Models

DDPM

$x_0 \sim q(x_0)$ 是真实数据分布，扩散模型学习一个分布 $p_\theta(x_0)$ 去逼近真实数据分布。
$p_\theta(x_0) := \int p_\theta(x_{0:T})dx_{1:T} \tag{1}$
$x_1,...,x_T$ 是和数据 $x_0 \sim q(x_0)$ 相同维度的隐变量。联合概率分布 $p_\theta(x_{0:T})$ 称为reverse process，逆过程，去噪过程。被定义为从 $p(x_T)=N(x_T;\bold0,\bold I)$ 开始的马尔可夫链，转移矩阵为高斯分布。
$p_\theta(x_{0:T}) :=p(x_T)\prod_{t=1}^T p_\theta(x_{t-1}|x_t) \tag{2}$
$p_\theta(x_{t-1}|x_t) :=N(x_{t-1}; \mu_\theta(x_t, t), \Sigma_\theta(x_t, t)) \tag{3}$
均值和方差是 $x_t, t$ 的函数，标准高斯分布有了均值和方差，就可以从 $x_t$ 中采样出 $x_{t-1}$ 。
diffusion模型不同于其他隐变量模型的地方在于，近似后验分布 $q(x_{1:T}|x_0)$ ，一般也被称为前向过程或者diffusion过程，是一个马尔可夫链。可以根据方差调度值 $\beta_1,..., \beta_T$ 逐步对数据 $x_0$ 加噪声。
$q(x_{1:T}|x_0) := \prod_{t=1}^Tq(x_t|x_{t-1}) \tag{4}$
$q(x_t|x_{t-1}) := N(x_t;, \sqrt{1-\beta_t}x_{t-1}, \beta_t\bold I) \tag{5}$
我们定义：
$a_t := 1 - \beta_t, \quad \bar{a}_t := \prod_{s=1}^{t} \alpha_s \tag{6}$
$x_t = \sqrt{\alpha_t}x_{t-1} + \sqrt{1-\alpha_t}\epsilon_t, \quad \epsilon_t \sim N(\bold0, \bold I) \tag{7}$
$x_{t-1} = \sqrt{\alpha_{t-1}}x_{t-2} + \sqrt{1-\alpha_{t-1}}\epsilon_{t-1}, \quad \epsilon_{t-1} \sim N(\bold0, \bold I) \tag{8}$

$\begin{aligned} x_t &= \sqrt{\alpha_t}(\sqrt{\alpha_{t-1}}x_{t-2} + \sqrt{1-\alpha_{t-1}}\epsilon_{t-1}) + \sqrt{1-\alpha_t}\epsilon_t \\ &= \sqrt{\alpha_t\alpha_{t-1}}x_{t-2} + \sqrt{\alpha_t - \alpha_t\alpha_{t-1}}\epsilon_{t-1} + \sqrt{1-\alpha_t}\epsilon_t \\ &=N(x_t; \sqrt{\alpha_t\alpha_{t-1}}x_{t-2}, \sqrt{1-\alpha_t\alpha_{t-1}}\bold I) \\ &=\sqrt{\alpha_t\alpha_{t-1}}x_{t-2} + \sqrt{1-\alpha_t\alpha_{t-1}}\tilde{\epsilon}_t \\ & ...... \\ &= N(x_t; \sqrt{\bar{\alpha}_t}x_0, \sqrt{1 - \bar{\alpha}_t} \bold I) \tag{9} \end{aligned}$
这个性质很重要，意味着可以不需要迭代过程，直接获得任意时间t的加噪数据。正常来说T都比较大，DDPM设为1000， $a_t = 1 - \beta_t \in [0, 1]$ , 根据极限可知，随着t越来越大，最终加噪后的数据分布趋近于各向同性的标准高斯分布。也为reverse process从一个标准高斯分布采样开始逐步去噪得到最终sample的过程，两相契合。

forward process是加噪过程，也是训练过程，从数据集中采样 $x_0 \sim q(x_0)$ ，随机选取timestep t, 根据式(9)得到 $x_t$ , $x_t$ 和 $t$ 做为网络输入，估算后验分布 $q(x_{t-1}|x_t, x_0)$ ，假设后验分布为高斯分布，则估算的就是高斯分布的均值和方差，式(11)和(12)就是网络学习时，均值和方差的gt。DDPM这篇工作假设方差是预定义好的，不需要网络学习。只需要学习均值即可。
$q(x_{t-1}|x_t, x_0) = N(x_{t-1}; \tilde{\mu}_t(x_t, x_0), \tilde{\beta_t}\bold I) \tag{10}$
where
$\tilde{\mu}_t(x_t, x_0) :=\frac{\sqrt{\bar{\alpha}_{t-1}}\beta_t}{1-\bar{\alpha}_t}x_0 + \frac{\sqrt{\alpha_t}(1-\bar{\alpha}_{t-1})} {1-\bar{\alpha}_t} x_t \tag{11}$
and
$\tilde{\beta}_t := \frac{1-\bar{\alpha}_{t-1}}{1-\bar{\alpha}_t} \beta_t \tag{12}$
（这个地方有空再来推导吧）

网络收敛后，就可以从 $x_T\sim N(\bold 0, \bold I)$ 采样开始。逐步去噪，得到最终的样本。
网络学习和输出的是t时刻的噪声。根据下式得到均值：
$\mu_\theta(x_t, t) = \frac{1}{\sqrt{\alpha}_t}(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\epsilon_\theta(x_t, t))$
采样 $x_{t-1}\sim p_\theta(x_{t-1}|x_t)$ 可以通过 $x_{t-1}=\mu_\theta(x_t, t) + \sigma z$ 得到, $z\sim N(\bold 0, \bold I)$ 。

在这里插入图片描述
DDPM的优点就不说了，缺点主要有两个，推理过程步长太长，过于耗时。 $\beta$ 的设计导致加噪到T时刻，信噪比SNR不为0，加噪对原始数据分布破坏的不彻底，得到的不是真实的高斯分布噪声，原始数据分布中的一些低频信息泄露，导致文生图任务中，即便强prompt引导，生成的图片亮度也是围绕到0周围，无法产生过亮或者过暗的图片。