Stable Diffusion能力强、功能多、插件广,本文拟概述SD的全流程,方便梳理算法各结构的关系
1、stable diffusion训练用ddpm, 采样用ddim
DDPM的推理采样步长和训练时的步长一样,导致采样步数过多,推理时间长。DDIM指出,训练时步子小,但训练结束后的采样生成时,步子可以迈得大一点,加速推理过程。
例如:对逆向的恢复过程,则完全可以跳步,不需要按照DDPM那么规矩走一个1000步的马氏链条。走20步就有样子,50步比较清晰,100步已经比较逼真了。其关键观察是,我们可以从一个噪声大的图像,直接跳步恢复到一个噪声小的图像。这与正向过程中这两个噪声水平中间多有少步无关。