0. 资源链接
-
论文: LCM：https://arxiv.org/abs/2310.04378
-
项目: https://github.com/luosiallen/latent-consistency-model
1. 背景动机
现有的高分辨率的 diffusion 模型推理存在的问题：
-
Diffusion 模型推理过程包含多步去噪的流程，这会带来极大的推理延迟。
-
直接减少采样算法的步数，虽然会降低推理延迟，但是会极大地影响生成效果。
目前的一致性模型 CM, 可以降低低分辨率的生成model 的采样步数，同时能保持生成质量。 所以 LCM 基于类似的一致性想法通过隐编码实现高分辨率的 diffusion model 的一致性模型。
2. 内容提要
-
本文提出一个 Latent Consistency Model 方便快速、高分辨率的图片生成。
-
本文提出一个简单高效的一阶段引导一致性蒸馏方法，该方法可以在2-4步，甚至1步采样蒸馏 SD. 并提出了 Skipping-Step 技术进一步加速收敛。
-
本文并引入 Latent Consistency Fine-tuning 方法。
3. 技术细节
3.1 LCM 算法伪代码
3.2 实验分析
-
LCM model 在少步测试中取得不错的效果。
4. 一些思考
-
基于 CM model 扩展，在 laten code 实现一致性约束，完成高分辨率的一致性模型。
