- 宋扬博士的作品,和DDPM同属扩散模型开创工作,但二者的技术路线不同
Introduction
- 当前生成模型主要分成两类
基于似然模型
通过近似最大似然直接学习分布的概率密度,如VAE
隐式生成模型
概率分布由其抽样过程的模型隐式表示,如GAN
GAN隐式表示了生成器网络可以产生的所有对象的分布。
- 二者的局限:基于似然的模型需要对模型架构进行严格限制,以确保似然计算的可处理性;而隐式生成模型则不稳定,容易崩溃。
基于分数的模型
Conclusion
提出基于分数的模型框架,首先通过分数匹配估计数据密度的梯度,然后通过朗之万动力学生成样本,并提出通过训练噪声条件分数网络,并能生成高质量的图像。
参考资料
- Generative Modeling by Estimating Gradients of the Data Distribution