基于离散时间扩散的生成模型和分数匹配方法在高维图像数据建模方面显示出了良好的效果。

最近，Song等人（2021）表明，通过学习分数函数，可以通过学习分数函数，即将扰动数据转换为噪声的梯度。他们提出将学习到的分数函数插入一个逆公式来定义生成扩散过程。尽管在实证上取得了成功，但这一程序的理论基础仍然缺乏。

在这项工作中，我们直接接近（连续时间）生成扩散，并推导了一个似然估计的变分框架，其中包括连续时间归一化流作为一种特殊情况，可以看作是一个无限深的变分自编码器。在这个框架下，我们证明了最小化分数匹配损失等同于最大化Song等人（2021）提出的插件反向SDE的可能性的下界，弥合了理论差距。

1. 介绍

1.1. 变分自动编码器

生成式建模可以被认为是一个反转的推理过程。

• 如果推理过程是可逆的，那么可以重点将数据转换为可处理的分布（Dinh et al.，2016）。
• 如果推理过程是确定性的