深度生成模型之自编码器与变分自编码器

自编码器AE

1. 定义

• Auto-Encoder，学习输入数据的有效编码

2. 自编码器的应用

• 降维/可视化，去噪等

变分自编码器(VAE)

• Variable Auto-Encoder

1. 理论求解

• 给定一个样本x，求解对数边际似然logp(x|θ)

• 期望值平均算法(Expectation-Maximum),用于求解含隐变量的参数估计

2. 模型求解

• 使用神经网络来估计建模复杂的条件概率密度函数

• 梯度下降法求解与近似

3. 优化目标

• KL散度+样本重建损失

4. 再参数化策略

• 随机变量反向传播问题

AE与VAE的对比

• 变分自编码器与自编码器对比，虽然很相似，但原理不同

AE与VAE的主要局限性

• 生成结果模糊，不够真实

• 注意：部分内容来自阿里云天池