Flow-Based Model

简介

​ Flow-Based对概率密度函数的直接建模，这使得它们在数据生成和推断方面具有优势，并且在潜在空间中的操作更加直观。但是，它们可能在处理复杂数据分布时受限，因为需要设计适合数据分布的逆变换

​ 与其他生成模型原理区别：

• Flow-based模型：这种模型通过学习数据的概率密度函数来进行生成。它们学习了数据的分布，并利用这种分布来生成新的样本。
• VAE：变分自编码器利用潜在变量的分布来建模数据。它通过编码器将输入数据映射到潜在空间中，并通过解码器从潜在空间中的采样重建输入数据。
• GAN：生成对抗网络通过生成器生成假样本，同时使用鉴别器来区分真实和假的样本。生成器和鉴别器相互竞争，以提高生成器生成逼真样本的能力。

总览

​ 为了得到更好的generator，采用极大似然估计，最大化$lo{g}^{P_G(x)}$,也就是最小化$P_{data}$和$P_G$两个分布之间的距离（KL散度）。

θ ∗ = a r g max ⁡ θ ∏ i = 1 m P G ( x i ; θ ) = a r g max ⁡ θ l o g ∏ i = 1 m P G ( x i ; θ ) = a r g max ⁡ θ ∑ i = 1 m l o g P G ( x i ; θ ) { x 1 , x 2 , . . . , x m } from ⁡ P d a t a ( x ) ≈ a r g max ⁡ θ E x ∼ P d a t a [ l o g P G ( x ; θ ) ] = a r g max ⁡ θ ∫ x P d a t a ( x ) l o g P G ( x ; θ ) d x − ∫ x P d a t a ( x ) l o g P d a t a ( x ) d x = a r g min ⁡ θ K L ( P d a t a ∣ ∣ P 0 ) \begin{aligned} \theta^{*} &=arg\max_{\theta}\prod_{i=1}^mP_G(x^i;\theta)=arg\max_{\theta}log\prod_{i=1}^mP_G(x^i;\theta) \\ &=arg\max_\theta\sum_{i=1}^mlogP_G(x^i;\theta)\quad\{x^1,x^2,...,x^m\}\operatorname{from}P_{data}(x) \\ &\approx arg\max_\theta E_{x\sim P_{data}}[logP_G(x;\theta)] \\ &=arg\max_\theta\int_xP_{data}(x)logP_G(x;\theta)dx-\int_xP_{data}(x)logP_{data}(x)dx \\ &=arg\min_{\theta}KL(P_{data}||P_{0}) \end{aligned} θ∗​=argθmax​i=1∏m​PG​(xi;θ)=argθmax​logi=1∏m​PG​(xi;θ)=argθmax​i=1∑m​logPG​(xi;θ){x1,x2,...,xm}fromPdata​(x)≈argθmax​Ex∼Pdata​​[logPG​(x;θ)]=argθmax​∫x​Pdata​(x)logPG​(x;θ)dx−∫x​Pdata​(x)logPdata​(x)dx=argθmin​KL(Pdata​∣∣P0​)​

数学基础

jacobian matrix

determinant行列式

给出行列式值的几何形式——面积、体积

Change of variable theorem

$$\begin{array}{rl}& p(x^{\prime })|det\left[\begin{array}{cc}\Delta x_{11}& \Delta x_{21}\\ \Delta x_{12}& \Delta x_{22}\end{array}\right]|=\pi (z^{\prime })\Delta z_1\Delta z_2\mathrm{x}=\mathrm{f}(\mathrm{z})\\ & p(x^{\prime })|\frac{1}{\Delta z_1\Delta z_2}det\left[\begin{array}{cc}\Delta x_{11}& \Delta x_{21}\\ \Delta x_{12}& \Delta x_{22}\end{array}\right]|=\pi (z^{\prime })\\ & p(x^{\prime })|det\left[\begin{array}{cc}\Delta x_{11}/\Delta z_1& \Delta x_{21}/\Delta z_1\\ \Delta x_{12}/\Delta z_2& \Delta x_{22}/\Delta z_2\end{array}\right]|=\pi (z^{\prime })\\ & p(x^{\prime })|\det \left[\begin{array}{cc}\partial x_1/\partial z_1& \partial x_2/\partial z_1\\ \partial x_1/\partial z_2& \partial x_2/\partial z_2\end{array}\right]|=\pi (z^{\prime })\\ & p(x^{\prime })|\det \left[\begin{array}{cc}\partial x_1/\partial z_1& \partial x_1/\partial z_2\\ \partial x_2/\partial z_1& \partial x_2/\partial z_2\end{array}\right]|=\pi (z^{\prime })\\ & p(x^{\prime })|\det (J_f)|=\pi (z^{\prime })p(x^{\prime })=\pi (z^{\prime })\left|\frac{1}{\det (J_f)}\right|\\ & p(x^{\prime })=\pi (z^{\prime })|det(J_{f^{-1}})|\end{array}$$

架构

​ 输入z和输出x的尺寸一样，区别于其他的生成模型（输入使用low resolution）。同时，因为我们需要使用$G^{-1}$，$G$矩阵需要可逆，方便求取。

常见几种方法

coupling layer

很容易的计算$G$的数值

NICE: Non-linear Independent Components Estimation

Density estimation using Real NVP

采用1*1卷积进行channel shuffle

Glow: Generative Flow with Invertible 1x1 Convolutions

Parallel WaveNet: Fast High-Fidelity Speech Synthesis

WaveGlow: A Flow-based Generative Network for Speech Synthesis

---

参考视频：

Flow-based Generative Model