Autoregressive Quantile networks for generative modeling
- 3 autoregressive implicit quantiles
3 autoregressive implicit quantiles
autoregressive:自身做回归变量,用之前若干时刻的随机变量 来建模 之后某些时刻 随机变量的模型。
N维随机变量的IQN建模 :
n维随机变量:X=(X1,...,Xn)∈X1×,...,×Xn=XX=(X_1,...,X_n)\in \mathcal{X}_1\times,...,\times\mathcal{X}_n=\mathcal{X}X=(X1,...,Xn)∈X1×,...,×Xn=X ,基于IQN 两个简单应用:
方式1– 假设X的各个维度是comonotonic,其联合分位数函数可以表示为:
FX−1(τ)=(FX1−1(τ),...,FXn−1(τ))F^{-1}_X (\tau)=(F^{-1}_{X_1} (\tau),...,F^{-1}_{X_n} (\tau))FX−1(τ)=(FX1−1(τ),...,FXn−1(τ))
即每个维度使用相同的τ\tauτ值。
方式2–假设X的各个维度是相互独立的,每个XiX_iXi使用不同的τi\tau_iτi,但是联合分位数该怎么写没有表示出来。
以上两种假设都太强了,并不适用于图像生成领域。下面开始介绍AIQN方法,图像的概率密度pXp_XpX采用和PixleCNN 中一样的条件似然的乘积建模,那么联合的累积分布函数可以表示为下式:
pX(x)=∏i=1npXσ(i)(xσ(i)∣xσ(1),...,xσ(i−1))p_X(x)=\prod_{i=1}^np_{X_{\sigma(i)}}(x_{\sigma(i)}|x_{\sigma(1)},...,x_{\sigma(i-1)})pX(x)=i=1∏npXσ(i)(xσ(i)∣xσ(1),...,xσ(i−1))
FX(x)=P(X1<x1,....,Xn<xn)=∏i=1nFXi∣Xi−1,...,X1(xi)F_X(x)=P(X_1<x_1,....,X_n<x_n)\\ =\prod_{i=1}^nF_{X_i|X_{i-1},...,X_{1}}(x_i)FX(x)=P(X1<x1,....,Xn<xn)=i=1∏nFXi∣Xi−1,...,X1(xi)
此时联合分位点和联合分位数分别为:
τjoint=∏i=1nτi\tau_{joint}=\prod_{i=1}^n\tau_iτjoint=i=1∏nτi
FX−1(τjoint)=(FX−1(τ1),...,FXn∣Xn−1−1(τn))F^{-1}_X(\tau_{joint})=(F^{-1}_X(\tau_{1}),...,F^{-1}_{X_n|X_{n-1}}(\tau_{n}))FX−1(τjoint)=(FX−1(τ1),...,FXn∣Xn−1−1(τn))
整张图像的联合分位数FX−1(τjoint)F^{-1}_X(\tau_{joint})FX−1(τjoint) 可以分解为各个像素位置分位数的联合表示。所以可以逐像素的使用分位数回归,来 训练生成模型。