https://blog.csdn.net/suyebiubiu/category_9372769.html

生成式模型的基础：极大似然估计

• ${\theta }^{\ast }=argma{x}_{\theta }{E}_{x{p}_{data}}log{P}_{model}(x|\theta )$

• 生成式模型都源于极大似然估计

  • 显示概率分布
    • 马尔科夫链/BM
  • 隐式概率分布
    • GSN
    • GAN—唯一一个从数据观测一步到位的模型
      
      以前比较强大的模型都源于HMM模型

• 人工智能两个阶段

  • 感知阶段
  • 认知阶段

• GAN（生成式模型

  • 生成数据样本的能力
  • 反应了他的理解（不能产生就没有理解）

GANs

• 和以前模型的的区别

  • 使用了 latent code（缺省编码）
  • 数据会逐渐统一 (unlike variational methods)
  • 不需要马尔可夫链
  • 被认为可以生成最好的样本
    • （没有办法评价No good way to quantify this

• 核心思想：博弈论的纳什均衡——对抗达到平衡（共同进步）

  • 生成器：尽量生成真实的分布——努力让判别器认不出来
    • 输入向量，输出图或序列。。。
    • 不同的向量表示不同的特征
    • 想要发现数据的分布$P_{data}(x)$
      • 假设一个分布$P_{data}(x;\theta ),用极大似然去找\theta$
  • 判别器：区分是生成的还是真实的（努力让他能认出生成器生成的数据）
    • 输入：图片
    • 输出：标量评分
      • 分越大，越真实–1
      • 分小则假–0.1

• 算法

  1. 固定生成器G,从真假图中采样，来更新(训练）判别器D–>D1

     • 版本1：$对V(G_0,D)找到D_0^* $===>D1
     • 版本2：实际使用最小化交叉熵来进行二分类
       • $原来：V(G,D)=E_{x{P}_{data}}[log(D(x))]+E_{x{P}_G}[log(1-D(x))](G固定）$
         • 目标函数==》max$\tilde{V}=\frac{1}{m}{\Sigma }_{i=1}^{m}log(D(x^i))+\frac{1}{m}{\Sigma }_{i=1}^{m}log(D({\tilde{x}}^i))$——均值代替期望
         • 原来是对概率求和–>期望–>均值（${\Sigma }_{i=1}^{m}log{P}_G(x^i;\theta )$
       • 多迭代几次：$\theta_d<–\theta_d+\eta d \tilde{V} $

  2. 固定D1,训练生成器G–>G1

     • v1：${\theta }_G\leftarrow {\theta }_G-\eta \frac{\partial V(G,D_0^{\ast })}{\partial {\theta }_G}$===>找到G1
     • v2:假设$D_0^{\ast }\approx D_1^{\ast }---也就是G变化很小（更新不能太频繁$
       • $\tilde{V}=\frac{1}{m}{\Sigma }_{i=1}^{m}log(D(G(z^i))),z来自P_{prior}(z)$–目标函数是一样的
         • $\frac{1}{m}{\Sigma }_{i=1}^{m}log(D(x^i))$与生成器无关，可以不考虑
       • $\theta_G<–\theta_G- \eta d \tilde{V} $

  3. 重复到平衡

• 生成器

  • 极大似然估计$L={\Pi }_{i=1}^m{P}_G(x^i;\theta ),$
    • ${\theta }^{\ast }=argma{x}_{\theta }{\Pi }_{i=1}^m{P}_G(x^i;\theta )$
    • ${\theta }^{\ast }=argma{x}_{\theta }{\Sigma }_{i=1}^{m}log{P}_G(x^i;\theta )$
    • ${\theta }^{\ast }=argma{x}_{\theta }{E}_{xPdata}(log{P}_G(x^i;\theta ))$—求和近似于期望
    • $=argma{x}_{\theta }{\int }_x{P}_{data}(x)log{P}_G(x;\theta )dx-{\int }_x{P}_{data}(x)log{P}_{data}(x^i)dx$—后面的只与真实数据有关
    • $=argmi{n}_{\theta }KL(P_{data}||P_G)$----=最小化KL散度（就是最小化他俩的差别KL=Div
  • 如何产生通用的$P_G$?（通过神经网络
    • $G^{\ast }=argmi{n}_{\theta }KL(P_{data}||P_G)$
    • $P_{data}（从真实数据中）,P_G（生成的采样）未知--通过采样得到$
    • $D^*=-2log2+2JSD(P_{data}||P_G) $
    • $G^{\ast }=argmi{n}_{G}KL(P_{data}||P_G)=argmi{n}_{G}ma{x}_{D}V(G,D)$

• 判别器

  • 希望判别器通过区分，以Pdata和以PG采样得到的数据
  • 目标函数：$V(G,D)=E_{x{P}_{data}}[log(D(x))]+E_{x{P}_G}[log(1-D(x))](G固定）$真实的+虚假的
    • $={\int }_x{P}_{data}(x)logD(x)dx+{\int }_x{P}_G(x)log(1-D(x))dx$
    • $={\int }_x(P_{data}(x)logD(x)+P_G(x)log(1-D(x)))dx$
      • 假设D(x)能够是任何函数–
      • 所以D要足够强–深度神经网络
      • 最大化$(P_{data}(x)logD(x)dx+P_G(x)log(1-D(x)))$
        • 求导：
          • $\frac{d(f(D))}{dD}=a\ast \frac{1}{D}+b\ast \frac{1}{1-D}\ast (-1)=0$
          • $a\ast \frac{1}{D^{\ast }}=b\ast \frac{1}{1-D^{\ast }}$
          • $D^{\ast }（x）=\frac{a}{a+b}=\frac{P_{data}(x)}{P_{data}(x)+P_G(x)}$(在（0,1）之间
      • 带入$G^* $
        • $D^{\ast }=ma{x}_{D}V(G,D)=V(G,D^{\ast })=E_{x{P}_{data}}[log(\frac{P_{data}(x)}{P_{data}(x)+P_G(x)})]+E_{x{P}_G}[log(\frac{P_G(x)}{P_{data}(x)+P_G(x)})]$
        • $=-2log2+{\int }_x(P_{data}(x)log\frac{P_G(x)}{(P_{data}(x)+P_G(x))/2}+P_G(x)log(\frac{P_G(x)}{(P_{data}(x)+P_G(x))/2)})dx$
        • $=-2log2+KL(P_{data}||\frac{P_{data}(x)+P_G(x)}{2})+KL(P_G||\frac{P_{data}(x)+P_G(x)}{2})$
        • $=-2log2+2JSD(P_{data}||P_G)$
        • $JSD(P_{data}||P_G)=\frac{1}{2}D(P||M)+\frac{1}{2}D(Q||M),M=\frac{1}{2}(P+Q)$
  • 训练：$D^{\ast }=argma{x}_{D}V(D,G)$
    
    
    

最终版本

• 训练：SGD,同时训练两组数据——深度神经网络
  • 真实的
  • 生成的
• 优化
  • 可以一组训练跑一次时，另一组跑k次
    

问题

• 在开始的时候，训练较慢
  

非饱和博弈

• 更换后，极值点不变
• 原来D=1/2时，就无法训练了，而这个里面，D=1/2时仍然可以对生成器进行训练

DCGAN

• 反卷积生成图像
  

不同类型的GAN

1. 传统GAN–
   • 没有任何条件的，
   • 给定一个图片，生成类似的图片
2. 有条件的GAN
   • 给定图片+图片里的信息（条件）
   • 传统的神经网络，容易输出一个图片的平均（不对）–用GAN
3. 无监督有条件的GAN
   • 给定两个领域的图片
   • 由一个领域的图片可以生成另外一个领域的图片
   • 真实图片–》漫画风？

conditional GAN

• 生成器
  • 不仅要生成火车，还要满足条件
• 判别器
  • 判别是不是真实图片
  • 判别是不是满足条件
  • 对于真实的图片，不满足条件也输出0
    

无监督条件GAN–cycle GAN

• 直接使用会趋向于直接拿过来一个梵高的画
  1. 需要用一个网络，使得$X\approx Y$
  2. 也可以用生成器的逆过程反过来生成X’,$X\approx X^{\prime }$

对抗学习

• 区别
  • 一般机器学习只有一个机制点
  • 对抗学习基于博弈论
    • 有两个player
    • 一个取极大一个取极小—求个鞍点
• 用于
  • 白天–>黑天
    • 没有真实对应的信息，只能通过对抗GAN网络生成—视频
  • 加噪音–让图片不可识别–安全（攻击分类器）
  • 通过将对抗的x’加入分类其中，提高分类器的能力（稳定性）
• 损失函数
  • 分类器$loss(\theta )=C(y0,y_{true})小,y0=f_{\theta }(x)$
  • 对抗的就是$loss(x^{\prime })=-C(y0,y_{true})+C(y^{\prime },y_{false},y0=f_{\theta }(x‘)$–优化x’
  • 约束：$d(x0,x^{\prime })<=ϵ$看着原图没啥变化
  • 得到一个x’