生成式对抗网络GAN

Generative Adversarial Nets由伊恩·古德费洛（Ian J.Goodfellow）等人于2014年发表在Conference on Neural Information Processing Systems (NeurIPS)上。NeurIPS是机器学习和计算神经科学领域的顶级国际学术会议之一。

1. GAN在哪些领域大放异彩

图像生成：

论文地址：styleGAN styleGAN2
图像生成是生成模型的基本问题，GAN相对先前的生成模型能够生成更高图像质量的图像。如生成逼真的人脸图像。https://thispersondoesnotexist.com是一个叫做‘这个人不存在’的网站，它是基于GAN的一个随机人脸生成网站，每次刷新该网站都将生成一个不同的人脸。
在这里插入图片描述

图像超分辨率

论文地址：SRGAN
将图像放大时，图片会变得模糊。使用GAN将32*32的图像扩展为64*64的真实图像，放大图像的同时提升图片的分辨率。
在这里插入图片描述

图像转化：

论文地址：CycleGAN
CycleGAN，即循环生成对抗网络，出自发表于 ICCV17 的论文《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》，和它的兄长Pix2Pix（均为朱大神作品）一样，用于图像风格迁移任务。以前的GAN都是单向生成，CycleGAN为了突破Pix2Pix对数据集图片一一对应的限制，采用了双向循环生成的结构，因此得名CycleGAN。

在这里插入图片描述

其他GAN领域

生成对抗网络（GANs）在多个领域都取得了显著的成就，其灵活性和强大的生成能力使其能够应用于各种应用。

  1. 图像生成与转换：

    • pix2pix 和 CycleGAN： 用于图像转换，例如风格迁移、图片翻译等。
    • StyleGAN 和 ProGAN： 生成高分辨率逼真的图像，用于人脸合成和自然图像生成。

  2. 人脸生成和编辑：

    • DeepFake 技术： 使用 GANs 进行逼真的人脸合成。
    • StarGAN 和 Age-cGAN： 实现多领域的人脸编辑，如年龄、性别、表情等。

  3. 图像修复和超分辨率：

    • Super-Resolution GANs（SRGAN）： 用于提高图像的分辨率。
    • Deep Image Prior： 利用 GANs 进行图像修复。

  4. 生成式艺术：

    • Artbreeder： 利用 GANs 进行创造性的艺术生成，探索图像合成的艺术应用。

  5. 医学图像生成与分割：

    • 生成医学图像： GANs 用于生成具有各种病例特征的医学图像，用于培训机器学习模型。
    • 图像分割： 利用 GANs 进行医学图像的分割和增强。

  6. 风格迁移和设计：

    • Neural Style Transfer： 使用 GANs 进行艺术风格的图像转换。
    • FashionGAN： 用于时尚设计和生成。

  7. 文本生成：

    • Text-to-Image Synthesis： GANs 用于将文本描述转换为图像。
    • Conditional GANs： 用于生成与给定文本描述相关的图像。

  8. 无监督学习和数据增强：

    • 生成无监督特征： GANs 用于学习无监督的特征表示。
    • 数据增强： GANs 用于生成额外的训练数据，提高监督学习模型的性能。

其他GAN论文

  1. pix2pix: https://affinelayer.com/pixsrv/

  2. DiscoGAN:https://github.com/carpedm20/DiscoGAN-pytorch

  3. TPGAN: https://arxiv.org/pdf/1704.04086.pdf

  4. pix2pix HD:https://tcwang0509.github.io/pix2pixHD/

  5. stackGAN: https://arxiv.org/pdf/1612.03242.pdf

  6. AttnGAN:https://arxiv.org/abs/1711.10485

  7. DTN:https://arxiv.org/pdf/1611.02200.pdf

  8. MGAN: https://arxiv.org/pdf/1604.04382.pdf

  9. Age-cGAN:https://arxiv.org/pdf/1702.01983.pdf

  10. StarGAN:https://arxiv.org/abs/1711.09020

  11. Image Inpainting:https://arxiv.org/abs/1804.07723

  12. MaskGAN:https://arxiv.org/abs/1801.07736

GAN工作原理

生成对抗网络（GAN）由两个主要部分组成：生成器（Generator）和判别器（Discriminator）。这两个部分通过对抗的方式共同学习，使得生成器能够生成逼真的数据，而判别器能够区分真实数据和生成器生成的数据。

生成器

在统计学眼中，整个世界是通过采样各种不同的分布得到的。
生成模型：对整个数据的分布进行建模，使得能够生成各种分布。
生成图片、生成文本、生成各种东西就是去抓住整个数据的一个分布。

生成器（Generator）：

  • 生成器的目标是生成看起来像真实数据的样本。
  • 它接收一个随机噪声向量（通常是从正态分布中采样得到的）作为输入，并通过神经网络生成数据。
  • 生成器的目标是欺骗判别器，使其无法区分生成的数据和真实数据。

辨别器

判别器（Discriminator）：

  • 判别器的目标是区分生成器生成的数据和真实数据。
  • 它接收真实数据或生成器生成的数据作为输入，并通过神经网络输出一个概率值，表示输入是真实数据的概率。
  • 判别器的目标是正确地将真实数据识别为真实，并将生成的数据识别为伪造。

Generative Adversarial Nets Introduction部分

论文提到深度学习的前景是发现丰富的分层模型，这些模型代表了AI应用中遇到的各种数据的概率分布。即深度学习不仅仅是深度神经网络，更多的是对整个数据分布的一个特征的表示。
深度学习在辨别上做的不错，但在生成上的效果不好，难点在于去最大化似然函数时，我们要对概率函数很多近似，近似带来了很大的计算困难。这篇文章的关键是不用近似似然函数而可以用别的方法来得到一个计算上更好的模型

作者在文中做了一个形象的比喻：将生成器比作一个生产假币的造假者，而判别模型类似于警察，试图检测假币。造假者和警察会不断学习，造假者提升自己造假的手段，警察会提升自己判别真假币的能力。最后希望得到这样一个结果：造假者获胜，造的假钱跟真的一样，使得警察无法区分真币假币。

该框架可以针对多种模型和优化算法给出具体的训练算法。在本文中，我们探究了生成模型通过多层感知机传递随机噪声生成样本时的特殊情况，而判别模型也是多层感知机。我们把这种特殊情况称为adversarial nets。在这种情况下，我们可以只使用非常成功的反向传播和dropout算法来训练这两个模型，也可以只使用前向传播从生成模型中采样。不需要任何近似推断或马尔可夫链。

Generative Adversarial Nets Related work部分

在这一部分，作者提到之前的大多数关于深度生成模型的工作：一个是构造出一个分布函数，然后提供参数供其学习，学习出真实的分布，明白其均值、方差到底是什么。一个是不去构造分布函数，而是学一个模型来近似这个分布，但是不知道最后的分布是怎样的，算起来较容易。
随后提到他们观察到的一个结果：对 f f f的期望求导，等价于对 f f f自己求导。这也就是为什么他们使用误差反向传播的原因。
在这里插入图片描述
之后作者提到了一些相关的工作，包括VAE、NCE，并解释了与predictability minimization算法的区别

发现这里有总结的较好的，后续可以查看这里：https://blog.csdn.net/qq_45138078/article/details/128366117

Generative Adversarial Nets的缺陷及后续的改进

训练不稳定：外层循环迭代N次直到完成，如何判断是否收敛，这里有两项，一个是往上走(max)，一个是往下走(min)，有两个模型，所以如何判断收敛并不容易。整体来说，GAN的收敛是非常不稳定的。

判别器训练得太好：在价值函数中，等式右边的第二项存在一定的问题：在早期的时候G比较弱，生成的数据跟真实的数据差得比较远，这就很容易将D训练的特别好（D能够完美地区分开生成的数据和真实的数据），就导致log(1-D(G(z)))会变成0，求梯度再更新G的时候，就会发现求不动了。
在这里插入图片描述

后续论文改进

  1. Improved Techniques for Training GANs提出了一系列的训练技巧，包括正则化项、生成器和判别器的架构选择等，以提高GAN的训练稳定性和生成样本的质量。
  2. Wasserstein GAN引入Wasserstein距离（Earth Mover’s Distance）作为GAN的目标函数，通过减小生成分布和真实分布之间的差异，改善了训练的稳定性和生成图像的质量。
  3. Least Squares Generative Adversarial Networks使用最小二乘损失函数代替原始GAN的二元交叉熵损失，有助于解决训练过程中的模式崩溃问题，提高生成图像的质量。
  4. Self-Attention Generative Adversarial Networks引入了自注意力机制，使生成器能够更好地捕捉输入数据的长距离依赖关系，提高生成图像的细节和整体质量。
  5. Training Generative Adversarial Networks with Limited Data针对有限数据情况，提出了一种基于数据增强和迁移学习的方法，以改善生成模型在数据稀缺情况下的性能。

GAN未来及挑战

随着OpenAI发布DALL-E 2，自回归模型和扩散模型一夜之间成为大规模生成模型的新标准，而在此之前，生成对抗网络（GAN）一直都是主流选择，并衍生出StyleGAN等技术。
扩散模型:当前DALL-E, Midjourney, Stable Diffusion图片生成的核心都是Diffusion Model，它就是通过不停去除噪音期望获得好结果的生成模型。
在这里插入图片描述
扩散模型只需要训练一个模型，优化过程更加稳定。
扩散模型在条件生成任务上确实要优于GAN，特别是在生成的多样性方面。
扩散模型的训练过程相对简单，优化更为容易。
两阶段扩散模型可以进一步提高生成图片的质量，其效果通常超过了单一的GAN模型

大模型下的GAN-GigaGAN

针对增加StyleGAN架构容量会导致不稳定的问题，来自浦项科技大学（韩国）、卡内基梅隆大学和Adobe研究院的研究人员提出了一种全新的生成对抗网络架构GigaGAN，打破了模型的规模限制，展示了 GAN 仍然可以胜任文本到图像合成模型。（https://arxiv.org/abs/2303.05511）
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/626183.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

黑马苍穹外卖学习Day6

黑马苍穹外卖学习Day6

HttpClient 介绍 HttpClient 是 Apache 提供的一个开源的 Java HTTP 客户端库，用于发送 HTTP 请求和处理 HTTP 响应。它提供了一种更简便的方式来执行 HTTP 请求，并支持多种协议，如 HTTP、HTTPS、FTP 等。 使用 HttpClient 可以方便地与远程…
阅读更多...
MySQL体系结构

MySQL体系结构

MySQL体系结构 MySQL采用的是客户/服务器体系结构，实际是有两个程序，一个是MySQL服务器程序，指的是mysqld程序，运行在存放数据库的机器上，负责在网络上监听并处理来自客户的服务请求，根据这些请求去访问数据…
阅读更多...
边缘计算的挑战和机遇（结合RDH-EI）

边缘计算的挑战和机遇（结合RDH-EI）

边缘计算的挑战和机遇 边缘计算面临着数据安全与隐私保护、网络稳定性等挑战，但同时也带来了更强的实时性和本地处理能力，为企业降低了成本和压力，提高了数据处理效率。因此，边缘计算既带来了挑战也带来了机遇，需要我…
阅读更多...
Unity之物理系统

Unity之物理系统

专栏的上一篇角色控制器控制角色移动跳崖，这一篇来说说Unity的物理系统。 本篇小编还要带大家做一个碰撞检测效果实例，先放效果图：流星撞击地面产生爆炸效果 一、Rigidbody 我们给胶囊添加了 Rigidbody 组件它才有的重力，我们来…
阅读更多...
逸学Docker【java工程师基础】3.3Docker安装nacos

逸学Docker【java工程师基础】3.3Docker安装nacos

docker pull nacos/nacos-server docker network create nacos_network #创建容器网络 docker run -d \ --name nacos \ --privileged \ --cgroupns host \ --env JVM_XMX256m \ --env MODEstandalone \ --env JVM_XMS256m \ -p 8848:8848/tcp \ -p 9848:9848…
阅读更多...
图解拒付平台：如何应对用户的拒付

图解拒付平台：如何应对用户的拒付

这是《百图解码支付系统设计与实现》专栏系列文章中的第（5）篇。 本章主要讲清楚支付系统中拒付涉及的基本概念，产品架构、系统架构，以及一些核心的流程和相关领域模型、状态机设计等。 1. 前言 拒付在中国比较少见，但…
阅读更多...
教你用五步让千年的兵马俑跳上现代的科目三？

教你用五步让千年的兵马俑跳上现代的科目三？

以下是一张我上月去西安拍的兵马俑照片： 使用通义千问，5步就能它舞动起来，跳上现在流行的“科目三”舞蹈。 千年兵马俑跳上科目三 全民舞王 第1步 打开通义千问App，我使用的是华为手机，苹果版的没试； 在…
阅读更多...
把握现货黄金的基本操作技巧

把握现货黄金的基本操作技巧

在投资市场这个大舞台上，有各种各样的投资产品供投资者选择，其中黄金作为一种重要的投资资产，一直受到广大投资者的青睐。然而，黄金交易并非易事，需要掌握一定的操作技巧。那么，如何才能把握住现货黄金的操…
阅读更多...
YOLOv5改进 | 主干篇 | 12月份最新成果TransNeXt特征提取网络（全网首发）

YOLOv5改进 | 主干篇 | 12月份最新成果TransNeXt特征提取网络（全网首发）

一、本文介绍 本文给大家带来的改进机制是TransNeXt特征提取网络,其发表于2023年的12月份是一个最新最前沿的网络模型，将其应用在我们的特征提取网络来提取特征，同时本文给大家解决其自带的一个报错，通过结合聚合的像素聚焦注意力和卷积GLU&…
阅读更多...
《绝地求生》职业选手画面设置推荐 绝地求生画面怎么设置最好

《绝地求生》职业选手画面设置推荐 绝地求生画面怎么设置最好

《绝地求生》画面怎么设置最好是很多玩家心中的疑问，如果性能不是问题无疑高特效显示效果更好，但并不是所有画面参数都利于战斗，今天闲游盒带来分享的《绝地求生》职业选手画面设置推荐，赶紧来看看吧。 当前PUBG的图像设置的重要性…
阅读更多...
彝族民居一大特色——土掌房

彝族民居一大特色——土掌房

彝族民居一大特色——土掌房在彝区，各地、各支系传承的居室建筑形式是多种多样的，并与当地的居住习俗有密切关联，从村寨的聚落到住宅的地址；从房间的分置到什物的堆放；从建筑结构到民居信仰和禁忌，都表现出…
阅读更多...
Linux知识（未完成）

Linux知识（未完成）

一、Linux 1.1 Linux 的应用领域 1.1.1 个人桌面领域的应用 此领域是 Linux 比较薄弱的环节但是随着发展，近几年 linux 在个人桌面领域的占有率在逐渐提高 1.1.2 服务器领域 linux 在服务器领域的应用是最高的 linux 免费、稳定、高效等特点在这里得到了很好的…
阅读更多...
探寻爬虫世界01：HTML页面结构

探寻爬虫世界01：HTML页面结构

文章目录 一、引言（一）背景介绍：选择爬取51job网站数据的原因（二）目标与需求明确：爬取51job网站数据的目的与用户需求 二、网页结构探索（一）51job网页结构分析1、页面组成&#xff1…
阅读更多...
【Nuxt3】nuxt3目录文件详情描述：.nuxt、.output、assets、public、utils（一）

【Nuxt3】nuxt3目录文件详情描述：.nuxt、.output、assets、public、utils（一）

简言 nuxt3的中文网站 上次简单介绍了nuxt3创建项目的方法和目录文件大概用处。 这次详细说下.nuxt、.output、assets、public、utils五个文件夹的用处。 正文 .nuxt Nuxt在开发中使用.nuxt/目录来生成你的Vue应用程序。 为了避免将开发构建的输出推送到你的代码仓库中&…
阅读更多...
博客摘录「 性能优化：__builtin_expect详解」2024年1月15日

博客摘录「 性能优化：__builtin_expect详解」2024年1月15日

性能优化：__builtin_expect详解___builtin_expect对性能的影响-CSDN博客https://blog.csdn.net/chudongfang2015/article/details/75710848 #define LIKELY(x) __builtin_expect(!!(x), 1) __builtin_expect宏定义中为何写成!!(x)？ 首先__buildin_expec…
阅读更多...
从零开发短视频电商 PaddleOCR Java推理 （四）优化OCR工具类

从零开发短视频电商 PaddleOCR Java推理 （四）优化OCR工具类

从零开发短视频电商 PaddleOCR Java推理 （四）优化OCR工具类 参考：https://github.com/mymagicpower/AIAS/blob/9dc3c65d07568087ac71453de9070a416eb4e1d0/1_image_sdks/ocr_v4_sdk/src/main/java/top/aias/ocr/OcrV4RecExample.java import …
阅读更多...
晶振线路匹配需要进哪一些测试

晶振线路匹配需要进哪一些测试

晶振线路匹配的测试对于确保晶振性能的稳定性和可靠性至关重要，那么晶振线路匹配需要进哪一些测试呢? 晶振线路匹配测试是确保晶振性能稳定性和可靠性的关键环节。为了全面评估晶振的性能，需要进行一系列的测试，包括负载电容测试、驱动电平…
阅读更多...
计算3种颜色粉刷立方体的所有可能方法

计算3种颜色粉刷立方体的所有可能方法

“（伯恩赛德引理）设G是一个作用在有限集合X上的有限群，令N为轨道的个数，则 其中Fix(x)是被τ固定的x∈X的个数.“ *高等近世代数 Joseph J. Rotman P78 “设G是一个有限群，作用在集合X上。对每个g属于G令X^g表示X中在g…
阅读更多...
在 Linux 本地部署 stable diffusion

在 Linux 本地部署 stable diffusion

由于工作站安装的是 ubuntu，卡也在上面，就只能在 ubuntu 上部署安装 stable diffusion 了。另外，Linux 上使用 stable diffusion 也会方便很多。 1 准备工作 NVIDIA 官网下载驱动，主要是为了规避多卡驱动不同的问题。由于本机是…
阅读更多...
机器学习_梯度下降

机器学习_梯度下降

文章目录 什么是梯度梯度下降梯度下降有什么用 什么是梯度 计算梯度向量其几何意义，就是函数变化的方向，而且是变化最快的方向。对于函数f(x)，在点(xo,yo)，梯度向量的方向也就是y值增加最快的方向。也就是说，沿着梯度…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023