Unsupervised Condition GAN

Unsupervised Condition GAN主要有两种做法:

  • Direct Transformation

直接输入domain X图片,经过Generator后生成对应的domain Y的图像。这种转化input和output不能够差太多。通常只能实现较小的转化,比如改变颜色等。

  • Projection to Common Space

先学习一个X domain的encoder,把特征抽出来;然后输入Y domain的decoder,生成对应的图片。

Direct Transformation

训练一个G,它能够将X domain的图片转换为 Y domain的图片。现在有一堆X domain的数据,一堆Y domain的数据,但是合起来的pair没有。因此需要训练一个Y domain的discriminator,鉴别一张图片是不是Y domain 的图片。存在的一个问题就是generator输出的图像可能和输入无关。有三种方法可以解决此问题。

直接无视(generator shallow)

在generator 比较shallow的情况下,输入和输出会特别像,这时候就不需要额外的处理。

利用预训练网络

用一个已训练好的网络,把generator的输入和输出转换成两个embedding vector;在训练的时候,让这两个embedding的vector尽可能的相似。

Cycle GAN

在训练一个X domain到Y domain的generator的同时,训练一个Y domain到X domain的generator;目标就是输入图像和两次转换之后的图像越接近越好。

训练一个Y domain到X domain同样的结构,就构成双向结构。

Cycle GAN存在的问题:cycle GAN会把输入的有些部分隐藏起来,然后再output的时候再呈现出来。

StarGAN

StarGAN主要用于多个domain之间的转换。具体做法如下:

  1. 训练一个discriminator:鉴别图片的真假;判断这张图片属于哪个domain;
  2. 训练一个generator,输入是一张图片以及目标domain,输出目标domain的图片;
  3. 将生成的图片以及原始图片的domain输入给同一个generator,输出一张新的图片,新的图片和2中输入的图片越接近越好;
  4. Discriminator要做两件事:鉴别2中输出图片的真假;判断这张图片是否属于目标domain。

下面是实际的例子。

Projection to Common Space

训练目标:真人图片输入到ENx ,可以提取出真人的特征,然后经过二次元的DEx 得到对应的二次元图片;同理二次元图片经过特征提取,能够产生真人的图片。

一种训练方法就是:分别训练两个auto-encoder生成真人照片和二次元照片。但是两个auto-encoder是分开训练的,两者之间没有关联,所以在latent space中每个维度的表示属性可能是不一样的。

可以使用以下方法解决关联问题:

共享参数

让不同domain的decoder的最后几个hidden layer和encoder的最前面几个hidden layer的参数共用;通过共享参数,将不同domain的image压缩到同一个latent space,即同样的dimension 表示同样的属性。

增加判别网络

用一个discriminator来判断特征vector是来自于X domain的image还是来自于Y domain的image。两个encoder就是要骗过这个discriminator。当discriminator无法判别的时候,说明两者被encode到同一个空间。

Cycle Consistency

将一张image经过X encoder变成code;再经过Y decoder还原成image;然后再输入到Y encoder,再通过X decoder把它还原成image;然后希望input和output越接近越好。

semantic consistency

让原始图片通过 X encoder 输出 code,再让这个 code 通过Y decoder和 Y的encoder生成另一个 code,最后让着两个code越接近越好。这种技术常用于 DTN 和 SGAN 。

  • Voice Conversion(声音转换)

过去,用的监督学习的方法,要有一堆对应的声音;现在只要收集两组声音,不用讲一样的内容就可以进行训练。

 

 

 

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/159381.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

pyinstaller打包生成的.spec文件解析

PyInstaller是一个用于将Python程序打包为可执行文件的工具。它的.spec文件是用来配置打包过程的脚本文件。 .spec文件是一个Python脚本,用于指定PyInstaller如何处理源代码、依赖项、资源文件等。它包含了一系列的参数和选项,用于控制打包的行为和生成…

【C++】:STL中的string类的增删查改的底层模拟实现

本篇博客仅仅实现存储字符(串)的string 同时由于Cstring库设计的不合理,我仅实现一些最常见的增删查改接口 接下来给出的接口都是基于以下框架: private:char* _str;//思考如何不用constsize_t _size;size_t _capacity;//这样写可以const static size_t…

【Windows 常用工具系列 13 -- Confluence 如何快速输入代码块 code block】

文章目录 Confluence 如何快速输入代码块方法二 Confluence 如何快速输入代码块 在使用使用 confluence 进行文档编辑时,有时需要贴上部分代码,但是直接贴代码在 confluence上,显示效果不是太好看,所以confluence 给我们提供了符…

SpringBoot启动后自动打开浏览器访问项目

更简单的一个方法 Runtime.getRuntime().exec("rundll32 url.dll,FileProtocolHandler " url); Springboot项目启动后自动打开浏览器访问(超实用)_浏览器访问springboot项目-CSDN博客 Springboot项目启动后自动打开浏览器访问 1、在Springboot项目中每次启动完项…

PostgreSQL (Hologres) 日期生成

PostgreSQL 生成指定日期下一个月的日期 (在Hologres中,不支持递归查询) SELECTto_char(T, YYYYMMDD)::int4 AS date_int,date(T) AS date_str,date_part(year, T)::int4 AS year_int,date_part(month, T)::int4 AS month_int,date_part(da…

图像处理Scharr 算子

Scharr算子是用于图像边缘检测的一种算子,它类似于Sobel算子,但是对边缘的响应更加强烈。它可以用来检测图像中的边缘、轮廓等特征。 原理: Scharr算子是一种卷积核(也称为卷积模板),用于计算图像的梯度。…

前端使用JWT时无法获取Authorization请求头

是因为后端没有解决跨域问题: 补充下面的代码即可 response.setHeader("Access-Control-Expose-Headers", "Authorization");

1.8w 字详解 SQL 优化

来源:捡田螺的小男孩 1、MySQL的基本架构 2、SQL优化 3、explain执行计划常用关键字详解 很多朋友在做数据分析时,分析两分钟,跑数两小时? 在使用SQL过程中不仅要关注数据结果,同样要注意SQL语句的执行效率。 本文…

python枚举类似java枚举中的写法

类似于java这种定义枚举变量的方式,一个变量(实则就是一个枚举对象变量)可以写入多个参数: package test;public enum TestEnum {SUCCESS("0000","成功");TestEnum(String code, String msg) {this.code code;this.msg msg;}priv…

国内怎么投资黄金,炒黄金有哪些好方法?

随着我国综合实力的不断强大,投资市场的发展也日臻完善,现已成为了国际黄金市场的重要组成部分,人们想要精准判断金市走向,就离不开对我国经济等信息的仔细分析。而想要有效提升盈利概率,人们还需要掌握国内黄金投资的…

用css实现原生form中radio单选框和input输入框的hover样式以及聚焦focus的样式

一.问题描述:用css实现原生form中radio单选框和input的hover已经focus的样式 在实际的开发中,一般公司ui都会给效果图,比如单选按钮radio样式,input输入框hover的时候样式,以及focus的时候样式,等等&#…

【python学习】基础篇-常用模块-hmac模块:基于密钥的消息认证码(HMAC)算法,用于验证消息的完整性和身份认证

Python中的hmac模块提供了基于密钥的消息认证码(HMAC)算法,用于验证消息的完整性和身份认证。 它可以用于保护敏感数据,例如密码、API密钥等。 以下是hmac模块中一些常见函数的用法: 在实际应用中,您可能需要根据具体需求调整密钥…

Ubuntu安装PCAN-View

目录 一. Hardware 二. Software 2.1 安装驱动 2.2 安装PCAN-View QA 本文介绍如何安装linux版的PCAN-View。 PCAN-View:用来抓包分析CAN/CANFD报文。Hardware: PEAK-System Linux generic #37~22.04.1-Ubuntu SMP PREEMPT_DYNAMIC Mon Oct 9 15:34:04 UTC 2…

Java 最简单的实现 AES 加密和解密

AES简介 AES(Advanced Encryption Standard)高级加密标准,是一种被广泛使用的对称加密算法,用于加密和解密数据。它曾经是美国政府的一个机密标准,但现在已成为公开的加密算法,并被广泛使用于商业、政府及…

第四代智能井盖传感器:智能井盖位移监测

当城市道路上的井盖出现异常时,可能会导致突发的交通事故或人员受伤事件。而传统的井盖监测往往依靠人力进行巡查,这种方式可能会因为监测不及时或不准确而带来问题。但是现在有了智能井盖传感器,它们成为了城市地下生命线的守护者。这种智能…

【开源】基于Vue.js的开放实验室管理系统的设计和实现

项目编号: S 013 ,文末获取源码。 \color{red}{项目编号:S013,文末获取源码。} 项目编号:S013,文末获取源码。 目录 一、摘要1.1 项目介绍1.2 项目录屏 二、研究内容2.1 实验室类型模块2.2 实验室模块2.3 实…

吞吐量(TPS)、QPS、并发数、响应时间(RT)概念

https://blog.csdn.net/JGMa_TiMo/article/details/118481054 响应时间(RT) 响应时间是指系统对请求作出响应的时间。直观上看,这个指标与人对软件性能的主观感受是非常一致的,因为它完整地记录了整个计算机系统处理请求的时间。由于一个系统通常会提供许…

净利降4成、股价腰斩,戎美困在“淘系女装第一股”

今年的“双11”静悄悄。 作为“淘系女装第一股”,戎美却拒绝参加“双11”。 戎美作为一家淘宝女装店,喊出“从不打折,从不参加任何促销”的口号;尽管戎美采取独特的营销策略,但其业绩承压困局也写在最新的三季报里。…

基于SpringBoot+Redis实现查找附近用户的功能

前言 简单记录一下使用Redis的GEO命令,SpringDataRedis提供了十分简单的地理位置定位的功能,实现查找附近用户的功能。 一、Redis的GEO命令之GEOADD、GEORADIUS命令 1.GEOADD 命令 (1)用法:GEOADD key [longitude]…