一键解锁百变发型!上交联合Tiamat震撼发布Stable-Hair发型移植黑科技!

Stable-Hair 是一种基于扩散的新型发型转移方法,可以稳健地转移各种现实世界的发型。在各种具有挑战性的发型上实现了高度详细和高保真度的转移,效果令人印象深刻,同时保留了原始身份内容和结构。

相关链接

论文链接: https://arxiv.org/pdf/2407.14078

Github链接: https://xiaojiu-z.github.io/Stable-Hair.github.io/

论文阅读

Stable-Hair:通过扩散模型实现真实世界中的头发转移

摘要

目前的头发移植方法难以处理多样而复杂的发型,因此限制了它们在现实场景中的适用性。在本文中,我们提出了一种基于扩散的新型头发移植框架Stable-Hair,它可以将各种现实世界的发型稳健地移植到用户提供的脸上,以供虚拟试穿。为了实现这一目标,我们的 Stable-Hair 框架设计为两阶段管道。在第一阶段,我们训练秃头转换器和稳定扩散,以从用户提供的脸部图像中去除头发,从而得到秃头图像。在第二阶段,我们专门设计了三个模块:头发提取器、潜在身份网络和头发交叉注意层,以将目标发型以高度详细和高保真度移植到秃头图像中。具体来说,头发提取器经过训练,可以使用所需的发型对参考图像进行编码。为了保持源图像和迁移结果之间身份内容和背景的一致性,我们使用潜在身份网络对源图像进行编码。借助 U-Net 中的头发交叉注意层,我们可以准确而精确地将高度详细和高保真的发型转移到秃头图像中。大量实验表明,我们的方法在现有的头发转移方法中提供了最先进 (SOTA) 的结果。

背景

随着数字媒体和虚拟现实应用的日益普及,个性化虚拟化身和虚拟试穿系统已成为一个重要的研究领域。头发移植是该领域最具挑战性的任务之一。近年来,生成对抗网络 (GAN) 的进步推动了该领域的重大进展。然而,这些基于 GAN 的方法通常难以处理现实场景中遇到的多样而复杂的发型,这严重限制了它们在实际应用中的有效性。

方法

我们的 Stable-Hair 包含两个阶段,可实现高质量的头发转移。首先,将用户的输入源图像转换为秃头代理图像。此转换是使用预训练的稳定扩散 (SD) 模型与专门的秃头转换器结合完成的。在第二阶段,我们使用预训练的 SD 模型和头发提取器将参考头发转移到秃头代理图像上。头发提取器负责捕捉参考头发的复杂细节和特征。然后通过新添加的头发交叉注意层将这些特征注入 SD 模型。通过利用这两个阶段,我们的方法实现了高度详细和高保真的头发转移,产生自然且视觉上吸引人的效果。

在不同的设计方案中积累的色彩偏差。

合成训练数据:我们提出了一个自动化的数据生成管道来生成(原始图像,参考图像,秃顶代理图像)用于训练的三元组。该管道使用ChatGPT生成文本提示,使用stable Diffusion Inpainting模型生成参考图像,使用我们预训练的Bald转换器将原始图像转换为Bald代理图像。

效果展示

视觉比较

与其他方法相比,我们的方法实现了更精细和稳定的发型转换,而无需精确的面部对齐或明确的面具进行监督。

跨域传输

我们的方法非常稳健,能够跨不同领域转移发型,这是以前的方法无法实现的。这证明了我们的方法在发型转移领域取得了重大进展

更多结果

我们还提出了一系列额外的结果来证明我们的方法的稳健性和优越性。

结论

在本文中,我们介绍了 Stable-Hair,这是第一个使用扩散技术解决发型转换的框架。这种方法标志着一项重大进步,实现了以前无法实现的稳定且细粒度的真实世界发型转换。Stable-Hair 具有两阶段管道。第一阶段使用秃头转换器将源图像转换为秃头代理图像。第二阶段包括头发提取器、潜在身份网络和头发交叉注意层,以将目标发型准确地转移到秃头图像。头发提取器使用所需发型对参考图像进行编码,而潜在身份网络保留身份内容和背景一致性。U-Net 中的头发交叉注意层确保精确且高保真的发型转换。大量实验表明,Stable-Hair 实现了商业级发型转换能力,为该领域树立了新标准。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/50177.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【SpringBoot】URL映射之consumes和produces匹配、params和header匹配

4.2.3 consumes和produces匹配 //处理request Content-Type为"application/json"类型的请求 RequestMapping(value"/Content",methodRequestMethod.POST,consumes"application/json") public String Consumes(RequestBody Map param){ return…

windows远程免密码登陆

1、按下WindowsR,打开运行窗口,输入gpedit.msc 2、依次选择计算机设置-- Windows 设置--安全设置--本地策略--安全选项 3、双击进入--帐户:使用空白密码的本地帐户只允许进行控制台登录 双击打开 参考 百度安全验证 Win11提示凭证不足无法访问这台打…

C++ std::vector及使用时的常见优化策略

std::vector 是 C 标准模板库&#xff08;STL&#xff09;中的一个动态数组容器。它提供了动态大小调整和高效的随机访问功能&#xff0c;非常适合需要频繁插入、删除和访问元素的场景。std::vector 是在 <vector> 头文件中定义的&#xff0c;并且位于 std 命名空间中。 …

案例实践 | 基于长安链的福建省气象综合治理区块链平台

案例名称-【福建省气象综合治理区块链平台】 ■ 实施单位 福建福链科技有限公司 ■ 业主单位 福建省气象信息中心 ■ 上线时间 2023年10月 ■ 用户群体 福建省气象、防灾减灾相关单位 ■ 用户规模 全省2100余个气象站、气象局以及防灾减灾部门 案例背景与解决痛点 …

跟代码执行流程,读Megatron源码(四)megatron初始化脚本initialize.py之initialize_megatron()分布式环境初始化

在前文中&#xff0c;我们讲述了pretrain函数的执行流程&#xff0c;其首要步骤是megatron分组的初始化与环境的配置。本文将深入initialize_megatron函数源码&#xff0c;剖析其初始化分布式训练环境的内部机制。 注&#xff1a;在此假设读者具备3D并行相关知识 一. initiali…

【MARL】MADDPG + attention 实现(+论文解读)

文章目录 前言注意力机制论文里的attention回顾知识-MADDPG讲解1.Q的定义2.Q的恒等式3.论文里的attention4.好处 实现 和 修改结果展示原论文代码 翻改版修改后原maddpg代码 前言 导师让在MADDPG上加一个注意力机制&#xff0c;试了很多种&#xff0c;下面的参考的论文的效果最…

C++——保持原有库头文件不变的情况下,成功编译运行工程

问&#xff1a;想要保持原来库方式&#xff0c;应该怎么操作呢&#xff1f; 答&#xff1a;如果想保持原来的方式&#xff0c;则只需要将 库所在路径 tracker/detector/rknn_model_zoo/utils 加入到 工程库包含中即可。

基于jeecgboot-vue3的Flowable流程-自定义业务表单流程历史信息显示

因为这个项目license问题无法开源&#xff0c;更多技术支持与服务请加入我的知识星球。 1、对于自定义业务表单的流程历史记录信息做了调整&#xff0c;增加显示自定义业务表单 <el-tab-pane label"表单信息" name"form"><div v-if"customF…

ESP32开发进阶:OLED屏幕显示旋转的3D模型

一、硬件接线 我选择的是最常见的一块板子&#xff1a;ESP-WROOM-32&#xff0c;硬件接线如下&#xff1a; 21 - SDA 22 - SCL 二、Arduino端代码 我们使用Arduino和Adafruit SSD1306库在OLED显示屏上绘制和旋转一个3D立方体。 首先&#xff0c;定义立方体顶点和…

国际金融入门:国际收支与平衡表解析

在全球化的经济体系中&#xff0c;国际金融已成为我们日常生活不可或缺的一部分。了解国际金融的基础知识&#xff0c;可以帮助我们更好地理解世界经济的动态和趋势。今天&#xff0c;我们将深入探讨国际收支及其平衡表&#xff0c;以及它们是如何影响国家经济。 国际收支&…

2024.07-电视版免费影视App推荐和猫影视catvod、TVBox源(最新接口地址)

文章目录 电视版免费影视App推荐精选列表&#xff08;2024.07可用筛选列表&#xff09;&#xff1a;2024.07可用筛选列表&#xff0c;盲盒资源打包合集下载安装说明真的是盲盒&#xff1f; 猫影视catvod、TVBoxTVBox源推荐可用列表目前不可用列表&#xff08;前缀为错误状态码&…

探索 Odoo 前端源码

今天我们要深入探索一段 Odoo 前端源码。这段代码看似简单,却隐藏着 Odoo 应用高效运行的秘密。我们一起来解读这段源码,了解它在 Odoo 中的作用,并教你如何正确使用它。准备好了吗?让我们开始这段奇妙之旅吧! /** @odoo-module **/import { registry } from "./cor…

CSS(七)——CSS 列表和CSS Table(表格)

目录 CSS 列表 列表 作为列表项标记的图像 列表 - 简写属性 移除默认设置 所有的CSS列表属性 CSS 表格 表格边框 折叠边框&#xff08;border-collapse&#xff09; 表格宽度和高度 表格文字对齐 表格填充 表格颜色 CSS 列表 CSS 列表属性作用如下&#xff1a; 设…

mysql 主从复制 读写分离 MHA

mysql 的主从复制和读写分离&#xff1a; 读写分离和MHA高可用的前提 主从复制 主从复制的模式&#xff1a; 1.mysql的默认模式 异步模式&#xff1a;主库在更新完事务之后会立即把结果返回给从服务器&#xff0c;不关心从库是否接收到&#xff0c;是否处理成功 网络问题可能…

大模型学习应用 1:用 itrex 创新高效实现 LLM 的部署和微调

用 itrex 创新高效实现 LLM 的部署和微调 - 项目作业 目录 准备工作Task 1 完成在线环境的工具包安装&#xff0c;包含 基础环境包、Extension for Transformers 包、加速计算包Task 2 利用 Intel Extension for Transformers 部署通义千问 Qwen-7B Chat&#xff0c;并根据 pr…

zynqmpsoc On-chip Memory

zynqmpsoc 开发手册 On-chip Memory 章节 Introduction The on-chip memory (OCM) contains 256 KB of RAM. It supports a 128-bit AXI slave interface port. The OCM has eight exclusive access monitors that can simultaneously monitor up to eight exclusive access tr…

前端系列-7 Vue3响应式数据

1.响应式数据和实现 响应式数据的核心是当数据模型发生变化时&#xff0c;与之相关(使用该数据模型)的视图或组件可以自动更新&#xff0c;以反映最新的数据状态。 实现原理是数据劫持、依赖收集和分发更新&#xff0c;数据劫持是一种AOP策略。 在vue2中通过Object.defineProp…

(四)js前端开发中设计模式之简单工厂模式

简单工厂模式,又叫静态工厂方法&#xff0c;由一个工厂对象决定创建出哪一种产品类的实例&#xff0c;主要用来创建同一类对象 let LoginAlert function (msg) {this.content msg } LoginAlert.prototype {show() {const div document.createElement(div)div.style.cssText…

C#开发的全屏图片切换效果应用 - 开源研究系列文章 - 个人小作品

这天无聊&#xff0c;想到上次开发的图片显示软件《 PhotoNet看图软件 》&#xff0c;然后想到开发一个全屏图片切换效果的应用&#xff0c;类似于屏幕保护程序&#xff0c;于是就写了此博文。这个应用比较简单&#xff0c;主要是全屏切换换图片效果的问题。 1、 项目目录&…

设计模式实战:文件系统的设计与实现

问题描述 设计一个文件系统模拟器,用户可以创建文件和文件夹,对文件进行复制、删除等操作,并支持克隆文件和文件夹。系统需要实现组合模式来处理文件和文件夹的层次结构,使用命令模式来封装操作,并利用原型模式实现文件和文件夹的克隆。 设计分析 组合模式 组合模式用…