AI绘画:使用Stable Diffusion ComfyUI进行换脸:IPAdapter FaceID全面教程

        在数字艺术和媒体编辑领域,换脸技术已经成为一种流行且强大的工具。它允许创作者将一个人物的面部特征无缝地转移到另一个人物上,创造出令人信服的视觉作品。Stable Diffusion ComfyUI提供了一个高效的平台,让用户能够轻松地实现换脸。本文将详细介绍如何使用ComfyUI中的IPAdapter FaceID插件进行换脸,从安装到实际操作,一步步引导你完成整个过程。

换脸技术简介

       换脸技术通过深度学习算法,识别并提取面部特征,然后将这些特征应用到目标图像上。在AI绘画中,保持角色一致性的方法之一就是通过换脸来实现。市面上有许多换脸插件,如Reactor、FaceFusion、Roop等,而IPAdapter推出的FaceID模型因其高效性和准确性而广受欢迎。

安装IPAdapter FaceID插件

在使用IPAdapter FaceID之前,我们需要确保ComfyUI是最新版本,以便兼容最新的插件。

更新ComfyUI

  1. 打开ComfyUI管理器。
  2. 点击“更新全部”以更新ComfyUI到最新版本。
  3. 如果你位于大陆境内,可能需要切换不同的网络环境(如不同的VPN节点)来成功更新。

安装IPAdapter FaceID Plus节点

有两种方法可以安装IPAdapter FaceID Plus节点:

方法一:通过管理器安装
  1. 打开ComfyUI管理器。
  2. 点击“安装节点”。
  3. 搜索“ComfyUI_IPAdapter_plus”并点击安装。

方法二:手动安装
  1. 访问IPAdapter FaceID Plus的GitHub主页:GitHub - cubiq/ComfyUI_IPAdapter_plus。
  2. 下载ZIP压缩包。
  3. 将下载的ZIP压缩包解压到ComfyUI目录下的custom_nodes目录中。
  4. 如果需要,可以删除文件夹名后的“-main”。

准备工作

在开始换脸之前,确保你已经安装了所有必要的模型和依赖项。

安装模型

  1. 下载IPAdapter模型和CLIP_VISION模型。
  2. 将模型文件存放在ComfyUI的models目录下。

模型文件的huggingface下载地址:https://huggingface.co/h94/IP-Adapter-FaceID/tree/main

ipadapter总共有4个版本的模型,每个模型都包含1个主模型和1个lora模型,建议将这4个版本的模型都下载下来,分别放入相对应的文件夹中:

主模型文件夹:“\ComfyUI_windows_portable\ComfyUI\models\ipadapter”

lora模型文件夹:“\ComfyUI_windows_portable\ComfyUI\models\loras\ipadapter”

点击“管理器”,选择“安装模型”,搜索关键词“clip”,将4个“clip_vision”模型都安装好,其中2个是1.5版的模型,2个是SDXL版的模型,虽然截至到本文发布的时候ipadapter尚未推出faceID的SDXL版模型,但是相信不就之后就会推出SDXL版!

 

安装InsightFace

  1. 检查Python版本是否兼容。
  2. 下载相应的.whl文件。
  3. 安装InsightFace库。

insightface是一个Python库,不管是运行reactor插件还是其他的换脸插件,都会用到这个Python库,由于ComfyUI是一个独立的虚拟环境,所以安装insightface库的方法有点特别

首先我们要查看下我们的comfyUI的虚拟环境中的Python版本

第一步:找到根目录下的“python_embeded”文件夹,进入到该文件夹中;

第二步:在该文件夹的路径栏输入“cmd”;

第三步:在弹出的cmd命令窗口中输入“python.exe -V”命令,此时我们就可以查看到我们ComfyUI中的Python版本,我的是“Python 3.11.6”版;

我们在上面一步已经查看了我们自己的Python版本,接下来根据自己的Python版本下载相对应的whl文件:

3.10版:insightface-0.7.3-cp310-cp310-win_amd64.whl

3.11版:insightface-0.7.3-cp311-cp311-win_amd64.whl

将下载下来的whl文件放在“\ComfyUI_windows_portable\python_embeded”文件下面

python -m pip install -U pip
python.exe -m pip install insightface-0.7.3-cp311-cp311-win_amd64.whl

 

创建换脸工作流

现在,终于。当我们顺利完成了上面的所有安装之后,我们已经准备好开始创建换脸工作流。使用“ComfyUI_IPAdapter_plus”节点来进行换脸!比起reactor等换脸插件,“ComfyUI_IPAdapter_plus”的换脸行为发生在图片生成之前,所以最后的效果会更加自然!下面是一个换脸操作的案例:

基础设置

  1. 打开ComfyUI并创建一个新的工作流。
  2. 添加必要的节点,包括“FaceID工作流”节点。

工作流注意事项

  • 确保所有节点正确连接。
  • 根据需要调整节点参数。
  • 检查模型版本是否与插件兼容。

开始换脸

  1. 导入源图像和目标图像。
  2. 调整FaceID工作流中的参数,如换脸强度、面部特征匹配等。
  3. 运行工作流并查看换脸效果。

工作流注意事项说明:

  1. ipadapter模型和lora模型一定要匹配;
  2. 可以根据自己的需要调整lora的权重,数字越大上传的参考图片对生成的图片影响越大,包括画质和构图,适当降低该权重,可以让AI发挥的空间越大,画面越自然,但是换脸效果可能会降低;
  3. ipadapter模型中的plus版和plusV2版本在换脸效果上并不比基础版要好,但是在画质上会相对较好;
  4. 工作流的最后面的组是高清放大和面部修复,该组我已经默认设置为“停用”模式,如果你有需要可以右键“启用该组节点”;
  5. 高清放大节点中的“降噪”参数设置得越小,高清放大之后的图片人物面部就越接近原图,过大的“降噪”参数会让高清放大之后的人物改变人脸的样式,该参数建议设置在0.05以下!

 

结语

通过上述步骤,你现在应该能够使用Stable Diffusion ComfyUI和IPAdapter FaceID插件轻松地进行换脸操作。记住,实践是掌握任何技术的最佳方式,所以不断尝试和调整参数,直到你达到满意的效果。如果你在过程中遇到任何问题,可在相关社区寻求帮助。


请注意,本文中提到的链接和资源可能需要在实际环境中进行验证和调整。此外,换脸技术涉及隐私和伦理问题,使用时应确保遵守相关法律法规,并尊重个人隐私权。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/792669.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Useros.environ[“CUDA_VISIBLE_DEVICES“] = “1“

在Python中,os.environ["CUDA_VISIBLE_DEVICES"] "1"这行代码的作用是设置环境变量CUDA_VISIBLE_DEVICES为"1"。这通常用在基于CUDA的应用程序中,尤其是在使用NVIDIA GPU进行深度学习开发时。环境变量CUDA_VISIBLE_DEVIC…

某奇蓝牙平台开发要点

zkhengyang,可申请加入数字音频系统研究开发交流答疑群 0 芯片型号 WQ7034AX 分为两种类型sdk,2.1版本sdk,以及支持LE Audio版本的SDK 1 开发环境搭建,分为linux环境和windows环境,使用linux方式搭建方便在服务器上…

JSON的定义和基本使用

1、JSON的特点: JSON是一种轻量级的数据交换格式,是由字符串化的键值对构成。基于网络的前后端通信,数据在服务端和客户端之间进行传输,采用的就是JSON的格式来进行交互。JSON采用完全独立于语言的文本格式,JSON的数据格式完全独…

日期(蓝桥备赛)

1.顺子日期 问题描述 本题为填空题,只需要算出结果后,在代码中使用输出语句将所填结 果输出即可。 小明特喜欢顺子。顺子指的就是连续的三个数字: 123、 456等。顺 子日期指的就是在日期的yyyymmdd示法冲,存在任意连续的三 位数是一个顺子的…

OpenHarmony相机和媒体库-如何在ArkTS中调用相机拍照和录像。

介绍 此Demo展示如何在ArkTS中调用相机拍照和录像,以及如何使用媒体库接口进行媒体文件的增、删、改、查操作。 本示例用到了权限管理能力ohos.abilityAccessCtrl 相机模块能力接口ohos.multimedia.camera 图片处理接口ohos.multimedia.image 音视频相关媒体业…

了解以太坊虚拟机(EVM)

了解以太坊虚拟机(EVM) 以太坊虚拟机(Ethereum Virtual Machine,简称EVM)是以太坊网络的核心组件之一,它承担着智能合约执行的重要任务 特点 智能合约执行环境:EVM提供了一个安全的环境&#xf…

易宝OA ExecuteSqlForDataSet SQL注入漏洞复现

0x01 产品简介 易宝OA系统是一种专门为企业和机构的日常办公工作提供服务的综合性软件平台,具有信息管理、 流程管理 、知识管理(档案和业务管理)、协同办公等多种功能。 0x02 漏洞概述 易宝OA ExecuteSqlForDataSet接口处存在SQL注入漏洞,未经身份认证的攻击者可以通过…

韩顺平Java | C24 MySQL数据库

MySQL安装和配置 MySQL5.7(稳定)、Navicat、SQLyog MySQL三层结构:数据库管理系统DBMS-数据库DB-表Table(行/记录-用对象表示) 使用命令行窗口连接MySQL数据库 net stop mysql服务名 net start mysql服务名 mysql -h 主机名 -P端口 -u用户…

k8s部署微服务例子

一、部署服务 需要部署minio、nacos、mysql、consul、elasticsearch、视频解析服务、nfs、skywalking-oap及ui。 二、三个微服务程序 minio服务解析视频-》上传到minio进行存储,构造领域对象信息保存到hive(hive on spark)异步处理-》元数据…

第十三题:天干地支

题目描述 古代中国使用天干地支来记录当前的年份。 天干一共有十个,分别为:甲(jiǎ)、乙(yǐ)、丙(bǐng)、丁(dīng)、戊(w)、己&a…

centos 如何安装nvidia-container-runtime

在CentOS上安装nvidia-container-runtime,首先需要确保你的系统已经安装了NVIDIA的驱动和docker。以下是安装步骤: 确保Docker已安装: sudo yum install -y yum-utils sudo yum-config-manager --add-repo https://download.docker.com/lin…

最新流行IT技术

最新流行IT技术 前端技术对应链接Reacthttps://react.docschina.org/docs/getting-started.htmlVuehttps://cn.vuejs.org/v2/guide/Ant-Designhttps://ant.design/docs/react/introduce-cnMateriaEl-UIhttps://mui.com/zh/getting-started/usage/Echartshttps://echarts.apach…

Acwing-石子合并

282. 石子合并 - AcWing题库 所需知识&#xff1a;区间dp 区间dp模板题。 区间dp常用模板&#xff1a; for (int len 1; len < n; len) { // 遍历区间的长度for (int i 1; i len - 1 < n; i) { // 枚举区间起点int j i len - 1; // 区间…

STM32-05基于HAL库(CubeMX+MDK+Proteus)串行通信案例(中断方式接收命令)

文章目录 一、功能需求分析二、Proteus绘制电路原理图三、STMCubeMX 配置引脚及模式&#xff0c;生成代码四、MDK打开生成项目&#xff0c;编写HAL库的功能代码五、运行仿真程序&#xff0c;调试代码 一、功能需求分析 在中断机制实现按键检测的案例之后&#xff0c;我们介绍串…

无问芯穹 MaaS AI 平台公测免费试用笔记:二

上一篇笔记中&#xff0c;聊过了无问芯穹的 MaaS 服务中的“虚拟机”产品。本篇文章来聊聊最近宣传中提到的大手笔免费百亿 Token 用量的“大模型服务平台” 吧。 分享下这个支持异构芯片推理的国产 “Replicate”、模型市场服务使用的经验和小技巧。 写在前面 本篇文章根据…

004 CSS介绍2

文章目录 css最常用属性link元素进制css颜色表示浏览器的渲染流程(不含js) css最常用属性 font-size 文字大小 color:前景色(文字颜色) background-color:背景色 width:宽度 height:高度 link元素 也可以用来创建站点图标 link元素常见属性 href:指定被链接资源的URL rel:指…

AcWing-游戏

1388. 游戏 - AcWing题库 所需知识&#xff1a;博弈论&#xff0c;区间dp 由于双方都采取最优的策略来取数字&#xff0c;所以结果为确定的&#xff0c;有可能会有多个不同的过程&#xff0c;但是我们只需要关注最终结果就行了。 方法一&#xff1a; 定义dp[i][j] 表示区间…

【Linux】-进程知识铺垫①计算机硬件的组织:冯诺依曼体系结构详细解读②关于操作系统对软硬件及用户的意义

目录 ​编辑 1.关于计算机的体系结构 1.1 冯诺依曼体系结构的诞生 2.冯诺依曼体系结构 2.1 cpu:运算器&#xff1a;更多的是让cpu具有特殊的数据计算功能&#xff1a; 2.2 控制器 2.3输入设备 2.4输出设备 3.计算机各个硬件设备之间的关系 4.内存与计算机效率 5.关于为什么总说…

从A项目跳转到B项目,Vue两个不同项目之间实现跳转

最近遇到一个需求,就是有两个不同的项目,姑且叫项目A与项目B吧,前端技术栈都是Vue,现在登录成功A项目后希望点击A项目里某个按钮可以跳转到B项目里的某个页面,然后点击B项目里某个按钮可以跳回到A项目里的某个页面。 实现思路是:当用户点击A项目的跳转按钮时,通过window…

springboot和redis与jwt实现jwt的token双重拦截

添加自定义拦截器 package com.juejiu.config;import com.juejiu.utils.TokenGenerate; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.data.redis.core.RedisTemplate; import org.springframework.stereotype.Component; imp…