AI绘画:使用Stable Diffusion ComfyUI进行换脸:IPAdapter FaceID全面教程

        在数字艺术和媒体编辑领域,换脸技术已经成为一种流行且强大的工具。它允许创作者将一个人物的面部特征无缝地转移到另一个人物上,创造出令人信服的视觉作品。Stable Diffusion ComfyUI提供了一个高效的平台,让用户能够轻松地实现换脸。本文将详细介绍如何使用ComfyUI中的IPAdapter FaceID插件进行换脸,从安装到实际操作,一步步引导你完成整个过程。

换脸技术简介

       换脸技术通过深度学习算法,识别并提取面部特征,然后将这些特征应用到目标图像上。在AI绘画中,保持角色一致性的方法之一就是通过换脸来实现。市面上有许多换脸插件,如Reactor、FaceFusion、Roop等,而IPAdapter推出的FaceID模型因其高效性和准确性而广受欢迎。

安装IPAdapter FaceID插件

在使用IPAdapter FaceID之前,我们需要确保ComfyUI是最新版本,以便兼容最新的插件。

更新ComfyUI

  1. 打开ComfyUI管理器。
  2. 点击“更新全部”以更新ComfyUI到最新版本。
  3. 如果你位于大陆境内,可能需要切换不同的网络环境(如不同的VPN节点)来成功更新。

安装IPAdapter FaceID Plus节点

有两种方法可以安装IPAdapter FaceID Plus节点:

方法一:通过管理器安装
  1. 打开ComfyUI管理器。
  2. 点击“安装节点”。
  3. 搜索“ComfyUI_IPAdapter_plus”并点击安装。

方法二:手动安装
  1. 访问IPAdapter FaceID Plus的GitHub主页:GitHub - cubiq/ComfyUI_IPAdapter_plus。
  2. 下载ZIP压缩包。
  3. 将下载的ZIP压缩包解压到ComfyUI目录下的custom_nodes目录中。
  4. 如果需要,可以删除文件夹名后的“-main”。

准备工作

在开始换脸之前,确保你已经安装了所有必要的模型和依赖项。

安装模型

  1. 下载IPAdapter模型和CLIP_VISION模型。
  2. 将模型文件存放在ComfyUI的models目录下。

模型文件的huggingface下载地址:https://huggingface.co/h94/IP-Adapter-FaceID/tree/main

ipadapter总共有4个版本的模型,每个模型都包含1个主模型和1个lora模型,建议将这4个版本的模型都下载下来,分别放入相对应的文件夹中:

主模型文件夹:“\ComfyUI_windows_portable\ComfyUI\models\ipadapter”

lora模型文件夹:“\ComfyUI_windows_portable\ComfyUI\models\loras\ipadapter”

点击“管理器”,选择“安装模型”,搜索关键词“clip”,将4个“clip_vision”模型都安装好,其中2个是1.5版的模型,2个是SDXL版的模型,虽然截至到本文发布的时候ipadapter尚未推出faceID的SDXL版模型,但是相信不就之后就会推出SDXL版!

 

安装InsightFace

  1. 检查Python版本是否兼容。
  2. 下载相应的.whl文件。
  3. 安装InsightFace库。

insightface是一个Python库,不管是运行reactor插件还是其他的换脸插件,都会用到这个Python库,由于ComfyUI是一个独立的虚拟环境,所以安装insightface库的方法有点特别

首先我们要查看下我们的comfyUI的虚拟环境中的Python版本

第一步:找到根目录下的“python_embeded”文件夹,进入到该文件夹中;

第二步:在该文件夹的路径栏输入“cmd”;

第三步:在弹出的cmd命令窗口中输入“python.exe -V”命令,此时我们就可以查看到我们ComfyUI中的Python版本,我的是“Python 3.11.6”版;

我们在上面一步已经查看了我们自己的Python版本,接下来根据自己的Python版本下载相对应的whl文件:

3.10版:insightface-0.7.3-cp310-cp310-win_amd64.whl

3.11版:insightface-0.7.3-cp311-cp311-win_amd64.whl

将下载下来的whl文件放在“\ComfyUI_windows_portable\python_embeded”文件下面

python -m pip install -U pip
python.exe -m pip install insightface-0.7.3-cp311-cp311-win_amd64.whl

 

创建换脸工作流

现在,终于。当我们顺利完成了上面的所有安装之后,我们已经准备好开始创建换脸工作流。使用“ComfyUI_IPAdapter_plus”节点来进行换脸!比起reactor等换脸插件,“ComfyUI_IPAdapter_plus”的换脸行为发生在图片生成之前,所以最后的效果会更加自然!下面是一个换脸操作的案例:

基础设置

  1. 打开ComfyUI并创建一个新的工作流。
  2. 添加必要的节点,包括“FaceID工作流”节点。

工作流注意事项

  • 确保所有节点正确连接。
  • 根据需要调整节点参数。
  • 检查模型版本是否与插件兼容。

开始换脸

  1. 导入源图像和目标图像。
  2. 调整FaceID工作流中的参数,如换脸强度、面部特征匹配等。
  3. 运行工作流并查看换脸效果。

工作流注意事项说明:

  1. ipadapter模型和lora模型一定要匹配;
  2. 可以根据自己的需要调整lora的权重,数字越大上传的参考图片对生成的图片影响越大,包括画质和构图,适当降低该权重,可以让AI发挥的空间越大,画面越自然,但是换脸效果可能会降低;
  3. ipadapter模型中的plus版和plusV2版本在换脸效果上并不比基础版要好,但是在画质上会相对较好;
  4. 工作流的最后面的组是高清放大和面部修复,该组我已经默认设置为“停用”模式,如果你有需要可以右键“启用该组节点”;
  5. 高清放大节点中的“降噪”参数设置得越小,高清放大之后的图片人物面部就越接近原图,过大的“降噪”参数会让高清放大之后的人物改变人脸的样式,该参数建议设置在0.05以下!

 

结语

通过上述步骤,你现在应该能够使用Stable Diffusion ComfyUI和IPAdapter FaceID插件轻松地进行换脸操作。记住,实践是掌握任何技术的最佳方式,所以不断尝试和调整参数,直到你达到满意的效果。如果你在过程中遇到任何问题,可在相关社区寻求帮助。


请注意,本文中提到的链接和资源可能需要在实际环境中进行验证和调整。此外,换脸技术涉及隐私和伦理问题,使用时应确保遵守相关法律法规,并尊重个人隐私权。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/792669.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JSON的定义和基本使用

1、JSON的特点: JSON是一种轻量级的数据交换格式,是由字符串化的键值对构成。基于网络的前后端通信,数据在服务端和客户端之间进行传输,采用的就是JSON的格式来进行交互。JSON采用完全独立于语言的文本格式,JSON的数据格式完全独…

OpenHarmony相机和媒体库-如何在ArkTS中调用相机拍照和录像。

介绍 此Demo展示如何在ArkTS中调用相机拍照和录像,以及如何使用媒体库接口进行媒体文件的增、删、改、查操作。 本示例用到了权限管理能力ohos.abilityAccessCtrl 相机模块能力接口ohos.multimedia.camera 图片处理接口ohos.multimedia.image 音视频相关媒体业…

了解以太坊虚拟机(EVM)

了解以太坊虚拟机(EVM) 以太坊虚拟机(Ethereum Virtual Machine,简称EVM)是以太坊网络的核心组件之一,它承担着智能合约执行的重要任务 特点 智能合约执行环境:EVM提供了一个安全的环境&#xf…

易宝OA ExecuteSqlForDataSet SQL注入漏洞复现

0x01 产品简介 易宝OA系统是一种专门为企业和机构的日常办公工作提供服务的综合性软件平台,具有信息管理、 流程管理 、知识管理(档案和业务管理)、协同办公等多种功能。 0x02 漏洞概述 易宝OA ExecuteSqlForDataSet接口处存在SQL注入漏洞,未经身份认证的攻击者可以通过…

韩顺平Java | C24 MySQL数据库

MySQL安装和配置 MySQL5.7(稳定)、Navicat、SQLyog MySQL三层结构:数据库管理系统DBMS-数据库DB-表Table(行/记录-用对象表示) 使用命令行窗口连接MySQL数据库 net stop mysql服务名 net start mysql服务名 mysql -h 主机名 -P端口 -u用户…

k8s部署微服务例子

一、部署服务 需要部署minio、nacos、mysql、consul、elasticsearch、视频解析服务、nfs、skywalking-oap及ui。 二、三个微服务程序 minio服务解析视频-》上传到minio进行存储,构造领域对象信息保存到hive(hive on spark)异步处理-》元数据…

Acwing-石子合并

282. 石子合并 - AcWing题库 所需知识&#xff1a;区间dp 区间dp模板题。 区间dp常用模板&#xff1a; for (int len 1; len < n; len) { // 遍历区间的长度for (int i 1; i len - 1 < n; i) { // 枚举区间起点int j i len - 1; // 区间…

STM32-05基于HAL库(CubeMX+MDK+Proteus)串行通信案例(中断方式接收命令)

文章目录 一、功能需求分析二、Proteus绘制电路原理图三、STMCubeMX 配置引脚及模式&#xff0c;生成代码四、MDK打开生成项目&#xff0c;编写HAL库的功能代码五、运行仿真程序&#xff0c;调试代码 一、功能需求分析 在中断机制实现按键检测的案例之后&#xff0c;我们介绍串…

无问芯穹 MaaS AI 平台公测免费试用笔记:二

上一篇笔记中&#xff0c;聊过了无问芯穹的 MaaS 服务中的“虚拟机”产品。本篇文章来聊聊最近宣传中提到的大手笔免费百亿 Token 用量的“大模型服务平台” 吧。 分享下这个支持异构芯片推理的国产 “Replicate”、模型市场服务使用的经验和小技巧。 写在前面 本篇文章根据…

004 CSS介绍2

文章目录 css最常用属性link元素进制css颜色表示浏览器的渲染流程(不含js) css最常用属性 font-size 文字大小 color:前景色(文字颜色) background-color:背景色 width:宽度 height:高度 link元素 也可以用来创建站点图标 link元素常见属性 href:指定被链接资源的URL rel:指…

AcWing-游戏

1388. 游戏 - AcWing题库 所需知识&#xff1a;博弈论&#xff0c;区间dp 由于双方都采取最优的策略来取数字&#xff0c;所以结果为确定的&#xff0c;有可能会有多个不同的过程&#xff0c;但是我们只需要关注最终结果就行了。 方法一&#xff1a; 定义dp[i][j] 表示区间…

【Linux】-进程知识铺垫①计算机硬件的组织:冯诺依曼体系结构详细解读②关于操作系统对软硬件及用户的意义

目录 ​编辑 1.关于计算机的体系结构 1.1 冯诺依曼体系结构的诞生 2.冯诺依曼体系结构 2.1 cpu:运算器&#xff1a;更多的是让cpu具有特殊的数据计算功能&#xff1a; 2.2 控制器 2.3输入设备 2.4输出设备 3.计算机各个硬件设备之间的关系 4.内存与计算机效率 5.关于为什么总说…

安装Docker(CentOS)

Docker 分为 CE 和 EE 两大版本。CE 即社区版&#xff08;免费&#xff0c;支持周期 7 个月&#xff09;&#xff0c;EE 即企业版&#xff0c;强调安全&#xff0c;付费使用&#xff0c;支持周期 24 个月。 Docker CE 分为 stable test 和 nightly 三个更新频道。 官方网站上…

Free MyBatis Tool插件的进阶使用指南(消灭dao层的繁琐编码)

目录 零、起因一、怎么使用Free MyBatis Tool插件&#xff1f;1 基本使用2 进阶使用&#xff08;搞清楚Options的用法&#xff09;2.1 概览2.2 详述2.2.0 Options&#xff08;一项都不勾选&#xff09;2.2.1 Use-Lombok【消除UserDO中的getter和setter代码】2.2.2 Comment&…

ChatGPT 在做什么,为什么有效?

原文&#xff1a;What Is ChatGPT Doing … and Why Does It Work? 译者&#xff1a;飞龙 协议&#xff1a;CC BY-NC-SA 4.0 序言 这本简短的书试图从第一原理解释 ChatGPT 是如何工作的。在某种程度上&#xff0c;这是关于技术的故事。但它也是关于科学的故事。以及关于哲学…

item_search-按关键字搜索淘宝商品:如何通过获取以下关键字、搜索类型、排序方式参数提升用户体验、优化营销策略、提高转化率

在淘宝购物的过程中&#xff0c;搜索功能无疑是用户与商品之间的重要桥梁。通过输入关键字&#xff0c;用户可以迅速找到所需的商品&#xff0c;而搜索结果的准确性和相关性则直接关系到用户的购物体验和满意度。因此&#xff0c;如何通过优化关键字、搜索类型和排序方式参数&a…

应急响应实战笔记04Windows实战篇(5)

第5篇&#xff1a;挖矿病毒&#xff08;一&#xff09; 0x00 前言 ​ 随着虚拟货币的疯狂炒作&#xff0c;挖矿病毒已经成为不法分子利用最为频繁的攻击方式之一。病毒传播者可以利用个人电脑或服务器进行挖矿&#xff0c;具体现象为电脑CPU占用率高&#xff0c;C盘可使用空间…

解锁行业潜力:国内十大低代码平台全面盘点

在数字化转型的浪潮中&#xff0c;低代码开发平台以其快速开发、简化流程和降低技术门槛的优势&#xff0c;成为企业信息化建设的重要推手。 本篇文章将为您盘点十个低代码平台有&#xff1a;Zoho Creator、明道云、腾讯云低代码平台、华为云Astro、金蝶云苍穹、用友YonBuilder…

[lesson05]引用的本质分析

引用的本质分析 引用的意义 引用作为变量别名而存在&#xff0c;因此在一些场合可以代替指针 引用相对于指针来说具有更好的可读性和实用性 注意&#xff1a; 函数中的引用形参不需要进行初始化&#xff01;&#xff01; 特殊的引用 const引用 在C中可以声明const引用 cons…

可能是最便宜的姿态传感器,国产三轴加速度计SC7A20

可能是最便宜的姿态传感器 三轴检测 批量参考价格&#xff1a;整盘单价&#xff1a;1.242&#xff0c;一个包装10K&#xff0c;希望厂家能出点数量少的包装&#xff0c;这一盘太多了&#xff1a;&#xff09; 特点 宽电压范围 1.71V-3.6V 1.8V 兼容数字 IO 口 低功耗模式下…