AI绘画SD中 ControlNet 组件 IP-Adapter 实现风格迁移,AI绘画垫图神器!

大家好,我是画画的小强

今天给大家介绍一下AI绘画SD中ControlNet 的 IP-Adapter 组件,该组件可以方便快捷的帮我们对图片的风格进行迁移,简而言之就是可以参考你放置的图片风格来生成其他图片。

它的效果和reference only有点类似,但是效果要更好一些。

下面是原理图,官方详细文档详见:https://github.com/tencent-ailab/IP-Adapter

简单的说, IP-Adapter是使用图像作为输入提示来生成图像,它还能与文本提示、ControlNet模型一起配合完成图像的生成。

想要使用这个 IP-Adapter,你ControlNet要升级到1.1.4后才支持。

1、模型下载

下载下面圈中的这2个模型都行,更推荐使用带plus的。

模型下载:https://huggingface.co/lllyasviel/sd_control_collection/tree/main
(如无法下载,请看下方扫描免费获取哦)

在这里插入图片描述

然后存放到 \sd-webui-aki-v4.2\extensions\sd-webui-controlnet\models 下面

然后模型预处理下载,正常controlnet启用IP_Adapter的时候,系统会自动下载 clip_g.pth这个预处理器,2.3G大小,网络不好的同学估计无法下载成功,这里同样扫描后免费提供给大家

下载下来后放到 sd-webui-aki-v4.2\extensions\sd-webui-controlnet\annotator\downloads\clip_vision

2、使用教程

这里整理一下常用的几种使用场景。

  • 局部重绘+参考图

  • 文生图两种controlnet结合

  • 文生图描述词+参考图


2.1 局部重绘+参考图

这里我们尝试把一张美女图的脸,换成参考图的试试效果,首先先在局部重绘里面把脸吐掉

在这里插入图片描述

然后开启一个controlNet,选择使用 IP-Adapter即可。

在这里插入图片描述

提示词简单来一段通用的描述

best quality,masterpiece,best quality,masterpiece,realistic,HDR,UHD,8K,best quality,realistic,1girl,

最终生成图片对比,效果杠杠滴~

在这里插入图片描述

可以看到,权重0.7的时候,人的脸是正对着我们,这里比较接近原图效果,改成1的时候,就有点侧脸了,接近参考图的角度,再往后1.5的话,效果就不大好了,所以建议权重开到0.7-1之间即可。

2.2 文生图两种controlnet结合

下面是几个contrlnet案例,都是启用了2个,第一个是风格参考图,使用ip-Adapter,第二个使用深度 Depth

在这里插入图片描述

在这里插入图片描述

效果对比如下,可以看到风格确实有参考到~

在这里插入图片描述

现在试试建筑风格迁移效果

首图也是参考的风格图用ip-Adapter,第二图使用MLSD来限制构图,可以看到生成出来的图都会有第一张图的分隔,确实很不错。

在这里插入图片描述

2.3 文生图描述词+参考图

这里我们把沙发当作参考,然后提示词加上一个女孩坐在沙发上,来看看这个沙发风格是否会参考首图

还不错,虽然款式不大一样,但是确实是有参考了首图

在这里插入图片描述

这一组美女当参考图,让她戴上眼镜以及再加上帽子,风格还是很一致的

在这里插入图片描述

好了,这就是IP-Adapter的使用教程,controlnet还没有升级到1.1.4的小伙伴抓紧升级体验,controlnet真的撑起了SD的半壁江山。

上面使用的还是基于SD1.5的,另外IP-Adapter也支持最新的SDXL模型,有兴趣的可以自己体验。

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

若有侵权,请联系删除

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/50185.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

了解网络是如何运作

“Web 的工作原理”提供了一个简化的视图,用于了解在计算机或手机上的 Web 浏览器中查看网页时发生的情况。 这个理论对于短期内编写 Web 代码来说并不是必需的,但不久之后,你就会真正开始从理解后台发生的事情中受益。 客户端和服务器 连接到 Internet 的计算机称为客户端和…

四、面向对象2(30小时精通C++和外挂实战)

四、面向对象2(30小时精通C和外挂实战) B-01-对象的内存B-02-构造函数B-04-成员变量的初始化B-05-析构函数B-06-内存管理B-07-类的声明和实现分离B-08-命名空间B-09-继承B-10-成员访问权限 B-01-对象的内存 在C中对象可以自由的放在3中地方,而…

Oracle 19c 修改db_name

将db_namedcpfarei 修改成 db_namedcpfardb,使用oracle自带的nid工具修改 修改前: SQL> show parameter nameNAME TYPE VALUE ------------------------------------ ----------- ------------------------…

【算法】插入排序 与 希尔排序 概念+图解+代码【Python C C++】

1.插入排序 1.1概念 插入排序(InsertionSort),一般也被称为直接插入排序。 对于少量元素的排序,它是一个有效的算法。插入排序是一种最简单的排序方法,它的基本思想是将一个元素插入到已经排好序的有序表中,从而构造出一个新的…

mathtype7.4永久激活码(mathtype7永久注册码网盘下载)

大家好,我是你们的数学小能手!今天我要安利一款超实用的工具——MathType,让你在数学的世界里游刃有余,轻松搞定各种公式和计算。准备好被种草了吗?跟我一起来瞧瞧吧! MathType是理科生专用的必备工具&…

鸿蒙9+在TV端焦点封装控制

鸿蒙9 目前不支持鸿蒙系统电视,但是往后肯定是必须会支持的,所以直接学arkts就完事了,目前的api9对焦点控制还是不够直接简洁,估计还在完善中,但是可以通过自定义component来实现一下 首先踩坑: Row官方说…

EXCEL 排名(RANK,COUNTIFS)

1.单列排序 需求描述:如有下面表格,需要按笔试成绩整体排名。 解决步骤: 我们使用RANK函数即可实现单列整体排名。 Number 选择第一列。 Ref 选择这一整列(CtrlShift向下箭头、再按F4)。 "确定"即可计算…

一键解锁百变发型!上交联合Tiamat震撼发布Stable-Hair发型移植黑科技!

Stable-Hair 是一种基于扩散的新型发型转移方法,可以稳健地转移各种现实世界的发型。在各种具有挑战性的发型上实现了高度详细和高保真度的转移,效果令人印象深刻,同时保留了原始身份内容和结构。 相关链接 论文链接: https://arxiv.org/pdf…

【SpringBoot】URL映射之consumes和produces匹配、params和header匹配

4.2.3 consumes和produces匹配 //处理request Content-Type为"application/json"类型的请求 RequestMapping(value"/Content",methodRequestMethod.POST,consumes"application/json") public String Consumes(RequestBody Map param){ return…

windows远程免密码登陆

1、按下WindowsR,打开运行窗口,输入gpedit.msc 2、依次选择计算机设置-- Windows 设置--安全设置--本地策略--安全选项 3、双击进入--帐户:使用空白密码的本地帐户只允许进行控制台登录 双击打开 参考 百度安全验证 Win11提示凭证不足无法访问这台打…

C++ std::vector及使用时的常见优化策略

std::vector 是 C 标准模板库&#xff08;STL&#xff09;中的一个动态数组容器。它提供了动态大小调整和高效的随机访问功能&#xff0c;非常适合需要频繁插入、删除和访问元素的场景。std::vector 是在 <vector> 头文件中定义的&#xff0c;并且位于 std 命名空间中。 …

案例实践 | 基于长安链的福建省气象综合治理区块链平台

案例名称-【福建省气象综合治理区块链平台】 ■ 实施单位 福建福链科技有限公司 ■ 业主单位 福建省气象信息中心 ■ 上线时间 2023年10月 ■ 用户群体 福建省气象、防灾减灾相关单位 ■ 用户规模 全省2100余个气象站、气象局以及防灾减灾部门 案例背景与解决痛点 …

跟代码执行流程,读Megatron源码(四)megatron初始化脚本initialize.py之initialize_megatron()分布式环境初始化

在前文中&#xff0c;我们讲述了pretrain函数的执行流程&#xff0c;其首要步骤是megatron分组的初始化与环境的配置。本文将深入initialize_megatron函数源码&#xff0c;剖析其初始化分布式训练环境的内部机制。 注&#xff1a;在此假设读者具备3D并行相关知识 一. initiali…

【MARL】MADDPG + attention 实现(+论文解读)

文章目录 前言注意力机制论文里的attention回顾知识-MADDPG讲解1.Q的定义2.Q的恒等式3.论文里的attention4.好处 实现 和 修改结果展示原论文代码 翻改版修改后原maddpg代码 前言 导师让在MADDPG上加一个注意力机制&#xff0c;试了很多种&#xff0c;下面的参考的论文的效果最…

C++——保持原有库头文件不变的情况下,成功编译运行工程

问&#xff1a;想要保持原来库方式&#xff0c;应该怎么操作呢&#xff1f; 答&#xff1a;如果想保持原来的方式&#xff0c;则只需要将 库所在路径 tracker/detector/rknn_model_zoo/utils 加入到 工程库包含中即可。

基于jeecgboot-vue3的Flowable流程-自定义业务表单流程历史信息显示

因为这个项目license问题无法开源&#xff0c;更多技术支持与服务请加入我的知识星球。 1、对于自定义业务表单的流程历史记录信息做了调整&#xff0c;增加显示自定义业务表单 <el-tab-pane label"表单信息" name"form"><div v-if"customF…

ESP32开发进阶:OLED屏幕显示旋转的3D模型

一、硬件接线 我选择的是最常见的一块板子&#xff1a;ESP-WROOM-32&#xff0c;硬件接线如下&#xff1a; 21 - SDA 22 - SCL 二、Arduino端代码 我们使用Arduino和Adafruit SSD1306库在OLED显示屏上绘制和旋转一个3D立方体。 首先&#xff0c;定义立方体顶点和…

国际金融入门:国际收支与平衡表解析

在全球化的经济体系中&#xff0c;国际金融已成为我们日常生活不可或缺的一部分。了解国际金融的基础知识&#xff0c;可以帮助我们更好地理解世界经济的动态和趋势。今天&#xff0c;我们将深入探讨国际收支及其平衡表&#xff0c;以及它们是如何影响国家经济。 国际收支&…

2024.07-电视版免费影视App推荐和猫影视catvod、TVBox源(最新接口地址)

文章目录 电视版免费影视App推荐精选列表&#xff08;2024.07可用筛选列表&#xff09;&#xff1a;2024.07可用筛选列表&#xff0c;盲盒资源打包合集下载安装说明真的是盲盒&#xff1f; 猫影视catvod、TVBoxTVBox源推荐可用列表目前不可用列表&#xff08;前缀为错误状态码&…

探索 Odoo 前端源码

今天我们要深入探索一段 Odoo 前端源码。这段代码看似简单,却隐藏着 Odoo 应用高效运行的秘密。我们一起来解读这段源码,了解它在 Odoo 中的作用,并教你如何正确使用它。准备好了吗?让我们开始这段奇妙之旅吧! /** @odoo-module **/import { registry } from "./cor…